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“本 书 是 算法 领域 的 一 部 经 由 葛 作 ， 书 中 系统 、 全 面 地 介绍 了 现代 算法 : 从 最 快 算法 和 数据 结构 到 用 于 

看 似 难 以 解决 问题 的 多 项 式 时 间 算 法 : 从 图 论 中 的 经 上 典 算 法 到 用 于 ee ee EE SEL tof FR He aE A 

算法 本 书 第 3 版 尤其 增加 了 两 竟 专 门 过 论 van Emde Boas 树 (最 有 用 的 数据 结构 之 一 ) 和 多 线程 算法 (日 
管 重要 的 一 个 主题 ) 

— Daniel Spielman， 耶 鲁 大 学 计算 机 科学 系 教授 


“作为 一 个 在 算法 领域 有 善 近 30 年 教育 和 研究 经 验 的 教育 者 和 研究 人 员 ， 我 可 以 清 想 明白 地 说 这 本 书 是 
我 所 见 到 的 该 领 碟 最 好 的 教材 它 对 算法 给 出 了 清晰 透彻 、 百 科 全 书 式 的 效 述 。 我们 将 继续 使 用 这 本 书 的 
新 版 作为 研究 生 和 本 科 生 的 教材 及 参 芍 书 


一 一 Gabriel Robins， 弗 吉 尼 亚 大 学 计算 机 科学 系 教授 


在 有 关 算 法 的 书 中 ， 有 一 些 叙述 非常 严谨 ， 但 不 够 全 面 ; 另 一 些 涉及 了 大 量 的 题材 ， 但 又 缺乏 严谨 
性 。 本 书 将 严谨 性 和 全 面 性 融 为 一 体 ， 深 入 讨论 各 类 算法 ,并 着 力 使 这 些 算法 的 设计 和 分 析 能 为 各 个 层次 
的 读者 接受 。 全 书 各 章 自 成 体系 ， 可 以 作为 独立 的 学 习 单元 ; 算法 以 英语 和 伪 代码 的 形式 描述 ， 具 备 初 步 
程序 设计 经 验 的 人 就 能 看 懂 ; 说 明和 解释 力求 浅显 易 懂 ， 不 失 深 度 和 数学 严谨 性 。 


第 3 版 的 主要 变化 
e 新 增 了 van Emde Boas 树 和 多 线程 算法 ， 并 且 将 矩阵 基础 移 至 附录 。 
e 修订 了 递归 式 ( 现在 称 为 “分 治 策略 ” ) 那 一 章 的 内 容 ， 更 广泛 地 覆盖 分 治 法 。 
e 移 除 两 章 很 少 讲授 的 内 容 : 二 项 堆 和 排序 网 络 。 
e 修订 了 动态 规划 和 贪心 算法 相关 内 容 。 
e 由 于 关于 和 矩 阵 基础 和 Strassen 算 法 的 材料 移 到 了 其 他 章 ， 和 矩阵 运算 这 一 章 的 内 容 所 点 篇 幅 更 小 。 
e 修改 了 对 Knuth-Morris-Pratt 字 符 串 匹 配 算法 的 讨论 。 
e 新 增 100 道 练习 和 28 道 思考 题 ， 还 更 新 并 补充 了 参考 文献 。 
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本 书 提供 了 对 当代 计算 机 算法 研究 的 一 个 全 面 、 综 合 性 的 介绍 。 全 书 共 八 部 分 ， 内 容 涵 
盖 基 础 知识 、 排 序 和 顺序 统计 量 、 数 据 结构 、 高 级 设计 和 分 析 技 术 、 高 级 数据 结构 、 图 算法 、 
算法 问题 选编 ， 以 及 数学 基础 知识 。 书 中 深入 浅 出 地 介绍 了 大 量 的 算法 及 相关 的 数据 结构 ， 
以 及 用 于 解决 一 些 复杂 计算 问题 的 高 级 策略 〈 如 动态 规划 、 贪 心算 法 、 摊 还 分 析 等 )， 重 点 在 
于 算法 的 分 析 与 设计 。 对 于 每 一 个 专题 ， 作 者 都 试图 提供 目前 最 新 的 研究 成 果 及 样 例 解 答 ， 
并 通过 清晰 的 图 示 来 说 明 算法 的 执行 过 程 。 此 外 ， 全 书包 含 957 道 练习 和 158 道 思 考题 ， 并 且 
作者 在 网 站 上 给 出 了 部 分 题 的 答案 。 

本 书 内 容 丰 富 ， 叙 述 深入 浅 出 ， 适 合作 为 计算 机 及 相关 专业 本 科 生 数据 结构 课程 和 研究 
生 算法 课程 的 教材 ， 同 时 也 适合 专业 技术 人 员 参 考 使 用 。 
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文艺 复兴 以 降 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规范 ， 使 西方 国家 在 自然 科学 的 各 
个 领域 取得 了 董 断 性 的 优势 ; 也 正 是 这 样 的 传统 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 间 名 家 辈 
出 、 独 领 风骚 。 在 商业 化 的 进程 中 ， 美 国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 计 算 机 学 科 中 的 
许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科 学 著作 ， 不 仅 璧 划 了 研究 的 
范畴 ， 还 揭示 了 学 术 的 源 变 ， 既 遵循 学 术 规 范 ， 又 自 有 学 者 个 性 ， 其 价值 并 不 会 因 年 月 的 流逝 而 
减退 。 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ， 我 国 的 计算 机 产业 发 展 迅 猛 ， 对 专业 人 才 的 需求 日 益 迫 
切 。 这 对 计算 机 教育 界 和 出 版 界 既 是 机 遇 ， 也 是 挑战 ;而 专业 教材 的 建设 在 教育 战略 上 显得 举 足 
轻重 。 在 我 国信 息 技术 发 展 时间 较 短 的 现状 下 ， 美 国 等 发 达 国 家 在 其 计算 机 科学 发 展 的 几 十 年 
间 积 淀 和 发 展 的 经 典 教材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国外 优秀 计算 机 教材 将 对 我 
国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接轨 、 建 设 真 正 的 世界 一 流 大 学 的 
必由之路 。 

机 械 工业 出 版 社 华章 公司 较 早 意识 到 “出 版 要 为 教育 服务 ”。 自 1998 年 开始 ， 我 们 就 将 工作 
重点 放 在 了 六 选 、 移 译 国外 优秀 教材 上 。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson，McGraw- Hill, 
Elsevier, MIT, John Wiley & Sons, Cengage 等 世界 著名 出 版 公司 建立 了 良好 的 合作 关系 ， 从 他 
们 现 有 的 数 百 种 教材 中 杜 选 出 Andrew S. Tanenbaum, Bjarne Stroustrup, Brain W. Kernighan, Den- 
nis Ritchie, Jim Gray, Afred V. Aho, John E. Hopcroft, Jeffrey D. Ullman, Abraham Silbers- 
chatz, William Stallings, Donald E. Knuth, John L. Hennessy, Larry L. Peterson 等 大 师 名 家 的 
一 批 经 典 作品 ， 以 “计算 机 科学 丛书 ”为 总 称 出 版 ， 供 读者 学 习 、 研 究 及 珍藏 。 大 理 石 纹理 的 封 
面 ， 也 正体 现 了 这 套 丛 书 的 品位 和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 易 力 相助 ， 国 内 的 专家 不 仅 提 供 了 中 肯 
的 选 题 指导 ， 还 不 辞 劳苦 地 担任 了 翻译 和 审 校 的 工作 ;而 原 书 的 作者 也 相当 关注 其 作品 在 中 国 
的 传播 ， 有 的 还 专程 为 其 书 的 中 译本 作 序 。 迄 今 ,“ 计 算 机 科学 丛书 ”已 经 出 版 了 近 两 百 个 品种 ， 
这 些 书 籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采 用 为 正式 教材 和 参考 书籍 。 其 影印 版 “经 
典 原版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 的 图 书 
有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完善 和 教材 改革 的 逐渐 深化 ， 教 
育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 人 一 个 新 的 阶段 ， 我 们 的 目标 是 尽善尽美 ， 而 反馈 
的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 公 司 欢迎 老师 和 读者 对 我 们 的 工作 提出 建 
议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 : 
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我 从 1994 年 开始 每 年 都 为 本 科 生 讲授 “算法 设计 与 分 析 ” 课 程 ， 粗 略 地 统计 一 下 ， 发 现 至 
SEA 5 000 余 名 各 类 学 生 听 过 该 课 。 算 法 的 重要 性 不 言 而 喻 ， 因 为 不 管 新 概念 、 新 方法 、 新 理 
论 如 何 引 人 注目 ,信息 的 表示 与 处 理 总 是 计算 技术 ( 含 软件 、 硬 件 、 应 用 、 网 络 、 安 全、 智能 
等 ) 永恒 的 主题 。 信 息 处 理 的 核心 是 算法 。 在 大 数据 时 代 ， 设 计 高 效 的 算法 显得 格外 重要 。 

当初 ， 为 了 教 好 这 门 基础 必修 课 ， 提 高 教学 质量 ， 我 觉得 应 该 从 教学 内 容 的 改革 入手 ， 具 体 
来 说 ， 采 用 的 教材 应 该 与 国际 一 流 大 学 接轨 。1997 年 访 美 期 间 ， 在 Stanford 大 学 了 解 到 他 们 采 
用 的 教材 是 Thomas H. Cormen 等 人 著 的 《Introduction to Algorithms》， 于 是 从 Stanford 书店 买 
了 一 本 带 回来 ， 从 第 二 年 开始 便 改 用 该 书 作为 教材 。 至 今 ，15 年 过 去 了 ， 我 们 一 直 追 随 其 变迁 ， 
从 第 2 版 到 第 3 版 。 教 学 实践 证 明 它 确实 是 一 本 好 教材 ， 难 怪 世 界 范 围 内 包括 MIT, CMU, 
Stanford, UCB, Cornell, UIUC 等 国际 、 国 内 名 校 在 内 的 1 000 余 所 大 学 都 一 直 用 它 作为 教材 或 
教学 参考 书 ， 也 难怪 它 印 数 巨 大 且 在 《高 引用 计算 机 科学 文献 》( 《Most Cited Computer Science 
Citations)) 一 览 表 中 名 列 前 茅 。 

这 本 书 的 原版 有 1 200 多 页 ， 内 容 非常 丰富 ， 不 但 涵盖 了 典型 算法 、 算 法 分 析 、 算 法 设计 方法 
和 NP 完 全 等 内 容 ， 而 且 还 包括 数据 结构 ， 甚 至 高 级 数据 结构 的 介绍 。 后 者 可 以 作为 国内 “数据 结 
构 ” 课 程 的 教材 或 教学 参考 资料 。 在 学 时 有 限 的 情况 下 ， 要 在 本 科 阶 段 教 完 前 者 的 所 有 内 容 也 是 困难 
的 ， 故 要 做 取舍 。 好 在 该 书 的 各 个 章节 相对 独立 且 难 度 由 浅 入 深 ,我 们 的 做 法 是 将 相对 容易 的 、 一 般 
的 入 门 性 内 容留 在 本 科 阶 段 ， 而 将 相对 难 的 、 专 门 的 、 较 深入 的 内 容 并 入 研究 生 课程 “算法 及 复杂 
性 ”或 “计算 复杂 性 ”。 除 本 校外 ， 本 人 就 曾 多 次 应 邀 在 兰州 大 学 、 湖 南大 学 和 浙江 师范 大 学 等 院 校 
为 研究 生 讲 授 过 这 些 内 容 。 其 实 该 书 也 适合 希望 增强 自身 程序 设计 能 力 和 程序 评判 能 力 的 广大 应 用 计 
算 技 术 的 社会 公众 ， 特 别 是 参加 信息 学 奥林匹克 竞赛 和 ACM 程序 设计 竞赛 的 选手 及 其 教练 员 。 

在 教学 过 程 中 ,我们 发 现 该 书 具 有 以 下 特点 : D 选材 与 时 俱 进 ， 具 有 实用 性 且 能 引起 读者 
的 兴趣 。 该 书 中 研究 的 许多 问题 都 是 当前 现实 应 用 中 的 关键 技术 问题 。2) 采用 伪 代 码 描 述 算法 ， 
既 简洁 易 懂 又 便于 抓 住 本 质 ， 再 配 上 丰富 的 插图 来 描述 和 解释 算法 的 执行 过 程 ， 使 得 教学 内 容 
更 加 通俗 ， 便 于 自学 。3) 对 算法 正确 性 和 复杂 度 的 分 析 比 较 全 面 ， 既 有 严密 的 论证 ， 又 有 直观 
的 解释 。4) 既 有 结论 性 知识 的 介绍 ， 也 有 逐步 导出 结论 的 研究 过 程 的 展示 。5) 丰富 的 练习 题 和 
思考 题 使 得 及 时 检验 所 学 知识 掌握 情况 和 进一步 拓展 学 习 内 容 成 为 可 能 。 

在 第 3 版 的 《Introduction to Algorithms》 出 版 后 ， 我 们 应 机 械 工 业 出 版 社 编辑 的 邀请 ， 启 
动 了 长 久 的 翻译 工程 ， 先 后 参加 翻译 工作 的 老师 有 : 国防 科学 技术 大 学 的 筷 建 平 教授 (翻译 第 
1 一 3 章 ) 、 中 国 科 学 技术 大 学 的 徐 云 教授 (翻译 第 10~14 章 、 第 18 一 21 章 和 第 27 章 )、 南 开 大 
学 的 王刚 教授 (翻译 第 4 章 和 第 1S~17 章 ) 、 南 开 大 学 的 刘晓光 教授 (翻译 第 6 一 9 章 ) 、 南 开 大 
学 的 苏 明 副 研 究 员 (翻译 第 5 章 和 第 28 一 30 章 ) 、 上 海 交 通 大 学 的 邹 恒 明教 授 (翻译 第 22 一 26 
章 ) 、 哈 尔 滨 工业 大 学 的 王 宏 志 副 教授 〈 翻 译 第 31~35 章 和 附录 部 分 )。 由 于 水 平 有 限 且 工作 量 
巨大 ， 译 文中 一 定 存在 许多 不 足 ， 在 此 敬 请 各 位 同行 专家 学 者 和 广大 读者 批评 指正 ， 欢 迎 大 家 将 
发 现 的 错误 或 提出 的 意见 与 建议 发 送 到 邮箱 : algorithms@ hzbook. com。 在 整个 工程 即将 完成 之 
际 ， 我 们 要 特别 感谢 潘 金贵 、 顾 铁 成 、 李 成 法 和 叶 懋 等 参与 本 书 第 2 版 翻译 的 老师 ， 是 他 们 使 得 
这 本 重要 教材 在 国内 有 了 广泛 读者 。 同 时 也 要 感谢 机 械 工业 出 版 社 的 温 莉 芳 编辑 和 王 春 华 编辑 ， 
没有 你 们 的 信任 、 耐 心 和 支持 ， 整 个 翻译 工作 不 可 能 完成 。 


MEF 
2012 年 11 月 于 长 沙 
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在 计算 机 出 现 之 前 ， 就 有 了 算法 。 现 在 有 了 计算 机 ， 就 需要 更 多 的 算法 ， 算 法 是 计算 的 
核心 。 

本 书 提供 了 对 当代 计算 机 算法 研究 的 一 个 全 面 、 综 合 的 介绍 。 书 中 给 出 了 多 个 算法 ， 并 对 它 
们 进行 了 较为 深入 的 分 析 ， 使 得 这 些 算法 的 设计 和 分 析 易 于 被 各 个 层次 的 读者 所 理解 。 我 们 力 
求 在 不 牺牲 分 析 的 深度 和 数学 严密 性 的 前 提 下 ， 给 出 深入 浅 出 的 说 明 。 

书 中 每 一 章 都 给 出 了 一 个 算法 、 一 种 算法 设计 技术 、 一 个 应 用 领域 或 一 个 相关 的 主题 。 算 法 
是 用 英语 和 一 种 “ 伪 代 码 ” 来 描述 的 ， 任 何 有 一 点 程序 设计 经 验 的 人 都 能 看 得 懂 。 书 中 给 出 了 
244 幅 图 ， 说 明 各 个 算法 的 工作 过 程 。 我 们 强调 将 算法 的 效率 作为 一 种 设计 标准 ， 对 书 中 的 所 有 
算法 ， 都 给 出 了 关于 其 运行 时 间 的 详细 分 析 。 

本 书 主要 供 本 科 生 和 研究 生 的 算法 或 数据 结构 课程 使 用 。 因 为 书 中 讨论 了 算法 设计 中 的 工 
程 问题 及 其 数学 性 质 ， 所 以 ， 本 书 也 可 以 供 专业 技术 人 员 自 学 之 用 。 

本 书 是 第 3 版。 在 这 个 版 本 里 ， 我 们 对 全 书 进行 了 更 新 ， 包 括 新 增 了 若干 章 、 修 订 了 伪 代 
码 等 。 


致使 用 本 书 的 教师 

本 书 的 设计 目标 是 全 面 、 适 用 于 多 种 用 途 。 它 可 用 于 若干 课程 ， 从 本 科 生 的 数据 结构 课程 到 
研究 生 的 算法 课程 。 由 于 书 中 给 出 的 内 容 比较 多 ， 只 讲 一 学 期 一 般 讲 不 完 ， 因 此 ， 教 师 们 应 该 将 
本 书 看 成 是 一 种 “缓存 区 ”或 “瑞典 式 自助 餐 ”， 从 中 挑选 出 能 最 好 地 支持 自己 希望 教授 的 课程 
的 内 容 。 

教师 们 会 发 现 ， 要 围绕 自己 所 需 的 各 个 章节 来 组 织 课程 是 比较 容易 的 。 书 中 的 各 章 都 是 相 
对 独立 的 ， 因 此 ， 你 不 必 担 心意 想不到 的 或 不 必要 的 各 章 之 间 的 依赖 关系 。 每 一 章 都 是 以 节 为 单 
位 ， 内 容 由 易 到 难 。 如 果 将 本 书 用 于 本 科 生 的 课程 ， 可 以 选用 每 一 章 的 前 面 几 节 内 容 ; 用 于 研究 
生 的 课程 中 ， 则 可 以 完整 地 讲授 每 一 章 。 

全 书包 含 957 道 练习 和 158 道 思 考题 。 每 一 节 结 束 时 给 出 练习 ， 每 一 章 结束 时 给 出 思考 题 。 
练习 一 般 比 较 短 ， 用 于 检查 学 生 对 书 中 内 容 的 基本 掌握 情况 。 有 一 些 是 简单 的 自 查 性 练习 ， 有 一 
些 则 要 更 充实 ， 可 以 作为 家 庭 作 业 布 置 给 学 生 。 每 一 章 后 的 思考 题 都 是 一 些 叙 述 较 为 详细 的 实 
例 研究 ， 它 们 常常 会 介绍 一 些 新 的 知识 。 一 般 来 说 ， 这 些 思考 题 都 会 包含 几 个 小 问题 ， 引 导 学 生 
逐步 得 到 问题 的 解 。 

根据 本 书 前 几 版 的 读者 反馈 ， 我 们 在 本 书 配套 网 站 上 公布 了 其 中 一 些 练习 和 思考 题 的 答案 
(但 不 是 全 部 )， 网 址 为 http://mitpress. mit. edu/algorithms/ 。 我 们 会 定期 更 新 这 些 答 案 ， 因 此 需 
要 教师 每 次 授课 前 都 到 这 个 网 站 上 来 查看 。 

在 那些 不 太 适 合 本 科 生 、 更 适合 研究 生 的 章节 和 练习 前 面 ， 都 加 上 了 星 号 (x )。 带 星 号 的 
章节 也 不 一 定 就 比 不 带 星 号 的 更 难 ， 但 可 能 要 求 了 解 更 多 的 数学 知识 。 类 似 地 ， 带 星 号 的 练习 可 
能 要 求 有 更 好 的 数学 背景 或 创造 力 。 


致使 用 本 书 的 学 生 


希望 本 教材 能 为 学 生 提供 关于 算法 这 一 领域 的 有 趣 介绍 。 我 们 力求 使 书 中 给 出 的 每 一 个 算 
法 都 易于 理解 和 有 趣 。 为 了 在 学 生 遇 到 不 熟悉 或 比较 困难 的 算法 时 提供 帮助 ， 我 们 逐个 步骤 地 
描述 每 一 个 算法 。 此 外 ， 为 了 便于 大 家 理解 书 中 对 算法 的 分 析 ， 对 于 其 中 所 需 的 数学 知识 ， 我 们 


给 出 了 详细 的 解释 。 如 果 对 某 一 主题 已 经 有 所 了 解 ， 会 发 现 根据 书 中 各 章 的 编排 顺序 ， 可 以 跳 过 
一 些 介绍 性 的 小 节 ， 直 接 阅 读 更 高 级 的 内 容 。 
本 书 是 一 本 大 部 头 著作 ， 学 生 所 修 的 课程 可 能 只 讲授 其 中 的 一 部 分 。 我 们 试图 使 它 能 成 为 
一 本 现在 对 学 生 有 用 的 教材 ， 并 在 其 将 来 的 职业 生涯 中 ， 也 能 成 为 一 本 案头 的 数学 参考 书 或 工 
程 实践 手册 。 
阅读 本 书 需要 哪些 预备 知识 呢 ? 
。 需要 有 一 些 程序 设计 方面 的 经 验 ， 尤 其 需要 理解 递归 过 程 和 简单 的 数据 结构 ， 如 数组 和 
链表 。 
。 应 该 能 较为 熟练 地 利用 数学 归纳 法 进行 证 明 。 书 中 有 一 些 内 容 要 求学 生 具 备 初等 微 积分 
方面 的 知识 。 除 此 之 外 ， 本 书 的 第 一 部 分 和 第 八 部 分 将 介绍 需要 用 到 的 所 有 数学 技巧 。 
我 们 收 到 学 生 的 反馈 ， 他 们 强烈 希望 提供 练习 和 思考 题 的 答案 ,为 此 ， 我们 在 http://mit- 
press. mit. edu/algorithms/ 这 个 网 站 上 给 出 了 少数 练习 和 思考 题 的 答案 ,学 生 可 以 根据 我 们 的 答 
案 来 检验 自己 的 解答 。 


致使 用 本 书 的 专业 技术 人 员 


本 书 涉及 的 主题 非常 广泛 ， 因 而 是 一 本 很 好 的 算法 参考 手册 。 因 为 每 一 章 都 是 相对 独立 的 ， 
所 以 读者 可 以 重点 查阅 自己 感 兴趣 的 主题 。 

在 我 们 所 讨论 的 算法 中 ， 多 数 都 有 着 极 大 的 实用 价值 。 因 此 ， 我 们 在 书 中 涉及 了 算法 实现 方 
面 的 考虑 和 其 他 工程 方面 的 问题 。 对 于 那些 为 数 不 多 的 、 主 要 具有 理论 研究 价值 的 算法 ,通常 还 
给 出 其 实用 的 替代 算法 。 

如 果 和 希望 实现 这 些 算法 中 的 任何 一 个 ， 你 会 发 现 将 书 中 的 伪 代 码 翻 译 成 你 熟悉 的 某 种 程序 
设计 语言 是 一 件 相当 直接 的 事 。 伪 代码 被 设计 成 能 够 清晰 、 简 明 地 描述 每 一 个 算法 。 因 此 ， 我 们 
不 考虑 错误 处 理 和 其 他 需要 对 读者 所 用 编程 环境 有 特定 假设 的 软件 工程 问题 。 我 们 力求 简单 而 
直接 地 给 出 每 一 个 算法 ， 而 不 会 让 某 种 特定 程序 设计 语言 的 特殊 性 掩盖 算法 的 本 质 内 容 。 

如 果 你 是 在 课堂 外 使 用 本 书 ， 那 么 可 能 无 法 从 教师 那里 得 到 答案 来 验证 自己 的 解答 ， 因 此 ， 
我 们 在 http: //mitpress. mit. edu/algorithms/ 这 个 网 站 上 给 出 了 部 分 练习 和 思考 题 的 答案 ， 读 者 可 
以 免费 下 载 参 考 。 


致 我 们 的 同事 

我 们 在 本 书 中 给 出 了 详尽 的 参考 文献 。 每 一 章 在 结束 时 都 给 出 了 “本 章 注 记 ”， 介 绍 一 些 历 
史 性 的 细节 和 参考 文献 。 但 是 ， 各 章 的 注 记 并 没有 提供 整个 算法 领域 的 全 部 参考 文献 。 有 一 点 可 
能 是 让 人 难以 置信 的 ， 即 使 是 在 本 书 这 样 一 本 大 部 头 中 ， 由 于 篇 幅 的 原因 ， 很 多 有 趣 的 算法 都 没 
能 包括 进来 。 

尽管 学 生 们 发 来 了 大 量 的 请 求 ， 希望 我 们 提供 思考 题 和 练习 的 解答 ， 但 我 们 还 是 决定 基本 
上 不 提供 思考 题 和 练习 的 参考 答案 少数 除外 )， 以 打消 学 生 们 试图 查阅 答案 ， 而 不 是 自己 动手 
得 出 答案 的 念头 。 


第 3 版 中 所 做 的 修改 

在 本 书 的 第 2 版 和 第 3 版 之 间 有 哪些 变化 呢 ? 这 两 版 之 间 的 变化 量 和 第 2 版 与 第 1 版 之 间 的 
变化 量 相当 ， 正 如 在 第 2 版 的 前 言 中 所 说 ， 这 些 版 本 之 间 的 变化 可 以 说 不 太 大 ， 也 可 以 说 很 大 ， 
具体 要 看 读者 怎么 看 待 这 些 变化 了 。 

快速 地 浏览 一 遍 目录 ， 你 就 会 发 现 ， 第 2 版 中 的 多 数 章节 在 第 3 版 中 都 出 现 了 。 在 第 3 版 


中 ， 去 掉 了 两 章 和 一 节 的 内 容 ， 新 增加 了 三 章 以 及 两 节 的 内 容 。 如 果 单 从 目录 来 判断 第 3 版 中 改 
动 的 范围 ， 得 出 的 结论 很 可 能 是 改动 不 大 。 

我 们 依然 保持 前 两 版 的 组 织 结构 ， 既 按照 问题 领域 又 根据 技术 来 组 织 章节 内 容 。 书 中 既 包 
含 基于 技术 的 章 ， 如 分 治 法 、 动 态 规划 、 贪 心算 法 、 摊 还 分 析 、NP 完全 性 和 近似 算法 ， 也 包含 
关于 排序 、 动 态 集 的 数据 结构 和 图 问题 算法 的 完整 部 分 。 我 们 发 现 虽然 读者 需要 了 解 如 何 应 用 
这 些 技术 来 设计 和 分 析 算 法 ， 但 是 思考 题 中 很 少 提示 应 用 哪个 技术 来 解决 这 些 问题 。 

下 面 总 结 了 第 3 版 的 主要 变化 : 


网 站 


新 增 了 讨论 van Emde Boas 树 和 多 线程 算法 的 章节 ， 并 且 将 矩阵 基础 移 至 附录 。 

修订 了 递归 式 那 一 章 的 内 容 ， 更 广泛 地 覆盖 分 治 法 ， 并 且 前 两 节 介绍 了 应 用 分 治 法 解决 两 
个 问题 。4. 2 节 介绍 了 用 于 和 矩阵 乘法 的 Strassen 算法 ， 关 于 和 矩阵 运算 的 内 容 已 从 本 章 移 除 。 
移 除 两 章 很 少 讲授 的 内 容 : 二 项 堆 和 排序 网 络 。 排 序 网 络 中 的 关键 思想 一 一 0-1 原理 ， 
在 本 版 的 思考 题 8-7 中 作为 比较 交换 算法 的 0-1 排序 引 理 进行 介绍 。 斐 波 那 契 堆 的 处 理 
不 再 依赖 二 项 堆 。 

修订 了 动态 规划 和 贪心 算法 相关 内 容 。 与 第 2 版 中 的 装配 线 调度 问题 相 比 ， 本 版 用 一 个 
更 有 趣 的 问题 一 一 钢 条 切割 来 引入 动态 规划 。 而 且 ， 我 们 比 在 第 2 版 中 更 强调 助 记性 ， 
并 且 引 入 子 问题 图 这 一 概念 来 阐释 动态 规划 算法 的 运行 时 间 。 在 我 们 给 出 的 贪心 算法 例 
子 “〈 活 动 选 择 问题 ) 中 ， 我 们 以 更 直接 的 方式 给 出 贪心 算法 。 

我 们 从 二 又 搜索 树 〈 包 括 红 黑 树 ) 删除 一 个 结 点 的 方式 ， 现 在 保证 实际 所 删除 的 结 点 就 
是 请 求 删除 的 结 点 〈 在 前 两 版 中 ， 有 些 情况 下 某 个 其 他 结 点 可 能 被 删除 ) 。 用 这 种 新 的 方 
式 删 除 结 点 ， 如 果 程 序 的 其 他 部 分 保持 指针 指向 树 中 的 结 点 ， 那 么 终止 时 就 不 会 错误 地 
将 指针 指向 已 删 去 的 结 点 。 

流 网 络 相关 材料 现在 基于 边 上 的 全 部 流 。 这 种 方法 比 前 两 版 中 使 用 的 净 流 更 直观 。 

由 于 关于 矩阵 基础 和 Strassen 算法 的 材料 移 到 了 其 他 章 ， 和 矩阵 运算 这 一 章 的 内 容 比 第 2 
版 中 所 占 的 篇 幅 更 小 。 

修改 了 对 Knuth-Morris-Pratt 字符 串 匹 配 算 法 的 讨论 。 

修正 了 上 一 版 中 的 一 些 错误 。 在 网 站 上 ， 这 些 错误 大 多 数 都 已 在 第 2 版 的 勘误 中 给 出 ， 
但 是 有 些 没有 给 出 。 

根据 许多 读者 的 要 求 ， 我 们 改变 了 书 中 伪 代 码 的 语法 ， 现 在 用 “三 ”表示 赋值 ， 用 “ 王 王 ” 
表示 检验 相等 ， 正 如 C、C 十 十 、Java 和 Python 所 用 的 。 同 样 ， 我 们 不 再 使 用 关键 字 do 
和 then 而 是 使 用 “//” 作 为 程序 行 末尾 的 注释 符号 。 我 们 现在 还 使 用 点 标记 法 表明 对 象 
属性 。 书 中 的 伪 代 码 仍 是 过 程 化 的 ， 而 不 是 面向 对 象 的 。 换 句 话 说 ,我 们 只 是 简单 地 调 
用 过 程 ， 将 对 象 作为 参数 传递 ， 而 不 是 关于 对 象 的 运行 方法 。 

新 增 100 道 练 习 和 28 道 思考 题 ， 还 更 新 并 补充 了 参考 文献 。 
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这 一 部 分 将 引导 读者 开始 思考 算法 的 设计 和 分 析 问 题 ， 简 单 介绍 算法 
的 表达 方法 、 将 在 本 书 中 用 到 的 一 些 设计 策略 ， 以 及 算法 分 析 中 用 到 的 许 
多 基本 思想 。 本 书后 面 的 内 容 都 是 建立 在 这 些 基础 知识 之 上 的 。 

第 1 章 是 对 算法 及 其 在 现代 计算 系统 中 地 位 的 一 个 综述 。 本 章 给 出 了 
算法 的 定义 和 一 些 算法 的 例子 。 此 外 ， 本 章 还 说 明了 算法 是 一 项 技术 ， 就 
像 快速 的 硬件 、 图 形 用 户 界 面 、 面 向 对 象 系统 和 网 络 一 样 。 

在 第 2 章 中 ， 我们 给 出 了 书 中 的 第 一 批 算法 ， 它 们 解决 的 是 对 n 个 数 
进行 排序 的 问题 。 这 些 算法 是 用 一 种 伪 代 码 形式 给 出 的 ， 这 种 伪 代 码 尽管 
不 能 直接 翻译 为 任何 常规 的 程序 设计 语言 ， 但 是 足够 清晰 地 表达 了 算法 的 
结构 ， 以 便 任何 一 位 能 力 比 较 强 的 程序 员 都 能 用 自己 选择 的 语言 将 算法 实 
现 出 来 。 我 们 分 析 的 排序 算法 是 插入 排序 ， 它 采用 了 一 种 增 量 式 的 做 法 ; 
另外 还 分 析 了 上 归并 排序 ， 它 采用 了 一 种 递归 技术 ， 称 为 “分 治 法 "。 尽 管 这 
两 种 算法 所 需 的 运行 时 间 都 随 ”的 值 而 增长 ， 但 增长 的 速度 是 不 同 的 。 我 
们 在 第 2 章 分 析 了 这 两 种 算法 的 运行 时 间 ， 并 给 出 了 一 种 有 用 的 表示 方法 
来 表达 这 些 运行 时 间 。 

第 3 章 给 出 了 这 种 表示 法 的 准确 定义 ， 称 为 渐 近 表示 。 在 第 3 章 的 一 
开始 ， 首 先 定 义 几 种 渐 近 符号 ， 它 们 主要 用 于 表示 算法 运行 时 间 的 上 界 和 
下 界 。 第 3 章 余下 的 部 分 主要 给 出 了 一 些 数 学 表示 方法 。 这 一 部 分 的 作用 
更 多 的 是 为 了 确保 读者 所 用 的 记号 能 与 本 书 的 记号 体系 相 匹 配 ， 而 不 是 教 
授 新 的 数学 概念 。 

第 4 章 更 深入 地 讨论 了 第 2 章 引 入 的 分 治 法 ， 给 出 了 更 多 分 治 法 的 例 
子 ， 包 括 用 于 两 方 阵 相 乘 的 Strassen 方法 。 第 4 章 包 含 了 求解 递归 式 的 方 
法 。 递 归 式 用 于 描述 递归 算法 的 运行 时 间 。“ 主 方法 "是 一 种 功能 很 强 的 技 
术 ， 通 党 用 于 解决 分 治 算法 中 出 现 的 递归 式 。 虽 然 第 4 章 中 的 相当 一 部 分 
内 容 都 是 在 证 明 主 方法 的 正确 性 ,但 是 如 果 跳 过 这 一 部 分 证 明 内 容 ， 也 没 
有 什么 太 大 的 影响 。 
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第 5 章 介绍 概率 分 析 和 随机 化 算法 。 概 率 分 析 一 般 用 于 确定 一 些 算 法 的 运行 时 间 ， 在 这 些 算 
法 中 ， 由 于 同一 规模 的 不 同 输入 可 能 有 着 内 在 的 概率 分 布 ， 因 而 在 这 些 不 同 输入 之 下 ， 算 法 的 运 
行 时 间 可 能 有 所 不 同 。 在 有 些 情 况 下 ， 我 们 假定 算法 的 输入 服从 某 种 已 知 的 概率 分 布 ， 于 是 ， 算 
法 的 运行 时 间 就 是 在 所 有 可 能 的 输入 之 下 ， 运 行 时 间 的 平均 值 。 在 其 他 情况 下， 概率 分 布 不 是 来 
自 于 输入 ， 而 是 来 自 于 算法 执行 过 程 中 所 做 出 的 随机 选择 。 如 果 一 个 算法 的 行为 不 仅 由 其 输入 
决定 ， 还 要 由 一 个 随机 数 生成 器 生成 的 值 来 决定 ， 那 么 它 就 是 一 个 随机 化 算法 。 我 们 可 以 利用 随 
机 化 算法 强行 使 算法 的 输入 服从 某 种 概率 分 布 ， 从 而 确保 不 会 有 某 一 输入 会 始终 导致 算法 的 性 
能 变 坏 ; 或 者 ， 对 于 那些 允许 产生 不 正确 结果 的 算法 ， 甚 至 能 够 将 其 错误 率 限 制 在 某 个 范围 
之 内 。 

附录 A~D 包 含 了 一 些 数学 知识 ， 它 们 对 读者 阅读 本 书 可 能 会 有 所 帮助 。 在 阅读 本 书 之 前 ， 
读者 很 有 可 能 已 经 知道 了 附录 中 给 出 的 大 部 分 知识 (我 们 采用 的 某 些 符 号 约定 与 读者 过 去 见 过 的 
可 能 会 有 所 不 同 ) ， 因 而 可 以 将 附录 视 为 参考 材料 。 另 外 ， 你 很 可 能 从 未 见 过 第 一 部 分 中 给 出 的 

[4] 内 容 。 第 一 部 分 中 的 所 有 各 章 和 附录 都 是 以 一 种 人 门 指 南 的 风格 来 编写 的 。 
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算法 在 计算 中 的 作用 


什么 是 算法 ? 为 什么 算法 值得 研究 ? 相对 于 计算 机 中 使 用 的 其 他 技术 来 说 算法 的 作用 是 什 
么 ? 本 章 我 们 将 回答 这 些 问题 。 


1.1 算法 

非 形式 地 说 ， 算 法 (algorithm) 就 是 任何 良 定义 的 计算 过 程 ， 该 过 程 取 某 个 值 或 值 的 集合 作为 
输入 并 产生 某 个 值 或 值 的 集合 作为 输出 。 这 样 算法 就 是 把 输入 转换 成 输出 的 计算 步骤 的 一 个 
序列 。 
我 们 也 可 以 把 算法 看 成 是 用 于 求解 良 说 明 的 计算 问题 的 工具 。 一 般 来 说 ， 问 题 陈述 说 明了 
期 望 的 输入 /输出 关系 。 算 法 则 描述 一 个 特定 的 计算 过 程 来 实现 该 输入 /输出 关系 。 

例如 ， 我 们 可 能 需要 把 一 个 数列 排 成 非 递 减 序 。 实 际 上 ， 这 个 问题 经 常 出 现 ， 并 且 为 引入 许 
多 标准 的 设计 技术 和 分 析 工 具 提 供 了 足够 的 理由 。 下 面 是 我 们 关于 排序 问题 的 形式 定义 。 

输入 : nn 个 数 的 一 个 序列 (a1，as，…，a,)。 

输出 : 输入 序列 的 一 个 排列 (aa ，a;，…，a,)， 满 足 aKa SKa. 
例如 ， 给 定 输入 序列 (31，41，59，26，41，58)， 排 序 算法 将 返回 序列 (26，31，41，41，58， 
59) 作 为 输出 。 这 样 的 输入 序列 称 为 排序 问题 的 一 个 实例 (instance)。 一 般 来 说 ， 问 题 实 例 由 计算 
该 问题 解 所 必需 的 (满足 问题 陈述 中 强加 的 各 种 约束 的 ) 输 入 组 成 。 

因为 许多 程序 使 用 排序 作为 一 个 中 间 步 ， 所 以 排序 是 计算 机 科学 中 的 一 个 基本 操作 。 因 此 ， 
已 有 许多 好 的 排序 算法 供 我 们 任意 使 用 。 对 于 给 定 应 用 ， 哪 个 算法 最 好 依赖 于 以 下 因素 : 将 被 排 
序 的 项 数 、 这 些 项 已 被 稍微 排序 的 程度 、 关 于 项 值 的 可 能 限制 、 计 算 机 的 体系 结构 ， 以 及 将 使 用 
的 存储 设备 的 种 类 ( 主 存 、 磁 盘 或 者 磁带 ) 。 

若 对 每 个 输入 实例 算法 都 以 正确 的 输出 停机 ， 则 称 该 算法 是 正确 的 ， 并 称 正 确 的 算法 解决 了 
给 定 的 计算 问题 。 不 正确 的 算法 对 某 些 输入 实例 可 能 根本 不 停机 ， 也 可 能 以 不 正确 的 回答 停机 。 
与 人 们 期 望 的 相反 ， 不 正确 的 算法 只 要 其 错误 率 可 控 有 时 可 能 是 有 用 的 。 在 第 31 章 ， 当 我 们 研究 
求 大 素数 算法 时 ， 将 看 到 一 个 具有 可 控 错 误 率 的 算法 例子 。 但 是 通常 我 们 只 关心 正确 的 算法 。 

算法 可 以 用 英语 说 明 ， 也 可 以 说 明成 计算 机 程序 ， 甚 至 说 明成 硬件 设计 。 唯 一 的 要 求 是 这 个 
说 明 必 须 精确 描述 所 要 遵循 的 计算 过 程 。 

算法 解决 哪 种 问题 

排序 绝 不 是 已 开发 算法 的 唯一 计算 问题 ( 当 看 到 本 书 的 厚度 时 ， 你 可 能 觉得 算法 也 同样 多 ) 。 

算法 的 实际 应 用 无 处 不 在 ， 包 括 以 下 例子 : 

。 人 类 基因 工程 已 经 取得 重大 进展 ， 其 目标 是 识别 人 类 DNA 中 的 所 有 10 万 个 基因 ， 确 定 
构成 人 类 DNA 的 30 亿 个 化 学 基 对 的 序列 ， 在 数据 库 中 存储 这 类 信息 并 为 数据 分 析 开 发 
工具 。 这 些 工 作 都 需要 复杂 的 算法 。 虽 然 对 涉及 的 各 种 问题 的 求解 超出 了 本 书 的 范围 ， 
但 是 求解 这 些 生物 问题 的 许多 方法 采用 了 本 书 多 章 内 容 的 思想 ， 从 而 使 得 科学 家 能 够 有 
效 地 使 用 资源 以 完成 任务 。 因 为 可 以 从 实验 技术 中 提取 更 多 的 信息 ， 所 以 既 能 节省 人 和 
机 器 的 时 间 又 能 节省 金钱 。 

。 互联 网 使 得 全 世界 的 人 都 能 快速 地 访问 与 检索 大 量 信息 。 借 助 于 一 些 聪明 的 算法 ,互联 
网 上 的 网 站 能 够 管理 和 处 理 这 些 海量 数据 。 必 须 使 用 算法 的 问题 示例 包括 为 数据 传输 寻 
找 好 的 路 由 (求解 这 些 问 题 的 技术 在 第 24 章 给 出 )， 使 用 一 个 搜索 引擎 来 快速 地 找到 特定 
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信息 所 在 的 网 页 (有 关 技 术 在 第 11 章 和 第 32 章 中 ) 。 
。 电子 商务 使 得 货物 与 服务 能 够 以 电子 方式 洽谈 与 交换 ， 并 且 它 依赖 于 像 信用 卡号 、 密 码 
和 银行 结 单 这 类 个 人 信息 的 保密 性 。 电 子 商 务 中 使 用 的 核心 技术 包括 (第 31 章 中 包含 的 ) 
公 钥 密码 与 数字 签名 ， 它 们 以 数值 算法 和 数论 为 基础 。 
制造 业 和 其 他 商务 企业 常常 需要 按 最 有 益 的 方式 来 分 配 稀 有 资源 。 一 家 石油 公司 也 许 希 
望 知道 在 什么 地 方 设置 其 油井 ， 以 便 最 大 化 其 预期 的 利润 。 一 位 政治 候选 人 也 许 想 确定 
在 什么 地 方 花 钱 购买 竞选 广告 ， 以 便 最 大 化 赢得 竞选 的 机 会 。 一 家 航空 公司 也 许 希 望 按 
尽 可 能 最 廉价 的 方式 把 乘务 员 分 配 到 班机 上 ， 以 确保 每 个 航班 被 覆盖 并 且 满 足 政府 有 关 
乘务 员 调 度 的 法 规 。 一 个 互联 网 服务 提供 商 也 许 希 望 确定 在 什么 地 方 放置 附加 的 资源 ， 
以 便 更 有 效 地 服务 其 顾客 。 所 有 这 些 都 是 可 以 用 线性 规划 来 求解 的 问题 的 例子 ， 我们 将 
在 第 29 章 学 习 这 种 技术 。 
虽然 这 些 例 子 的 一 些 细节 已 超出 本 书 的 范围 ， 但 是 我 们 确实 说 明了 一 些 适用 于 这 些 问题 和 
问题 领域 的 基本 技术 。 我 们 还 说 明 如 何 求解 许多 具体 问题 ， 包 括 以 下 问题 : 
。 给 定 一 张 交 通 图 ， 上 面 标记 了 每 对 相 邻 十 字 路 口 之 间 的 距离 ， 我 们 希望 确定 从 一 个 十 
字 路 口 到 另 一 个 十 字 路 口 的 最 短 道路 。 即 使 不 允许 穿 过 自身 的 道路 ， 可 能 路 线 的 数量 
也 会 很 大 。 在 所 有 可 能 路 线 中 ， 我 们 如 何 选 择 哪 一 条 是 最 短 的 ? 这 里 首先 把 交通 图 ( 它 
本 身 就 是 实际 道路 的 一 个 模型 ) 建 模 为 一 个 图 (第 六 部 分 和 附录 B 将 涉及 这 个 概念 )， 然 
后 寻找 图 中 从 一 个 顶点 到 另 一 个 顶点 的 最 短路 径 。 第 24 章 将 介绍 如 何 有 效 地 求解 这 个 
问题 。 
。 给 定 两 个 有 序 的 符号 序列 XST, T29 t, mI MYSly s yY2s s W) RKE XMY 
的 最 长 公共 子 序列 。X 的 子 序列 就 是 去 掉 一 些 元 素 ( 可 能 是 所 有 ， 也 可 能 一 个 没有 ) 后 的 
X. pila, <A, B, C, D, ,下 ，G) 的 一 个 子 序列 是 (B，C,， E, G). XMYWRKA 
共 子 序列 的 长 度 度 量 了 这 两 个 序列 的 相似 程序 。 例 如 ， 若 两 个 序列 是 DNA 链 中 的 基 对 ， 
则 当 它 们 具有 长 的 公共 子 序列 时 我 们 认为 它们 是 相似 的 。 若 和 有 zz MESH Y Hn ME 
号 ， 则 和 和 工分 别 有 2” 和 2" 个 可 能 的 子 序列 。 除 非 m 和 n 很 小 ， 和 否则 选择 X 和 了 的 所 
有 可 能 子 序 列 做 匹配 将 花费 使 人 望而却步 多 的 时 间 。 第 15 章 将 介绍 如 何 使 用 一 种 称 为 动 
态 规划 的 一 般 技 术 来 有 效 地 求解 这 个 问题 。 
。 给 定 一 个 依据 部 件 库 的 机 械 设计 ， 其 中 每 个 部 件 可 能 包含 其 他 部 件 的 实例 ， 我 们 需要 依 
次 列 出 这 些 部 件 ， 以 使 每 个 部 件 出 现在 使 用 它 的 任何 部 件 之 前 。 若 该 设计 由 个 部 件 组 
R, WFE n! 种 可 能 的 顺序 ， 其 中 n! 表示 阶乘 函数 。 因 为 阶乘 函数 其 至 比 指数 函数 增 
长 还 快 ，( 除 非 我 们 只 有 几 个 部 件 ， 否 则 ) 先 生成 每 种 可 能 的 顺序 再 验证 按 该 顺序 每 个 部 
件 出 现在 使 用 它 的 部 件 之 前 ， 是 不 可 行 的 。 这 个 问题 是 拓扑 排序 的 一 个 实例 ， 第 22 章 将 
介绍 如 何 有 效 地 求解 这 个 问题 。 
。 SEF HLA rte, 我们 希望 寻找 这 些 点 的 是 沉 。 同 这 就 是 包含 这 些 点 的 最 小 的 凸 多 
边 形 。 直 观 上 ， 我 们 可 以 把 每 个 点 看 成 由 从 一 块 木 板 钉 出 的 一 颗 钉子 来 表示 。 凸 壳 则 由 
一 根 拉 紧 的 环绕 所 有 钉子 的 橡皮 筋 来 表示 。 如 果 橡 皮 筋 因 绕 过 某 颗 钉子 而 转弯 ， 那 么 这 
颗 钉 子 就 是 凸 壳 的 一 个 顶点 (例子 参见 图 33-6)。n 个 点 的 2" 个 子 集中 的 任何 一 个 都 可 能 
是 凸 壳 的 顶点 集 。 仅 知道 哪些 点 是 凸 壳 的 顶点 还 很 不 够 ， 因 为 我 们 还 必须 知道 它们 出 现 
的 顺序 。 所 以 为 求 凸 壳 的 顶点 ， 存 在 许多 选择 。 第 33 章 将 给 出 两 种 用 于 求 凸 壳 的 好 
方法 。 
虽然 这 些 问 题 的 列表 还 远 未 穷尽 (也 许 你 已 经 再 次 从 本 书 的 重量 推测 到 这 一 点 )， 但 是 它们 
却 展示 了 许多 有 趣 的 算法 问题 所 共有 的 两 个 特征 : 


第 1 章 算法 在 计算 中 的 作用 


1. 存在 许多 候选 解 ， 但 绝 大 多 数 候选 解 都 没有 解决 手头 的 问题 。 寻 找 一 个 真正 的 解 或 一 个 
最 好 的 解 可 能 是 一 个 很 大 的 挑战 。 

2. 存在 实际 应 用 。 在 上 面 所 列 的 问题 中 ， 最 短路 径 问 题 提供 了 最 易 懂 的 例子 。 一 家 运输 公 
司 ( 如 公路 运输 或 铁路 运输 公司 ) 对 如 何在 公路 或 铁路 网 中 找 出 最 短路 径 ， 有 着 经 济 方面 的 利益 ， 
因为 采用 的 路 径 越 短 ， 其 人 力 和 燃料 的 开销 就 越 低 。 互 联网 上 的 一 个 路 由 结 点 为 了 快速 地 发 送 
一 条 消息 可 能 需要 寻找 通过 网 络 的 最 短路 径 。 和 希望 从 纽约 开车 去 波士顿 的 人 可 能 想 从 一 个 恰当 
的 网 站 寻找 开车 方向 ， 或 者 开车 时 她 可 能 使 用 其 GPS, 

算法 解决 的 每 个 问题 并 不 都 有 一 个 容易 识别 的 候选 解 集 。 例如， 假设 给 定 一 组 表示 信号 样 
本 的 数值 ， 我们 想 计 算 这 些 样 本 的 离散 傅 里 叶 变 换 。 高 散 仁 里 叶 变 换 把 时 域 转变 为 频 域 ， 产 生 一 
组 数值 系数 ， 使 得 我 们 能 够 判定 被 采样 信号 中 各 种 频率 的 强度 。 除 了 处 于 信号 处 理 的 中 心 之 外 ， 
离散 傅 里 叶 变 换 还 应 用 于 数据 压缩 和 大 多 项 式 与 整数 相 乘 。 第 30 章 为 该 问题 给 出 了 一 个 有 效 的 
算法 一 一 快速 传 里 叶 变换 (通常 称 为 FFET)， 并 且 这 章 还 概述 了 计算 FFT 的 硬件 电路 的 设计 。 

数据 结构 

本 书 也 包含 几 种 数据 结构 。 数 据 结 构 是 一 种 存储 和 组 织 数据 的 方式 ， 旨 在 便于 访问 和 修改 。 
没有 一 种 单一 的 数据 结构 对 所 有 用 途 均 有 效 ， 所 以 重要 的 是 知道 几 种 数据 结构 的 优势 和 局 限 。 

技术 

虽然 可 以 把 本 书 当 做 一 本 有 关 算 法 的 “菜谱 ”来 使 用 , 但 是 也 许 在 某 一 天 你 会 遇 到 一 个 问题 ， 
一 时 无 法 很 快 找到 一 个 已 有 的 算法 来 解决 它 ( 例 如 本 书 中 的 许多 练习 和 思考 题 就 是 这 样 的 情况 )。 
本 书 将 教 你 一 些 算法 设计 与 分 析 的 技术 ， 以 便 你 能 自行 设计 算法 、 证 明 其 正确 性 和 理解 其 效率 。 
不 同 的 章 介绍 算法 问题 求解 的 不 同方 面 。 有 些 章 处 理 特定 的 问题 ， 例 如 ， 第 9 章 的 求 中 位 数 和 顺 
序 统计 量 ， 第 23 章 的 计算 最 小 生成 树 ， 第 26 章 的 确定 网 络 中 的 最 大 流 。 其 他 章 介 绍 一 些 技 术 ， 
例如 第 4 章 的 分 治 策略 ， 第 15 章 的 动态 规划 ， 第 17 章 的 摊 还 分 析 。 

难题 

本 书 大 部 分 讨论 有 效 算法 。 我 们 关于 效率 的 一 般 量度 是 速度 ， 即 一 个 算法 花 多 长 时 间 产 生 
结果 。 然 而 有 一 些 问题 ， 目 前 还 不 知道 有 效 的 解法 。 第 34 章 研究 这 些 问 题 的 一 个 有 趣 的 子 集 ， 
其 中 的 问题 被 称 为 NP 完全 的 。 

为 什么 NP 完全 问题 有 趣 呢 ? 第 一 ， 虽 然 迄 今 为 止 不 曾 找 到 对 一 个 NP 完全 问题 的 有 效 算 
法 ,但 是 也 没有 人 能 证 明 NP 完全 问题 确实 不 存在 有 效 算法 。 换 句 话说， 对 于 NP 完全 问题 ， 是 
否 存在 有 效 算法 是 未 知 的 。 第 二 ，NP 完全 问题 集 具有 一 个 非凡 的 性 质 ， 如 果 任 何 一 个 NP 完全 
问题 存在 有 效 算法 ， 那 么 所 有 NP 完全 问题 都 存在 有 效 算法 。NP 完全 问题 之 间 的 这 种 关系 使 得 
有 效 解 的 缺乏 更 加 诱 人 。 第 三 ， 有 几 个 NP 完全 问题 类 似 于 (但 又 不 完全 同 于 ) 一 些 有 着 已 知 有 效 
算法 的 问题 。 计 算 机 科学 家 迷恋 于 如 何 通过 对 问题 陈述 的 一 个 小 小 的 改变 来 很 大 地 改变 其 已 知 
最 佳 算法 的 效率 。 

你 应 该 了 解 NP 完全 问题 ， 因 为 有 些 NP 完全 问题 会 时 不 时 地 在 实际 应 用 中 冒 出 来 。 如 果 要 
求 你 找 出 某 一 NP 完全 问题 的 有 效 算法 ， 那 么 你 可 能 花费 许多 时 间 在 毫 无 结果 的 探寻 中 。 如 果 你 
能 证 明 这 个 问题 是 NP 完全 的 ， 那么 你 可 以 把 时 间 花 在 开发 一 个 有 效 的 算法 ， 该 算法 给 出 一 个 好 
的 解 ， 但 不 一 定 是 最 好 的 可 能 解 。 

作为 一 个 具体 的 例子 ， 考 虑 一 家 具有 一 个 中 心 仓 库 的 投递 公司 。 每 天 在 中 心 仓 库 为 每 辆 投 
递 车 装 货 并 发 送出 去 ， 以 将 货物 投递 到 几 个 地 址 。 每 天 结束 时 每 辆 货车 必须 最 终 回 到 仓库 ， 以 便 
准备 好 为 第 二 天 装 货 。 为 了 减少 成 本 ， 公 司 希 望 选择 投递 站 的 一 个 序 ， 按 此 序 产生 每 辆 货车 行驶 
的 最 短 总 距离 。 这 个 问题 就 是 著名 的 “旅行 商 问题 "， 并 且 它 是 NP 完全 的 。 它 没有 已 知 的 有 效 算 
法 。 然 而 ， 在 某 些 假设 条 件 下 ， 我 们 知道 一 些 有 效 算法 ， 它 们 给 出 一 个 离 最 小 可 能 解 不 太 远 的 总 
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第 一 部 分 基础 知识 


距离 。 第 35 章 将 讨论 这 样 的 “近似 算法 ”。 

并 行 性 

我 们 或 许可 以 指望 处 理 器 时 钟 速度 能 以 某 个 持续 的 比率 增加 多 年 。 然 而 物理 的 限制 对 不 断 
提高 的 时 钟 速度 给 出 了 一 个 基本 的 路 障 : 因为 功率 密度 随时 钟 速度 超 线性 地 增加 ， 一 旦 时 钟 速 
度 变 得 足够 快 ， 芯 片 将 有 熔化 的 危险 。 所 以 ， 为 了 每 秒 执行 更 多 计算 ， 芯 片 被 设计 成 包含 不 止 一 
个 而 是 几 个 处 理 “ 核 >。 我 们 可 以 把 这 些 多 核 计算 机 比拟 为 在 单一 芯片 上 的 几 台 顺序 计算 机 ; 换 句 
话说 ,它们 是 一 类 “并 行 计算 机 ”。 为 了 从 多 核 计算 机 获得 最 佳 的 性 能 ， 设 计算 法 时 必须 考虑 并 行 
性 。 第 27 章 给 出 了 充分 利用 多 核 的 “多 线程 ”算法 的 一 个 模型 。 从 理论 的 角度 来 看 ， 该 模型 具有 
一 些 优点 ， 它 形成 了 几 个 成 功 的 计算 机 程序 的 基础 ， 包 括 一 个 国际 象棋 博弈 程序 。 


练习 

1.1-1 给 出 现实 生活 中 需要 排序 的 一 个 例子 或 者 现实 生活 中 需要 计算 凸 壳 的 一 个 例子 。 

1.1-2 除 速度 外 ， 在 真实 环境 中 还 可 能 使 用 哪些 其 他 有 关 效 率 的 量度 ? 

1.1-3 选择 一 种 你 以 前 已 知 的 数据 结构 ， 并 讨论 其 优势 和 局 限 。 

1.1-4 前 面 给 出 的 最 短路 径 与 旅行 商 问 题 有 哪些 相似 之 处 ? 又 有 哪些 不 同 ? 

1.1-5 ”提供 一 个 现实 生活 的 问题 ， 其 中 只 有 最 佳 解 才 行 。 然 后 提供 一 个 问题 ， 其 中 近似 最 佳 的 
一 个 解 也 足够 好 。 


1.2 作为 一 种 技术 的 算法 

假设 计算 机 是 无 限 快 的 并 且 计算 机 存储 器 是 免费 的 ， 你 还 有 什么 理由 来 研究 算法 吗 ?” 即使 
只 是 因为 你 还 想 证 明 你 的 解法 会 终止 并 以 正确 的 答案 终止 ， 那 么 回答 也 是 肯定 的 。 

如 果 计 算 机 无 限 快 ， 那么 用 于 求解 某 个 问题 的 任何 正确 的 方法 都 行 。 也 许 你 希望 你 的 实现 
在 好 的 软件 工程 实践 的 范围 内 (例如 ， 你 的 实现 应 该 具有 良好 的 设计 与 文档 )， 但 是 你 最 常 使 用 的 
是 最 容易 实现 的 方法 。 

当然 ， 计 算 机 也 许 是 快 的 ， 但 它们 不 是 无 限 快 。 存 储 器 也 许 是 廉价 的 ， 但 不 是 免费 的 。 所 以 
计算 时 间 是 一 种 有 限 资源 ， 存 储 器 中 的 空间 也 一 样 。 你 应 该 明智 地 使 用 这 些 资源 ， 在 时 间或 空间 
方面 有 效 的 算法 将 帮助 你 这 样 使 用 资源 。 

效率 

为 求解 相同 问题 而 设计 的 不 同 算法 在 效率 方面 常常 具有 显著 的 差别 。 这 些 差别 可 能 比 由 于 
硬件 和 软件 造成 的 差别 要 重要 得 多 。 

作为 一 个 例子 ， 第 2 章 将 介绍 两 个 用 于 排序 的 算法 。 第 一 个 称 为 插入 排序 ， 为 了 排序 个 
Th, GRISEA REF cn’, HE ce, 是 一 个 不 依赖 于 的 常数 。 也 就 是 说 ,该 算法 所 花 时 
间 大 致 与 成 正比 。 第 二 个 称 为 归并 排序 ， 为 了 排序 个 项 ， 该 算法 所 花 时 间 大 致 等 于 conlgn， 
其 中 lgn 代 表 log,n H c: 是 另 一 个 不 依赖 于 的 常数 。 与 归并 排序 相 比 ， 插 人 排序 通常 具有 一 个 
较 小 的 常数 因子 ， 所 以 c, 二 cs。 我 们 将 看 到 就 运行 时 间 来 说 ， 常 数 因子 可 能 远 没 有 对 输入 规模 n 
的 依赖 性 重要 。 把 插入 排序 的 运行 时 间 写 成 cn。 x 并 把 归并 排序 的 运行 时 间 写 成 czn* lgn。 这 时 
就 运行 时 间 来 说 ,插入 排序 有 一 个 因子 的 地 方 归并 排序 有 一 个 因子 lgn， 后 者 要 小 得 多 。( 例 如 ， 
当 n=1 000 Hf, len 大 致 为 10， 当 nn 等 于 100 万 时 , len 大 致 仅 为 20。) 虽 然 对 于 小 的 输入 规模 ， 插 入 
排序 通常 比 归并 排序 要 快 ， 但 是 一 旦 输入 规模 n 变 得 足够 大 ， 归 并 排序 lgn 对 的 优点 将 足以 补偿 
常数 因子 的 差别 。 不 管 a We 小 多 少 ， 总 会 存在 一 个 交叉 点 ， 超 出 这 个 点 ， 归 并 排序 更 快 。 

作为 一 个 具体 的 例子 ， 我 们 让 运行 插入 排序 的 一 台 较 快 的 计算 机 (计算 机 A) 与 运行 归并 排序 
的 一 台 较 慢 的 计算 机 (计算 机 B) 竞 争 。 每 台 计 算 机 必须 排序 一 个 具有 1000 万 个 数 的 数组 。( 虽 然 
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1000 万 个 数 似乎 很 多 ， 但 是 ， 如 果 这 些 数 是 8 字 节 的 整数 ， 那 么 输入 将 占用 大 致 88MB， 即 使 一 
台 便宜 的 便携 式 计算 机 的 存储 器 也 能 多 次 装 入 这 么 多 数 。) 假 设计 算 机 A 每 秒 执行 百 亿 条 指令 ( 快 
于 写本 书 时 的 任何 单 台 串 行 计算 机 )， 而 计算 机 B 每 秒 仅 执行 1 000 万 条 指令 ,结果 计算 机 A 就 
纯 计算 能 力 来 说 比 计算 机 B 快 1 000 倍 。 为 使 差别 更 具 戏 剧 性 ， 假 设 世 上 最 巧妙 的 程序 员 为 计算 
机 A 用 机 器 语言 编码 插 和 排序， 并且 为 了 排序 ”个 数 ， id he 进一步 假设 仅 
由 一 位 水 平一 般 的 程序 员 使 用 某 种 带 有 一 Pele 言 来 实现 归并 排序 ， 结 果 代 码 
需要 50nlgn 条 指令 。 es 计算 机 A 需 


0")? 条 指令 _ : 
Tas 20 000 秒 ( 多 于 5.5 小 时 ) 





而 计算 机 B 需 要 
50。107 lg107 条 指令 、 
二 和 1 163 秒 ( 少 于 20 分 钟 ) 

通过 使 用 一 个 运行 时 间 增 长 较 慢 的 算法 ， 即 使 采用 一 个 较 差 的 编译 器 ， 计 算 机 B 比 计 算 机 A 还 
快 17 倍 ! 当 我 们 排序 1 亿 个 数 时 ， 归 并 排序 的 优势 甚至 更 明显 : 这 时 插入 排序 需要 23 天 多 ， 而 
归并 排序 不 超过 4 小 时 。 一 般 来 说 ， 随 着 问题 规模 的 增 大 ， 归 并 排序 的 相对 优势 也 会 增 大 。 

算法 与 其 他 技术 

上 面 的 例子 表明 我 们 应 该 像 计 算 机 硬件 一 样 把 算法 看 成 是 一 种 技术 。 整 个 系统 的 性 能 不 但 
依赖 于 选择 快速 的 硬件 而 且 还 依赖 于 选择 有 效 的 算法 。 正 如 其 他 计算 机 技术 正在 快速 推进 一 样 ， 
算法 也 在 快速 发 展 。 

你 也 许 想 知道 相对 其 他 先进 的 计算 机 技术 (如 以 下 列 出 的 )， 算 法 对 于 当代 计算 机 是 否 真 的 
那么 重要 : 

。 先进 的 计算 机 体系 结构 与 制造 技术 

。 易于 使 用 、 直 观 的 图 形 用 户 界 面 (GUD 

。 面向 对 象 的 系统 

。 集成 的 万 维 网 技术 

。 有 线 与 无 线 网 络 的 快速 组 网 
回答 是 肯定 的 。 虽 然 某 些 应 用 在 应 用 层 不 明确 需要 算法 内 容 ( 如 某 些 简单 的 基于 万 维 网 的 应 用 ), 但 是 
许多 应 用 确实 需要 算法 内 容 。 例 如 ， 考 虑 一 种 基于 万 维 网 的 服务 ， 它 确定 如 何 从 一 个 位 置 旅行 到 另 一 
个 位 置 。 其 实现 依赖 于 快速 的 硬件 、 一 个 图 形 用 户 界面 、 广 域 网 ， 还 可 能 依赖 于 面向 对 象 技 术 。 然 
而 ， 对 某 些 操作 ， 如 寻找 路 线 ( 可 能 使 用 最 短路 径 算 法 )、 描 绘 地 图 、 插 和 地址， 它 还 是 需要 算法 。 

而 且 ， 即 使 是 那些 在 应 用 层 不 需要 算法 内 容 的 应 用 也 高 度 依赖 于 算法 。 该 应 用 依赖 于 快速 
的 硬件 吗 ? 硬件 设计 用 到 算法 。 该 应 用 依赖 于 图 形 用 户 界 面 吗 ? 任何 图 形 用 户 界面 的 设计 都 依赖 
于 算法 。 该 应 用 依赖 于 网 络 吗 ? 网 络 中 的 路 由 高 度 依赖 于 算法 。 该 应 用 采用 一 种 不 同 于 机 器 代码 
的 语言 来 书写 吗 ? 那么 它 被 某 个 编译 器 、 解 释 器 或 汇编 器 处 理 过 ， 所 有 这 些 都 广泛 地 使 用 算法 。 
算法 是 当代 计算 机 中 使 用 的 大 多 数 技术 的 核心 。 

进一步 ， 随 着 计算 机 能 力 的 不 断 增 强 ， 我 们 使 用 计算 机 来 求解 比 以 前 更 大 的 问题 。 正 如 我 们 
在 上 面 对 插 人 排序 与 归并 排序 的 比较 中 所 看 到 的 ， 正 是 在 较 大 问题 规模 时 ， 算 法 之 间 效 率 的 差 
别 才 变 得 特别 显著 。 

是 否 具 有 算法 知识 与 技术 的 坚实 基础 是 区 分 真正 熟练 的 程序 员 与 初学 者 的 一 个 特征 。 使 用 
现代 计算 技术 ， 如 果 你 对 算法 懂得 不 多 ， 你 也 可 以 完成 一 些 任 务 ， 但 是 ， 如 果 有 一 个 好 的 算法 背 
景 ， 那 么 你 可 以 做 的 事情 就 多 得 多 。 


练习 
1.2-1 给 出 在 应 用 层 需要 算法 内 容 的 应 用 的 一 个 例子 ， 并 讨论 涉及 的 算法 的 功能 。 
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1.2-2 假设 我 们 正比 较 插 入 排序 与 归并 排序 在 相同 机 器 上 的 实现 。 对 规模 为 n 的 输入 ,插入 排 
序 运行 8r 步 ， 而 归并 排序 运行 64nlgn 步 。 问 对 哪些 nn 值 ， 插 入 排序 优 于 归并 排序 ? 
1.2-3 n 的 最 小 值 为 何 值 时 ， 运 行 时 间 为 100 的 一 个 算法 在 相同 机 器 上 快 于 运行 时 间 为 2" 的 





















































另 一 个 算法 ? 
思考 题 
1-1 (运行 时 间 的 比较 ) 假设 求解 问题 的 算法 需要 大 zz 毫秒 ， 对 下 表 中 的 每 个 函数 f(n) 和 时 间 
ti， 确定 可 以 在 时 间 上 内 求解 的 问题 的 最 大 规模 nn。 
| 15 1 分钟 1 小 时 1 天 1 月 1 年 1 世纪 

lgn ee 

Jn 

n a | 

nlgn 

= 5 

n! a 
本 章 注 记 


关于 算法 的 一 般 主题 存在 许多 优秀 的 教科 书 ， 包 括 由 以 下 作者 编写 的 那些 : Aho, Hopcroft 
和 Ullman[5, 6], Baase 和 Van Gelder[ 28], Brassard 和 Bratley[54], Dasgupta, Papadimitriou 
和 Vazirani[ 82], Goodrich 和 Tamassia[ 148], Hofri[175], Horowitz, Sahni 和 Rajasekaran 
[181], Johnsonbaugh 和 Schaefer[ 193], Kingston[ 205], Kleinberg 和 Tardos[208], Knuth[ 209, 
210, 211], Kozen[220], Levitin[235], Manber[242], Mehlhorn[ 249, 250, 251], Purdom 和 
Brown[ 287], Reingold, Nievergelt 和 Deo[ 293], Sedgewick[306], Sedgewick 和 Flajolet[ 307], 
Skiena[ 318]， 以 及 WilL356]。Bentley[42，43] 和 Gonnet[145] 讨 论 了 算法 设计 的 一 些 更 实际 的 
方面 。 算 法 领域 的 全 面 评 述 也 可 以 在 《Handbook of Theoretical Computer Science, Volume A) 
[342] 以 及 CRC 出 版 的 4Algorithms and Theory of Computation Handbook 汇 25] 中 找到 。 计 算 生 物 
学 中 使 用 的 算法 的 概述 可 以 在 由 Gusfield[ 156]、Pevzner[ 275 ]、Setubal 和 Meidanis[ 310] 以 及 

Waterman| 350j] 编 写 的 教材 中 找到 。 
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本 章 将 要 介绍 一 个 贯穿 本 书 的 框架 ,后续 的 算法 设计 与 分 析 都 是 在 这 个 框架 中 进行 的 。 这 
一 部 分 内 容 基本 上 是 独立 的 ,但 也 有 对 第 3 章 和 第 4 章 中 一 些 内 容 的 引用 (本 章 也 包含 儿 个 求 和 
的 式 子 ， 附 录 A 将 给 出 如 何 求 和 )。 

首先 ， 我 们 考察 求解 第 1 章 中 引入 的 排序 问题 的 插入 排序 算法 。 我 们 定义 一 种 对 于 已 经 编写 
过 计算 机 程序 的 读者 来 说 应 该 熟悉 的 “ 伪 代 码 ”， 并 用 它 来 表明 我 们 将 如 何 说 明 算 法 。 然 后 ， 在 说 
明了 插入 排序 算法 后 ， 我 们 将 证 明 该 算法 能 正确 地 排序 并 分 析 其 运行 时 间 。 这 种 分 析 引 入 了 一 
种 记号 ， 该 记号 关注 时 间 如 何 随 着 将 被 排序 的 项 数 而 增加 。 在 讨论 完 插 入 排序 之 后 ， 我 们 引入 用 
于 算法 设计 的 分 治 法 并 使 用 这 种 方法 开发 一 个 称 为 归并 排序 的 算法 。 最 后 ， 我 们 分 析 归 并 排序 
的 运行 时 间 。 


2. 1 插入 排序 


我 们 的 第 一 个 算法 (插入 排序 ) 求 解 第 1 章 中 引入 的 排序 问题 : 

输入 : n 个 数 的 一 个 序列 4a ， aan s Gado 

输出 : 输入 序列 的 一 个 排列 (ai ，as ，…，a’)， 满足 aKa Kal. 

我 们 希望 排序 的 数 也 称 为 关键 词 。 虽 然 概念 上 我 们 在 排序 一 个 序列 ， 但 是 输入 是 以 nn 个 元 素 
的 数组 的 形式 出 现 的 。 

本 书 中 ， 我 们 通常 将 算法 描述 为 用 一 种 伪 代 码 书写 的 程序 ， 该 伪 代 码 在 许多 方面 类 似 于 C 
C++, Java, Python 或 Pascal。 如 果 你 学 过 这 些 语言 中 的 任何 一 种 ， 那 么 在 阅读 我 们 的 算法 时 
应 该 没有 困难 。 伪 代码 与 真 码 的 区 别 在 于 ， 在 伪 代 码 中 ， 我 们 使 用 最 清晰 、 最 简洁 的 表示 方法 来 
说 明 给 定 的 算法 。 有 时 最 清晰 的 表示 方法 是 英语 ， 所 以 如 果 你 遇 到 一 个 英文 短语 或 句子 内 人 在 
一 段 真 码 中 就 不 要 吃惊 。 伪 代码 与 真 码 的 另 一 个 区 别 是 伪 代 码 通常 不 关心 软件 工程 的 问题 。 为 
了 更 简洁 地 表达 算法 的 本 质 ， 常 常 忽 略 数据 抽象 、 模 块 性 和 错误 处 理 的 问题 。 

我 们 首先 介绍 插入 排序 ， 对 于 少量 元 素 的 排序 ， 它 是 一 个 有 效 的 算法 。 插 入 排序 的 工作 方式 
像 许 多 人 排序 一 手 扑 克 牌 。 开 始 时 ， 我 们 的 左手 为 空 并 且 桌 子 上 的 牌 面向 下 。 然 后 ， 我 们 每 次 从 
桌子 上 拿 走 一 张 牌 并 将 它 插 人 左手 中 正确 的 位 置 。 
为 了 找到 一 张 牌 的 正确 位 置 ， 我 们 从 右 到 左 将 它 与 
已 在 手中 的 每 张 牌 进行 比较 ， 如 图 2-1 所 示 。 拿 在 
左手 上 的 牌 总 是 排序 好 的 ， 原 来 这 些 牌 是 桌子 上 牌 
堆 中 顶部 的 牌 。 

对 于 插入 排序 ， 我 们 将 其 伪 代 码 过 程 命名 为 
INSERTION-SORT， 其 中 的 参数 是 一 个 数组 A[1. .nj]， 
包含 长 度 为 n 的 要 排序 的 一 个 序列 。( 在 代码 中 ，A 
中 元 素 的 数目 n HA. length 来 表示 ,) 该 算法 原址 排 
序 输入 的 数 : 算法 在 数组 A 中 重 排 这 些 数 ， 在 任何 
时 候 ， 最 多 只 有 其 中 的 常数 个 数字 存储 在 数组 外 
面 。 在 过 程 INSERTION-SORT 结束 时 ， 输 入 数组 


A 包含 排序 好 的 输出 序列 。 图 2-1 使 用 插入 排序 来 排序 手中 扑克 有 牌 
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INSERTION-SORT¢A): ， 
1 forj = 2 to A. length 
2 key = Alj] 


3 // Insert A[j] into the sorted sequence A[1.. j — 1]. 
4 i 三 7 一 1 

5 while i > 0 and Ali] > key 

6 ALi+1] = ALi] 

T i=i-1 

8 Ali + 1] = key 

循环 不 变 式 与 插入 排序 的 正确 性 


图 2-2 表明 对 A 二 (5，2，4，6，1，3) 该 算法 如 何 工作 。 下 标 j 指出 正 被 插入 到 手中 的 “当前 
牌 "。 在 for 循环 (循环 变量 为 力 的 每 次 迭代 的 开始 ， 包 含 元 素 AL1. .7 一 1j 的 子 数组 构成 了 当前 
排序 好 的 左手 中 的 牌 ， 剩 余 的 子 数 组 AL7 十 1. .相对 应 于 仍 在 桌子 上 的 牌 堆 。 事 实 上 ， 元 素 
AL1. .7 一 菇 就 是 原来 在 位 置 1 到 j 一 1 的 元 素 ， 但 现在 已 按 序 排列 。 我 们 把 A[1.. ;一 1j 的 这 些 性 
质 形 式 地 表示 为 一 个 循环 不 变 式 : 

在 第 1 一 8 行 的 for 循环 的 每 次 迁 代 开始 时 ， 子 数组 A[1..j 一 1j 由 原来 在 AL1..j 一 1] 

中 的 元 素 组 成 ， 但 已 按 序 排列 。 

3 4 


2 | 2 3 6 
wœ (as w [2/4/51 TE 
Y. y 


4 5 6 1 


[2.3 2 4 5 6 
Œw hl E @ |112 4|5]6 
A 


图 2-2 在 数组 A=<5, 2, 4, 6, 1, 3) E INSERTION-SORT 的 操作 。 数 组 下 标 出 现在 长 方形 
的 上 方 ， 数 组 位 置 中 存储 的 值 出 现在 长 方形 中 。(a) 一 (Ce) 第 1 一 8 FF for 循环 的 迭代 。 每 
次 迭代 中 ， 黑色 的 长 方形 保存 取 自 AL;j 的 关键 字 ， 在 第 5 行 的 测试 中 将 它 与 其 左边 的 加 
阴影 的 长 方形 中 的 值 进行 比较 。 加 阴影 的 箭头 指出 数组 值 在 第 6 行 向 右 移动 一 个 位 置 ， 
黑色 的 箭头 指出 在 第 8 行 关 键 字 被 移 到 的 地 方 。(f) 最 终 排 序 好 的 数组 


循环 不 变 式 主要 用 来 帮助 我 们 理解 算法 的 正确 性 。 关 于 循环 不 变 式 ， 我们 必须 证 明 三 条 
性 质 : 

初始 化 : 循环 的 第 一 次 迭代 之 前 ， 它 为 真 。 

保持 : 如 果 循环 的 某 次 迭代 之 前 它 为 真 ， 那 么 下 次 迭代 之 前 它 仍 为 真 。 

终止 : 在 循环 终止 时 ， 不 变 式 为 我 们 提供 一 个 有 用 的 性 质 ， 该 性 质 有 助 于 证 明 算 法 是 正 
确 的 。 

当前 两 条 性 质 成 立时 ， 在 循环 的 每 次 迭代 之 前 循环 不 变 式 为 真 。( 当 然 ， 为 了 证 明 循环 不 变 
式 在 每 次 迭代 之 前 保持 为 真 ， 我 们 完全 可 以 使 用 不 同 于 循环 不 变 式 本 身 的 其 他 已 证 实 的 事实 。) 
注意 ， 这 类 似 于 数学 归纳 法 ， 其 中 为 了 证 明 某 条 性 质 成 立 ， 需 要 证 明 一 个 基本 情况 和 一 个 归纳 
步 。 这 里 ,证 明 第 一 次 迭代 之 前 不 变 式 成 立 对 应 于 基本 情况 ,证 明 从 一 次 迭代 到 下 一 次 迭代 不 变 
式 成 立 对 应 于 归纳 步 。 

第 三 条 性 质 也 许 是 最 重要 的 ， 因 为 我 们 将 使 用 循环 不 变 式 来 证 明正 确 性 。 通 常 ， 我们 和 导致 
循环 终止 的 条 件 一 起 使 用 循环 不 变 式 。 终 止 性 不 同 于 我 们 通常 使 用 数学 归纳 法 的 做 法 ， 在 归纳 
法 中 ， 归 纳 步 是 无 限 地 使 用 的 ， 这 里 当 循环 终止 时 ,停止 “归纳 ”。 

让 我 们 看 看 对 于 插入 排序 ， 如 何 证 明 这 些 性 质 成 立 。 
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初始 化 : 首先 证 明 在 第 一 次 循环 迭代 之 前 ( 当 7 = 2 时 ),， DR AER, “ 扩 似 子 数 组 
A[1.. ;一 1j 仅 由 单个 元 素 A[1] 组 成 ， 实际 上 就 是 A[1] 中 原来 的 元 素 。 而 且 该 子 数 组 是 排序 好 的 
(当然 很 平凡 )。 这 表明 第 一 次 循环 迭代 之 前 循环 不 变 式 成 立 。 

保持 : 其 次 处 理 第 二 条 性 质 : 证 明 每 次 迭代 保持 循环 不 变 式 。 非 形式 化 地 ，for 循环 体 的 第 
4~7 4% A[j 一 1]、AL[i 一 2]、A[L; 一 3j 等 向 右 移动 一 个 位 置 ， 直 到 找到 AL; 的 适当 位 置 ， 第 8 
行将 A[ 门 的 值 插入 该 位 置 。 这 时 子 数组 AL1. .站 由 原来 在 ALL. .着 中 的 元 素 组 成 ,但 已 按 序 排 
列 。 那 么 对 for 循环 的 下 一 次 迭代 增加 j 将 保持 循环 不 变 式 。 

第 二 条 性 质 的 一 种 更 形式 化 的 处 理 要 求 我 们 对 第 5 一 7 行 的 while 循环 给 出 并 证 明 一 个 循环 不 
变 式 。 然 而 ， 这 里 我 们 不 愿 陷 人 形式 主义 的 困境 ， 而 是 依赖 以 上 非 形式 化 的 分 析 来 证 明 第 二 条 性 
质 对 外 层 循环 成 立 。 

终止 : 最 后 研究 在 循环 终止 时 发 生 了 什么 。 导 致 for 循环 终止 的 条 件 是 7 >A. length=n. Al 
为 每 次 循环 迭代 j 增加 1， 那 么 必 有 j 二 十 1。 在 循环 不 变 式 的 表述 中 将 7 用 n 十 1 代替 ， 我们 有: 
子 数组 ALL. .nj 由 原来 在 ALL. .中 的 元 素 组 成 ， 但 已 按 序 排列 。 注 意 到 ， 子 数组 AL1. .nj 就 是 整 
个 数组 ， 我 们 推断 出 整个 数组 已 排序 。 因 此 算法 正确 。 

在 本 章 后 面 以 及 其 他 章 中 ， 我 们 将 采用 这 种 循环 不 变 式 的 方法 来 证 明 算法 的 正确 性 。 

伪 代 码 中 的 一 些 约定 

我 们 在 伪 代 码 中 采用 以 下 约定 : 

。 缩 进 表 示 块 结构 。 例 如 ， 第 1 行 开始 的 for 循环 体 由 第 2 一 8 行 组 成 ， 第 5 行 开 始 的 while 
循环 体 包含 第 6 一 ?7 行 但 不 包含 第 8 行 。 我 们 的 缩 进 风 格 也 适用 于 if-else 语句 2 。 采 用 缩 
进来 代替 常规 的 块 结 构 标 志 ， 如 begin 和 end 语句 ， 可 以 大 大 提高 代码 的 清晰 性 。 
while, for 与 repeat-until 等 循环 结构 以 及 if-else “GALES C C++. Java, Python 
和 Pascal 中 的 那些 结构 具有 类 似 的 解释 2。 不 像 某 些 出 现 于 CH, Java 和 Pascal 中 的 情 
况 ， 本 书 中 在 退出 循环 后 ， 循 环 计数 器 保持 其 值 。 因 此 ， 紧 接 在 一 个 for 循环 后 ， 循 环 
计数 器 的 值 就 是 第 一 个 超出 for 循环 界限 的 那个 值 。 在 证 明 插 入 排序 的 正确 性 时 ， 我 们 
使 用 了 该 性 质 。 第 1 行 的 for 循环 头 为 for j=2 to A. length， 所 以 ， 当 该 循环 终止 时 ， 
j=A. length 十 1( 或 者 等 价 地 ，j 一 n 十 1， 因 为 n 一 A. length)。 当 一 个 for 循环 每 次 迭代 增 
加 其 循环 计数 器 时 ， 我 们 使 用 关键 词 to。 当 一 个 for 循环 每 次 迭代 减少 其 循环 计数 器 时 ， 
我 们 使 用 关键 词 downto。 当 循环 计数 器 以 大 于 1 的 一 个 量 改变 时 ， 该 改变 量 跟 在 可 选 关 
键 词 by 之 后 。 
符号 “//” 表 示 该 行 后 面部 分 是 个 注释 。 

形 如 ;一 7 一 e 的 多 重 赋值 将 表达 式 e 的 值 赋 给 变量 i 和 j; 它 应 被 处 理 成 等 价 于 赋值 7 一 e 

后 跟着 赋值 i 二 j。 

变量 (如 i、j 和 A&ey) 是 局 部 于 给 定 过 程 的 。 若 无 显 式 说 明 ， 我 们 不 使 用 全 局 变量 。 

。 数组 元 素 通 过 “数组 名 [下 标 ]?” 这 样 的 形式 来 访问 。 例 如 ，ALz 表 示 数 组 A 的 第 ; 个 元 素 。 
记号 “.. ”用 于 表示 数组 中 值 的 一 个 范围 ， 这 样 ，A[L1. . 门 表示 A 的 一 个 子 数组 ， 它 包含 7 
jum ALL], ALZ +» AL. 





O HRE for 循环 时 ， 在 第 一 次 迭代 开始 之 前 ， 我 们 将 检查 循环 不 变 式 的 时 刻 是 在 对 循环 计数 变量 的 初始 赋值 
后 、 在 循环 头 的 第 一 次 测试 之 前 。 对 INSERTION-SORT， 这 个 时 刻 就 是 把 2 赋 给 变量 j 之 后 但 在 第 一 次 测试 
JSA. length 是 否 成 立 之 前 。 

© 在 if-else 语 句 中 ， 我们 缩 进 else 到 其 匹配 的 直 相 同 的 层次 。 虽 然 省 略 了 关键 词 then， 但 是 我 们 偶尔 把 紧 跟 if 的 测 
试 为 真 时 执行 的 部 分 称 为 一 个 then 子 句 。 对 于 多 路 测试 ， 在 第 一 个 测试 之 后 ， 使 用 elseif 来 测试 。 

© 大 多 数 块 结构 化 语言 虽然 其 准确 句法 也 许 不 同 ， 但 却 具 有 等 价 的 结构 。Python 缺乏 repeat-until 循环 并 且 其 for 
循环 操作 与 本 书 中 的 for 循环 有 些 不 同 。 
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2. 1-1 


2. 1-2 
2.1-3 


第 一 部 分 基础 知识 


复合 数据 通常 被 组 织 成 对 象 ， 对 象 又 由 属性 组 成 。 我 们 使 用 许多 面向 对 象 编程 语言 中 创 
建 的 句法 来 访问 特定 的 属性 : 对 象 名 后 跟 一 个 点 再 跟 属性 名 。 例 如 ， 数 组 可 以 看 成 是 一 
个 对 象 ， 它 具有 属性 length， 表 示 数 组 包含 多 少 元 素 ， 如 A. length 就 表示 数组 A 中 的 元 
素数 目 。 

我 们 把 表示 一 个 数组 或 对 象 的 变量 看 做 指向 表示 数组 或 对 象 的 数据 的 一 个 指针 。 对 于 
某 个 对 象 工 的 所 有 属性 f， 赋 值 y= 二 x 导致 y. f 等 于 zx. fo HH, AREE r f=3, W 
赋值 后 不 但 x. f 等 于 3， 而 且 y f 也 等 于 3。 换 句 话 说 ， 在 赋值 > 一 zx 后 ， 和 yy 指向 相 
同 的 对 象 。 

我 们 的 属性 记号 可 以 “串联 ”。 例 如 ， 假 设 属性 f 本 身 是 指向 某 种 类 型 的 具有 属性 g 
的 对 象 的 一 个 指针 。 那 么 记号 zx. f. g 被 隐 含 地 加 括号 成 (z. 有 ).g。 换 句 话 说 ， 如 果 已 经 
赋值 y= 二 x. f， 那 么 zx. f.g 与 y.g 相同 。 

有 时 ， 一 个 指针 根本 不 指向 任何 对 象 。 这 时 ， 我 们 赋 给 它 特殊 值 NIL. 
我 们 按 值 把 参数 传递 给 过 程 : 被 调用 过 程 接收 其 参数 自身 的 副本 。 如 果 它 对 某 个 参数 赋 
值 ， 调 用 过 程 看 不 到 这 种 改变 。 当 对 象 被 传递 时 ， 指 向 表示 对 象 数据 的 指针 被 复制 ， 而 
对 象 的 属性 却 未 被 复制 。 例 如 ， 如 果 工 是 某 个 被 调用 过 程 的 参数 ， 在 被 调用 过 程 中 的 赋 
fi zx 一 > 对 调用 过 程 是 不 可 见 的。 然而 ， 赋 值 xz. f=3 却 是 可 见 的 。 类 似 地 ， 数 组 通过 指 
针 来 传递 ， 结 果 指 向 数组 的 一 个 指针 被 传递 ， 而 不 是 整个 数组 ， 单 个 数组 元 素 的 改变 对 
调用 过 程 是 可 见 的 。 
一 个 return 语句 立即 将 控制 返回 到 调用 过 程 的 调用 点 。 大 多 数 return 语句 也 将 一 个 值 传 
递 回调 用 者 。 我 们 的 伪 代 码 与 许多 编程 语言 不 同 ， 因 为 我 们 允许 在 单一 的 return 语句 中 
返回 多 个 值 。 
布尔 运算 符 “and” 和 “or” 都 是 短路 的 。 也 就 是 说 ， 当 求 值 表 达 式 “x and y” 时 ， 首 先 求 值 
az. WR z 求 值 为 FALSE， 那 么 整个 表达 式 不 可 能 求 值 为 TRUE， 所 以 不 再 求 值 y。 另 
外 ， 如 果 工 求 值 为 TRUE， 那 么 就 必须 求 值 y 以 确定 整个 表达 式 的 值 。 类 似 地 ， 对 表达 
式 “z or y”, (24 ce RIAA FALSE it, AR(ARIAR y。 短 路 的 运算 符 使 我 们 能 书写 像 
“2ANIL and x. f 二 y” 这 样 的 布尔 表达 式 ， 而 不 必 担 心 当 a WH NIL 时 我 们 试图 求 值 x. f 
将 会 发 生 什 么 情况 。 
关键 词 error 表示 因为 已 被 调用 的 过 程 情况 不 对 而 出 现 了 一 个 错误 。 调 用 过 程 负 责 处 理 该 
错误 ， 所 以 我 们 不 用 说 明 将 采取 什么 行动 。 


以 图 2-2 为 模型 ， 说 明 INSERTION-SORT 在 数组 A 二 (31，41，59，26，41，58) 上 的 执 
行 过 程 。 

重 写 过 程 INSERTION-SORT， 使 之 按 非 升序 (而 不 是 非 降序 ) 排 序 。 

考虑 以 下 查找 问题 : 

输入 : 个 数 的 一 个 序列 A 二 《al，as，…，a,) 和 一 个 值 v。 

输出 : 下 标 i 使 得 v 二 A[ 避 或 者 当 v 不 在 A 中 出 现时 ，w 为 特殊 值 NIL. 

写 出 线性 查找 的 伪 代 码 ， 它 扫描 整个 序列 来 查找 v。 使 用 一 个 循环 不 变 式 来 证 明 你 的 算法 
是 正确 的 。 确 保 你 的 循环 不 变 式 满足 三 条 必要 的 性 质 。 

考虑 把 两 个 位 二 进 制 整数 加 起 来 的 问题 ， 这 两 个 整数 分 别 存储 在 两 个 元 数组 A M B 
中 。 这 两 个 整数 的 和 应 按 二 进 制 形式 存储 在 一 个 (n 十 1) 元 数组 C 中 。 请 给 出 该 问题 的 形 
式 化 描述 ， 并 写 出 伪 代 码 。 


第 2 章 算法 基础 


2.2 分 析 算 法 

分 析 算 法 的 结果 意味 着 预测 算法 需要 的 资源 。 虽 然 有 时 我 们 主要 关心 像 内 存 、 通 信人 带宽 或 
计算 机 硬件 这 类 资源 ， 但 是 通常 我 们 想 度量 的 是 计算 时 间 。 一 般 来 说 ， 通 过 分 析 求 解 某 个 问题 的 
几 种 候选 算法 ， 我 们 可 以 选 出 一 种 最 有 效 的 算法 。 这 种 分 析 可 能 指出 不 止 一 个 可 行 的 候选 算法 ， 
但 是 在 这 个 过 程 中 ,我 们 往往 可 以 抛弃 几 个 较 差 的 算法 。 

在 能 够 分 析 一 个 算法 之 前 ， 我 们 必须 有 一 个 要 使 用 的 实现 技术 的 模型 ， 包 括 描述 所 用 资源 
及 其 代价 的 模型 。 对 本 书 的 大 多 数 章节 ， 我 们 假定 一 种 通用 的 单 处 理 器 计算 模型 一 一 随机 访问 
机 (random-access machine，RAMD) 来 作为 我 们 的 实现 技术 ， 算 法 可 以 用 计算 机 程序 来 实现 。 在 
RAM 模型 中 ， 指 令 一 条 接 一 条 地 执行 ， 没 有 并 发 操作 。 

严格 地 说 ， 我 们 应 该 精确 地 定义 RAM 模型 的 指令 及 其 代价 。 然 而 ， 这 样 做 既 乏 味 又 对 算法 
的 设计 与 分 析 没 有 多 大 意义 。 我 们 还 要 注意 不 能 滥用 RAM 模型 。 例 如 ， 如 果 一 台 RAM 有 一 条 
排序 指令 ， 会 怎样 呢 ? 这 时 ， 我 们 只 用 一 条 指令 就 能 排序 。 这 样 的 RAM 是 不 现实 的 ， 因 为 真实 
的 计算 机 并 没有 这 样 的 指令 。 所 以 ， 我 们 的 指导 性 意见 是 真实 计算 机 如 何 设计 ，RAM 就 如 何 设 
it. RAM 模型 包含 真实 计算 机 中 常见 的 指令 : 算术 指令 (如 加 法 、 减 法 、 乘 法 、 除 法 、 取 余 、 
向 下 取 整 、 向 上 取 整 ) 、 数 据 移 动 指令 ( 装 和 人 、 存 储 、 复 制 ) 和 控制 指令 (条 件 与 无 条 件 转移 、 子 程 
序 调用 与 返回 ) 。 每 条 这 样 的 指令 所 需 时 间 都 为 常量 

RAM 模型 中 的 数据 类 型 有 整数 型 和 浮 点 实数 型 。 虽 然 在 本 书 中 ， 我 们 一 般 不 关心 精度 ， 但 
是 在 某 些 应 用 中 ， 精 度 是 至 关 重 要 的 。 我 们 还 对 每 个 数据 字 的 规模 假定 一 个 范围 。 例 如 ， 当 处 理 
规模 为 n 的 输入 时 ， 我 们 一 般 假 定 对 某 个 大 于 等 于 1 的 常量 <， 整 数 由 clgn 位 来 表示 。 我 们 要 求 
< 大 于 等 于 1， 这 样 每 个 字 都 可 以 保存 的 值 ， 从 而 使 我 们 能 索引 单个 输入 元 素 。 我 们 限制 c 为 
常量 ， 这 样 字 长 就 不 会 任意 增长 。( 如 果 字 长 可 以 任意 增长 ， 我 们 就 能 在 一 个 字 中 存储 巨 量 的 数 
据 ， 并 且 其 上 的 操作 都 在 常量 时 间 内 进行 ， 这 种 情况 显然 不 现实 。) 

真实 的 计算 机 包含 一 些 上 面 未 列 出 的 指令 ， 这 些 指 令 代 表 了 RAM 模型 中 的 一 个 灰色 区 域 。 
例如 ， 指 数 运算 是 一 条 常量 时 间 的 指令 吗 ? 一 般 情 况 下 不 是 ; 当 z A y 都 是 实数 时 ， 计 算 之 需 
要 若干 条 指令 。 然 而 ， 在 受 限 情况 下 ， 指 数 运算 又 是 一 个 常量 时 间 的 操作 。 许 多 计算 机 都 有 “ 左 
移 ” 指 令 ， 它 在 常量 时 间 内 将 一 个 整数 的 各 位 向 左 移 & 位 。 在 大 多 数 计算 机 中 ， 将 一 个 整数 的 各 
位 向 左 移 一 位 等 价 于 将 该 整数 乘 以 2， 结 果 将 一 个 整数 的 各 位 向 左 移 & 位 等 价 于 将 该 整数 乘 以 
2*。 所 以 ， 只 要 不 大 于 一 个 计算 机 字 中 的 位 数 ， 这 样 的 计算 机 就 可 以 由 一 条 常量 时 间 的 指令 来 
计算 2， 即 将 整数 1 向 左 移 人 位。 我 们 尽量 避免 RAM 模型 中 这 样 的 灰色 区 域 ， 但 是 ， 当 是 一 
个 足够 小 的 正 整 数 时 ， 我 们 将 把 2* 的 计算 看 成 一 个 常量 时 间 的 操作 。 

在 RAM 模型 中 ， 我 们 并 不 试图 对 当代 计算 机 中 常见 的 内 存 层次 进行 建 模 。 也 就 是 说 ， 我 们 
没有 对 高 速 缓存 和 虚拟 内 存 进 行 建 模 。 几 种 计算 模型 试图 解释 内 存 层 次 的 影响 ， 对 真实 计算 机 
上 运行 的 真实 程序 ， 这 种 影响 有 时 是 重大 的 。 本 书 中 的 一 些 问题 考查 了 内 存 层 次 的 影响 ， 但 是 本 
书 的 大 部 分 分 析 将 不 考虑 这 些 影响 。 与 RAM 模型 相 比 ， 包 含 内 存 层次 的 模型 要 复杂 得 多 ， 所 以 
可 能 难于 使 用 。 此 外 ，RAM 模型 分 析 通 常 能 够 很 好 地 预测 实际 计算 机 上 的 性 能 。 

采用 RAM 模型 即使 分 析 一 个 简单 的 算法 也 可 能 是 一 个 挑战 。 需 要 的 数学 工具 可 能 包括 组 合 
学 、 概 率 论 、 代 数 技巧 ， 以 及 识别 一 个 公式 中 最 有 意义 的 项 的 能 力 。 因 为 对 每 个 可 能 的 输入 ， 算 
法 的 行为 可 能 不 同 ， 所 以 我 们 需要 一 种 方法 来 以 简单 的 、 易 于 理解 的 公式 的 形式 总 结 那样 的 行为 。 

即使 我 们 通常 只 选择 一 种 机 器 模型 来 分 析 某 个 给 定 的 算法 ， 在 决定 如 何 表达 我 们 的 分 析 时 
仍然 面临 许多 选择 。 我 们 想 要 一 种 表示 方法 ， 它 的 书写 和 处 理 都 比较 简单 ， 并 能 够 表明 算法 资源 
需求 的 重要 特征 ， 同 时 能 够 抑制 乏味 的 细节 。 
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插入 排序 算法 的 分 析 

过 程 INSERTION-SORT 需要 的 时 间 依 赖 于 输入 : 排序 1 000 个 数 比 排序 三 个 数 需要 更 长 的 
时 间 。 此 外 ， 依 据 它 们 已 被 排序 的 程度 ，INSERTION-SORT 可 能 需要 不 同 数量 的 时 间 来 排序 两 
个 具有 相同 规模 的 输入 序列 。 一 般 来 说 ， 算 法 需要 的 时 间 与 输入 的 规模 同步 增长 ， 所 以 通常 把 一 
个 程序 的 运行 时 间 描 述 成 其 输入 规模 的 函数 。 为 此 ， 我 们 必须 更 仔细 地 定义 术语 “运行 时 间 ” 和 

[24] “输入 规模 ”。 

输入 规模 的 最 佳 概念 依赖 于 研究 的 问题 。 对 许多 问题 ， 如 排序 或 计算 离散 傅 里 叶 变换 ， 最 自 
然 的 量度 是 输入 中 的 项 数 ， 例 如 ， 待 排序 数组 的 规模 zz。 对 其 他 许多 问题 ， 如 两 个 整数 相 乘 ， 输 
人 规模 的 最 佳 量度 是 用 通常 的 二 进 制 记号 表示 输入 所 需 的 总 位 数 。 有 时 ， 用 两 个 数 而 不 是 一 个 
数 来 描述 输入 规模 可 能 更 合适 。 例 如 ， 若 某 个 算法 的 输入 是 一 个 图 ， 则 输入 规模 可 以 用 该 图 中 的 
顶点 数 和 边 数 来 描述 。 对 于 研究 的 每 个 问题 ， 我 们 将 指出 所 使 用 的 输入 规模 量度 。 

一 个 算法 在 特定 输入 上 的 运行 时 间 是 指 执行 的 基本 操作 数 或 步 数 。 定 义 “ 步 ”的 概念 以 便 尽 
量 独立 于 机 器 是 方便 的 。 目 前 ， 让 我 们 采纳 以 下 观点 ， 执 行 每 行 伪 代码 需要 常量 时 间 。 虽 然 一 行 
与 男 一 行 可 能 需要 不 同 数量 的 时 间 ， 但 是 我 们 假定 第 i 行 的 每 次 执行 需要 时 间 c;， 其 中 6c; 是 一 个 
常量 。 这 个 观点 与 RAM 模型 是 一 致 的 ， 并 且 也 反映 了 伪 代 码 在 大 多 数 真实 计算 机 上 如 何 实现 2 。 

在 下 面 的 讨论 中 ， 我 们 由 繁 到 简 地 改进 INSERTION-SORT 运行 时 间 的 表达 式 ， 最 初 的 公式 
使 用 所 有 语句 代价 c， 而 最 终 的 记号 则 更 加 简明 、 更 容易 处 理 ， 简 单 得 多 。 这 种 较 简 单 的 记号 比 
较 易 于 用 来 判定 一 个 算法 是 否 比 另 一 个 更 有 效 。 

我 们 首先 给 出 过 程 INSERTION-SORT 中 ， 每 条 语句 的 执行 时 间 和 执行 次 数 。 对 7 一 2， 
3，…，7， 其 中 n=A. length, 假设 表示 对 那个 值 ; 第 5 行 执行 while 循环 测试 的 次 数 。 当 一 个 
for 或 while 循环 按 通常 的 方式 ( 即 由 于 循环 头 中 的 测试 ) 退 出 时 ， 执 行 测试 的 次 数 比 执行 循环 体 

的 次 数 多 1。 我 们 假定 注释 是 不 可 执行 的 语句 ， 所 以 它们 不 需要 时 间 。 





INSERTION-SORT(A) 代价 KA 

1 forj = 2 to A. length C1 n 

2 key = Al; ] C2 n= i 

3 // Insert A[Lj | into the sorted sequence A[1..j 一 1]. 0 n—1 

4 下 一: 六 一 于 Ci no TL... 

5 while i > 0 and A[i] > key cs pa? 
j=2 

6 A[i+1] = A[] cs 六 的 一 了 
j=2 

7 i=i-1 c 一] 
1=2 

8 ALi+1] = key Cs n— 1 


该 算法 的 运行 时 间 是 执行 每 条 语句 的 运行 时 间 之 和 。 需 要 执行 c; 步 且 执行 n 次 的 一 条 语句 
将 贡献 cz 给 总 运行 时 间 2 。 为 计算 在 具有 ?7 个 值 的 输入 上 INSERTION-SORT 的 运行 时 间 TEn], 
我 们 将 代价 与 次 数列 对 应 元 素 之 积 求 和 ， 得 : 


TO) = ant eln 1) +a(n—D +e d)t +6 >) sO— D+e > 人 起 一 1) 十 cz 一 1) 
7 一 2 j=2 j=2 


日 ”这 里 有 一 些微 妙 的 东西 。 我 们 用 英语 说 明 的 计算 步 往往 是 一 个 过 程 的 变种 ， 该 过 程 需要 的 时 间 不 止 一 个 常量 。 
例如 ， 本 书后 面 可 能 会 说 “ 按 z 坐标 排序 这 些 点 ”， 正 如 我 们 将 看 到 的 ， 该 计算 步 需要 的 时 间 多 于 一 个 常量 。 注 
意 到 ， 一 个 调用 子 程序 的 语句 也 需要 常量 时 间 ， 尽 管 该 子 程序 一 旦 被 调用 可 能 需要 更 多 时 间 。 也 就 是 说 ， 我 们 
区 分 调用 子 程序 的 过 程 (传递 参数 到 该 子 程序 等 ) 与 执行 该 子 程序 的 过 程 。 

加 ”该 特性 对 像 内 存 这 样 的 资源 不 必 成立 。 访 问 m 个 存储 字 且 执行 n 次 的 一 条 语句 不 必 访 问 mn 个 不 同 的 存储 字 。 
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即使 对 给 定 规 模 的 输入 ， 一 个 算法 的 运行 时 间 也 可 能 依赖 于 给 定 的 是 该 规模 下 的 哪个 输入 。 
例如 ,在 INSERTION-SORT 中 ， 若 输入 数组 已 排 好 序 ， 则 出 现 最 佳 情况 。 这 时 ， 对 每 个 7 一 2， 
3，…，n， 我 们 发 现在 第 5 行 ， 当 i 取 其 初 值 j 一 1 时， 有 ALi 委 tey。 从 而 对 7 一 2，3，…，7 
有 二 二 1， 该 最 佳 情 况 的 运行 时 间 为 : 

Tin) = qnto(n—1) +a, (n— 1) +65 (n— 1) +3 (n— 1) 
= la to ta toes +cg)n— Cog Hay +5 vy 

我 们 可 以 把 该 运行 时 间 表 示 为 az 十 5， 其 中 常量 xc 和 2 依赖 于 语句 代价 c;:。 因 此 ， 它 是 n 的 线性 
函数 。 

若 输入 数组 已 反 向 排序 ， 即 按 递减 序 排 好 序 ， 则 导致 最 坏 情况 。 我 们 必须 将 每 个 元 素 ALS J 
与 整个 已 排序 子 数组 AL1. . ;一 1j 中 的 每 个 元 素 进行 比较 ， 所 以 对 j 二 2，3，…，n， 有 万 二 j。 注 
意 到 


w natb 

2 0 

和 

ee ee ee 

3 

(对 于 如 何 求 和 ， 请 参见 附录 A)， 我 们 发 现在 最 坏 情况 下 ，INSERTION-SORT 的 运行 时 间 为 
TW = antan- D+- Dio( 1) 


n(n— 1) 


十 ca 人 ( 7 





) +a (22) 二 cta(n= 1) 


= E to +2) d+{atetet+S—S—S4 a)n 





= Cee ie + & HG) 

我 们 可 以 把 该 最 坏 情况 运行 时 间 表 示 为 oz 十 pz 十 c， 其 中 常量 as、2 和 c 又 依赖 于 语句 代价 c;。 因 
ke 它 是 nn 的 二 次 函数 。 

虽然 在 以 后 的 章节 中 我 们 将 看 到 一 些 有 趣 的 “随机 化 ”算法 ， 即 使 对 固定 的 输入 ， 其 行为 也 可 
能 变化 ， 但 是 通常 的 情况 是 像 插入 排序 那样 ， 算 法 的 运行 时 间 对 给 定 的 输入 是 固定 的 。 

最 坏 情 况 与 平均 情况 分 析 

在 分 析 插 人 排序 时 ， 我 们 既 研 究 了 最 佳 情 况 ， 其 中 输入 数组 已 排 好 序 ， 又 研究 了 最 坏 情况 ， 
其 中 输入 数组 已 反 向 排 好 序 。 然 而 ， 在 本 书 的 余下 部 分 中 ， 我 们 往往 集中 于 只 求 最 坏 情 况 运 行 时 
间 ， 即 对 规模 为 n 的 任何 输入 ， 算 法 的 最 长 运行 时 间 。 下 面 给 出 这 样 做 的 三 点 理由 : 

。 一 个 算法 的 最 坏 情况 运行 时 间 给 出 了 任何 输入 的 运行 时 间 的 一 个 上 界 。 知 道 了 这 个 界 ， 
就 能 确保 该 算法 绝 不 需要 更 长 的 时 间 。 我 们 不 必 对 运行 时 间 做 某 种 复杂 的 猜测 并 可 以 期 
望 它 不 会 变 得 更 坏 。 
对 某 些 算 法 ， 最 坏 情 况 经 常 出 现 。 例 如 ， 当 在 数据 库 中 检索 一 条 特定 信息 时 ， 若 该 信息 
不 在 数据 库 中 出 现 ， 则 检索 算法 的 最 坏 情况 会 经 常 出 现 。 在 某 些 应 用 中 ， 对 缺失 信息 的 
检索 可 能 是 频繁 的 。 EA 
“平均 情况 ?往往 与 最 坏 情 况 大 致 一 样 差 。 假 定 随机 选择 n 个 数 并 应 用 插入 排序 。 需 要 多 
长 时 间 来 确定 在 子 数组 AL1. .7 一 菇 的 什么 位 置 插 和 元素 A[;]? 平均 来 说 ，A[1..j 一 1] 
中 的 一 半 元 素 小 于 ALS], ETRAF AL). FU. 平均 来 说 ， 我 们 检查 子 数 组 
AL[L1..j 一 1j 的 一 半 ， 那么 大 约 为 ij/2。 导 致 的 平均 情况 运行 时 间 结 果 像 最 坏 情况 运行 
时 间 一 样 ， 也 是 输入 规模 的 一 个 二 次 函数 。 
在 某 些 特定 情况 下 ， 我 们 会 对 一 个 算法 的 平均 情况 运行 时 间 感 兴趣 ; 贯穿 于 本 书 ， 我们 将 看 
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到 概率 分 析 技 术 被 用 于 各 种 算法 。 平 均 情况 分 析 的 范围 有 限 ， 因 为 对 于 特定 的 问题 ， 什 么 构成 一 
种 “平均 "输入 并 不 明显 。 我 们 常常 假定 给 定 规模 的 所 有 输入 具有 相同 的 可 能 性 。 实 际 上 ， 该 假设 
可 能 不 成 立 , 但 是 ， 有 时 可 以 使 用 随机 化 算法 ， 它 做 出 一 些 随 机 的 选择 ， 以 允许 进行 概率 分 析 并 
产生 某 个 期 望 的 运行 时 间 。 在 第 5 章 以 及 后 续 的 其 他 几 章 中 ， 我们 将 进一步 探究 随机 化 算法 。 

增长 量 级 

我 们 使 用 某 些 简化 的 抽象 来 使 过 程 INSERTION-SORT 的 分 析 更 加 容易 。 首 先 ， 通 过 使 用 常 
E c; 表示 这 些 代价 来 忽略 每 条 语句 的 实际 代价 。 其 次 ， 注 意 到 这 些 常量 也 提供 了 比 我 们 真正 需 
要 的 要 多 的 细节 : 把 最 坏 情况 运行 时 间 表 示 为 an 十 bn 十 c， 其 中 常量 a、b 和 c 依赖 于 语句 代价 
ci。 这 样 ， 我 们 不 但 忽略 实际 的 语句 代价 ， 而 且 也 忽略 抽象 的 代价 ci。 

现在 我 们 做 出 一 种 更 简化 的 抽象 ， 即 我 们 真正 感 兴趣 的 运行 时 间 的 增长 率 或 增长 量 级 。 所 
以 我 们 只 考虑 公式 中 最 重要 的 项 (例如 ，an”)， 因 为 当 的 值 很 大 时 ， 低 阶 项 相对 来 说 不 太 重要 。 
我 们 也 忽略 最 重要 的 项 的 常 系数 ， 因 为 对 大 的 输入 ， 在 确定 计算 效率 时 常量 因子 不 如 增长 率 重 
要 。 对 于 搬 人 排序 ， 当 我 们 忽略 低 阶 项 和 最 重要 的 项 的 常 系数 时 ， 只 剩 下 最 重要 的 项 中 的 因子 
肥 。 我 们 记 插 入 排序 具有 最 坏 情况 运行 时 间 OG? ) GEE“ theta ”平方 >) 。 本 章 非 形式 化 地 使 用 @ 
记号 ， 第 3 章 将 给 出 其 精确 定义 。 

如 果 一 个 算法 的 最 坏 情况 运行 时 间 具 有 比 另 一 个 算法 更 低 的 增长 量 级 ， 那 么 我 们 通常 认为 
前 者 比 后 者 更 有 效 。 由 于 常量 因子 和 低 阶 项 ， 对 于 小 的 输入 ， 运 行 时 间 具 有 较 高 增长 量 级 的 一 个 
算法 与 运行 时 间 具 有 较 低 增长 量 级 的 另 一 个 算法 相 比 ， 其 可 能 需要 较 少 的 时 间 。 但 是 对 足够 大 
的 输入 ， 例 如 ， 一 个 (x ) 的 算法 在 最 坏 情况 下 比 另 一 个 O ) 的 算法 要 运行 得 更 快 。 


练习 

2.2-1 FAO id Sma AA n’ /1 000—100n’? —100n+3, 

2. 2-2 考虑 排序 存储 在 数组 A 中 的 ?个 数 : 首先 找 出 A 中 的 最 小 元 素 并 将 其 与 AL1] 中 的 元 素 进 
行 交 换 。 接 着 ， 找 出 A 中 的 次 最 小 元 素 并 将 其 与 AL2] 中 的 元 素 进 行 交 换 。 对 A 中 前 n 一 1 
个 元 素 按 该 方式 继续 。 该 算法 称 为 选择 算法 ， 写 出 其 伪 代 码 。 该 算法 维持 的 循环 不 变 式 
是 什么 ? 为 什么 它 只 需要 对 前 n 一 1 个 元 素 ， 而 不 是 对 所 有 n 个 元 素 运行 ? 用 @ 记号 给 出 
选择 排序 的 最 好 情况 与 最 坏 情 况 运行 时 间 。 

2.2-3 再 次 考虑 线性 查找 问题 (参见 练习 2. 1-3) 。 假 定 要 查找 的 元 素 等 可 能 地 为 数组 中 的 任意 元 
素 ， 平 均 需 要 检查 输入 序列 的 多 少 元 素 ? 最 坏 情 况 又 如 何 呢 ? 用 @ 记 号 给 出 线性 查找 的 
平均 情况 和 最 坏 情况 运行 时 间 。 证 明 你 的 答案 。 

2.2-4 我 们 可 以 如 何 修改 几乎 任意 算法 来 使 之 具有 良好 的 最 好 情况 运行 时 间 ? 


2.3 设计 算法 

我 们 可 以 选择 使 用 的 算法 设计 技术 有 很 多 。 插 入 排序 使 用 了 增 量 方法 : 在 排序 子 数组 
A[1..j 一 1J 后 ,将 单个 元 素 A[j] 插 入 子 数组 的 适当 位 置 ， 产 生 排 序 好 的 子 数组 ALL. j] 

本 节 我 们 考查 另 一 种 称 为 “分 治 法 ”的 设计 方法 。 第 4 章 将 更 深入 地 探究 该 方法 。 我 们 将 用 分 
治 法 来 设计 一 个 排序 算法 ， 该 算法 的 最 坏 情况 运行 时 间 比 插入 排序 要 少 得 多 。 分 治 算法 的 优点 
之 一 是 ， 通 过 使 用 第 4 章 介绍 的 技术 往往 很 容易 确定 其 运行 时 间 。 


2.3.1 分 治 法 


许多 有 用 的 算法 在 结构 上 是 递归 的 : 为 了 解决 一 个 给 定 的 问题 ， 算 法 一 次 或 多 次 递归 地 调 
用 其 自身 以 解决 紧密 相关 的 若干 子 问题 。 这 些 算 法 典型 地 遵循 分 治 法 的 思想 : 将 原 问 题 分 解 为 
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几 个 规模 较 小 但 类 似 于 原 问题 的 子 问 题 ， 递 归 地 求解 这 些 子 问题 ， 然 后 再 合并 这 些 子 问题 的 解 
来 建立 原 问题 的 解 。 

分 治 模式 在 每 层 递 归 时 都 有 三 个 步骤 : 

分 解 原 问 题 为 若干 子 问 题 ， 这 些 子 问题 是 原 问 题 的 规模 较 小 的 实例 。 

解决 这 些 子 问 题 ， 递 归 地 求解 各 子 问 题 。 然 而 ， 若 子 问 题 的 规模 足够 小 ， 则 直接 求解 。 

合并 这 些 子 问题 的 解 成 原 问题 的 解 。 

归并 排序 算法 完全 遵循 分 治 模式 。 直 观 上 其 操作 如 下 : 

分 解 : 分 解 待 排序 的 个 元 素 的 序列 成 各 具 n/2 个 元 素 的 两 个 子 序 列 。 

解决 : 使 用 归并 排序 递归 地 排序 两 个 子 序列 。 

合并 : 合并 两 个 已 排序 的 子 序 列 以 产生 已 排序 的 答案 。 

当 待 排序 的 序列 长 度 为 1 时， 递归 “开始 回升 "?， 在 这 种 情况 下 不 要 做 任何 工作 ， 因 为 长 度 为 
1 的 每 个 序列 都 已 排 好 序 。 

归并 排序 算法 的 关键 操作 是 “合并 ” 步 又 中 两 个 已 排序 序列 的 合并 。 我 们 通过 调用 一 个 辅助 过 
程 MERGECA，p，gq，7) 来 完成 合并 ， 其 中 A 是 一 个 数组 ，p、g 和 7 是 数组 下 标 ， 满足 Pr. 
该 过 程 假设 子 数组 ALe. . qj 和 ALg 十 1. .rj 都 已 排 好 序 。 它 合并 这 两 个 子 数 组 形成 单一 的 已 排 好 
序 的 子 数组 并 代替 当前 的 子 数组 ALp. . r]. 

过 程 MERGE 需要 OC) MAT, JL n=r—pt+1 是 待 合并 元 素 的 总 数 。 它 按 以 下 方式 工 
作 。 回 到 我 们 玩 扑克 牌 的 例子 ， 假 设 桌 上 有 两 堆 牌 面 朝 上 的 牌 ， 每 堆 都 已 排序 ， 最 小 的 牌 在 项 
上 。 我 们 希望 把 这 两 堆 牌 合并 成 单一 的 排 好 序 的 输出 堆 ， 牌 面 朝 下 地 放 在 桌 上 。 我 们 的 基本 步 双 
包括 在 牌 面 朝 上 的 两 堆 牌 的 项 上 两 张 牌 中 选取 较 小 的 一 张 ， 将 该 牌 从 其 堆 中 移 开 (该 堆 的 项 上 将 
显露 一 张 新 牌 ) 并 有 牌 面 朝 下 地 将 该 牌 放置 到 输出 堆 。 重 复 这 个 步骤 ， 直 到 一 个 输入 堆 为 空 ， 这 时 ， 
我 们 只 是 拿 起 剩余 的 输入 堆 并 牌 面 朝 下 地 将 该 堆放 置 到 输出 堆 。 因 为 我 们 只 是 比较 项 上 的 两 张 
牌 ， 所 以 计算 上 每 个 基本 步骤 需要 常量 时 间 。 因 为 我 们 最 多 执行 二 个 基本 步骤， 所 以 合并 需要 
O(n) HATTA . 

下 面 的 伪 代 码 实现 了 上 面 的 思想 , 但 有 一 个 额外 的 变化 ， 以 避免 在 每 个 基本 步骤 必须 检查 
是 否 有 堆 为 空 。 在 每 个 堆 的 底部 放置 一 张 哨兵 牌 ， 它 包含 一 个 特殊 的 值 ， 用 于 简化 代码 。 这 里 ， 
我 们 使 用 ce 作为 哨兵 值 ， 结 果 每 当 显露 一 张 值 为 ce 的 牌 ， 它 不 可 能 为 较 小 的 牌 ， 除 非 两 个 堆 都 已 
显露 出 其 哨兵 牌 。 但 是 ， 一 旦 发 生 这 种 情况 ， 所 有 非 哨 兵 牌 都 已 被 放置 到 输出 堆 。 因 为 我 们 事先 
知道 刚好 r 一 十 1 张 牌 将 被 放置 到 输出 堆 ， 所 以 一 旦 已 执行 r—pt+1 个 基本 步 又 ， 算 法 就 可 以 
停止。 

MERGE(A, p, g, r) 

m=q—-—ptl 





1 

2 7 一 7 一 4 

3 let LE1..m,+ 1] and R[1. .n;+ 1] be new arrays 
4 fori = 1 ton, 

5 Lli] = Ale +i- 1] 
6 foj = 1 ton 

7 RG] = Alg+ j] 
8 LInt+ 1] = æ 

9 Rim+ 1] = œ 

10 i=1 

11 j=1 

12 fork = ptor 

13 if LEJ < RU] 
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18 + 第 一 部 分 基础 知识 


14 ALR] = LEJ 
1S i 三 1 十 1 
16 else A[k] = RL;] 
I7 j=j+1 
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图 2-3” 当 子 数组 A[9.. 16] 包 含 序 列 (2，4，5，7，1，2，3，6) 时 ， 调 用 MERGECA, 9, 12, 16) 
第 10~17 行 的 操作 。 在 复制 并 插入 哨兵 后 ， 数 组 工 包 含 (2，4，5,7，co)， 数 组 R 包 含 (1， 
2, 3, 6, œ), A 中 的 浅 阴 影 位 置 包 含 它 们 的 最 终 值 ，L 和 R 中 的 浅 阴 影 位 置 包含 有 待 于 被 
复制 回 A 的 值 。 合 在 一 起 ， 浅 阴影 位 置 总 是 包含 原来 在 AL9.. 16] 中 的 值 和 两 个 哨兵 。A 中 
的 深 阴 影 位 置 包含 将 被 覆盖 的 值 , LAR 中 的 深 阴 影 位 置 包含 已 被 复制 回 A 的 值 。(a) ~ Ch) 
在 第 12~~17 行 循环 的 每 次 迭代 之 前 ， 数 组 A、L 和 R 以 及 它们 各 自 的 下 标 &、i 和 7 。(iD 终 
止 时 的 数组 与 下 标 。 这 时 ，AL[L9. .16] 中 的 子 数组 已 排 好 序 ，L 和 R 中 的 两 个 哨兵 是 这 两 个 数 
组 中 仅 有 的 两 个 未 被 复制 回 A 的 元 素 


过 程 MERGE 的 详细 工作 过 程 如 下 : 第 1 行 计算 子 数组 A[p. . (IKE m, 第 2 行 计算 子 数组 
ALg 十 1. .rj 的 长 度 n。 在 第 3 行 ， 我 们 创建 长 度 分 别 为 n 十 1 A m H1 的 数组 L ARCE RA”), 
每 个 数组 中 额外 的 位 置 将 保存 哨兵 。 第 4~5 行 的 for 循环 将 子 数组 ALz.. q] 复 制 到 工 [1..mm]， 第 
6~7 行 的 for 循环 将 子 数组 ALg 十 1. .rj 复制 到 RL1.. nj。 第 8 一 9 FOR ERA LA RAK 
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尾 。 第 10~17 FARER 2-3 中 ， 通 过 维持 以 下 循环 不 变 式 ， 执 行 r 一 p 十 1 个 基本 步 又 : 
在 开始 第 12~17 行 for 循环 的 每 次 迭代 时 ， 子 数组 A[p. .一 1j 按 从 小 到 大 的 顺序 

包含 L[1. .nm 十 1] 和 R[1..nz 十 1] 中 的 一 个 最 小 元 素 。 进 而 ，L[i] 和 和 R GASH 

在 数组 中 未 被 复制 回 数组 A 的 最 小 元 素 。 

我 们 必须 证 明 第 12~17 FF for 循环 的 第 一 次 迭代 之 前 该 循环 不 变 式 成 立 ， 该 循环 的 每 次 迭 
代 保 持 该 不 变 式 ， 并 且 循 环 终止 时 ， 该 不 变 式 提供 了 一 种 有 用 的 性 质 来 证 明正 确 性 。 

初始 化 : 循环 的 第 一 次 迭代 之 前 ， 有 k=p, MATAA ALD. .& 一 1 为 空 。 这 个 空 的 子 数组 
BELAR 的 & 一 p= 二 0 个 最 小 元 素 。 又 因为 i=j 二 1， 所 以 LLi] 和 RL;j] 都 是 各 自 所 在 数组 中 未 
被 复制 回 数组 A 的 最 小 元 素 。 

保持 : 为 了 理解 每 次 迭代 都 维持 循环 不 变 式 ， 首 先 假设 L[i] 二 RLj]。 这 时 ，LLij 是 未 被 复 
制 回 数组 A 的 最 小 元 素 。 因 为 ALp. .8 一 1] 包 含 k 一 p 个 最 小 元 素 ， 所 以 在 第 14 行 将 L[ij] 复 制 到 
A[Lkj] 之 后 ， 子 数组 ALp. .8j 将 包含 一 p 十 1 个 最 小 元 素 。 增 加 的 值 (在 for 循环 中 更 新 ) 和 1; 的 
值 (在 第 15 行 中 ) 后 ， 为 下 次 和 迭代 重新 建立 了 该 循环 不 变 式 。 反 之 ， 若 LiJ>RG], WE 16~17 
行 执行 适当 的 操作 来 维持 该 循环 不 变 式 。 

终止 : 终止 时 ==r 十 1。 根 据 循环 不 变 式 ， 子 数组 AL. .一 1 就 是 ALzp. .rj] 且 按 从 小 到 大 的 
顺序 包含 LL1. . m +1] RLL .nz 十 1] 中 的 8 一 p 二 r 一 p 十 1 个 最 小 元 素 。 数 组 LL AR 一 起 包含 
ni 十 ns 十 2 二 7 一 p 十 3 个 元 素 。 除 两 个 最 大 的 元 素 以 外 ， 其 他 所 有 元 素 都 已 被 复制 回 数组 A， 这 两 
个 最 大 的 元 素 就 是 哨兵 。 

为 了 理解 过 程 MERGE 的 运行 时 间 是 8(n)， 其 中 nn 二 r 一 p 十 1， 注 意 到 ,第 1 一 3 行 和 第 8 一 
11 行 中 的 每 行 需要 常量 时 间 ， 第 4 一 7 行 的 for 循环 需要 O(n +n) =O MNS, FFA, 第 
12~17 行 的 for 循环 有 nn 次 迭代 ， 每 次 迭代 需要 常量 时 间 。 

现在 我 们 可 以 把 过 程 MERGE 作为 归并 排序 算法 中 的 一 个 子 程序 来 用 。 下 面 的 过 程 
MERGE-SORT(A，p，7) 排 序 子 数组 ALp. . 门 中 的 元 素 。 若 p 宇 r， 则 该 子 数 组 最 多 有 一 个 元 素 ， 
所 以 已 经 排 好 序 。 否 则 ， 分 解 步 又 简单 地 计算 一 个 下 标 9， 将 ALp. .r+] 分 成 两 个 子 数 组 A[p.. q] 
和 A[9 十 1.. 门 ， 前 者 包含 [>/21 个 元 素 ， 后 者 包含 Lz/2| 个 元 素 2 。 

MERGE-SORT(A, p, 7) 

1 ifp<r 

2 q = [(p+7)/2] 

3 MERGE-SORT(A, p, q) 

4 MERGE-SORT(A, q+1, r) 

5 MERGE(A, p, q, r) 


为 了 排序 整个 序列 A=(AL1], AL2], = ALn), 我 们 执行 初始 调用 MERGE-SORT(A, 1, 
A. length)， 这 里 再 次 有 A. length=n. K| 2-4 AR EULA T 4 nh 2 WEN AE. 
算法 由 以 下 操作 组 成 : 合并 只 含 1 项 的 序列 对 形成 长 度 为 2 的 排 好 序 的 序列 ， 合 并 长 度 为 2 的 序 
列 对 形成 长 度 为 4 的 排 好 序 的 序列 ， 依 此 下 去 ， 直 到 长 度 为 n/2 的 两 个 序列 被 合并 最 终 形成 长 度 
为 n 的 排 好 序 的 序列 。 


O 在 第 3 章 中 ,我们 将 看 到 如 何 形 式 化 地 解释 包含 日 记号 的 等 式 。 

QO RRA RAAT RST c 的 最 小 整数 ，|z| 表 示 小 于 或 等 于 xz 的 最 大 整数 。 这 些 记 号 在 第 3 章 中 定义 。 验 证 把 
a 置 为 Kp 十 r)/2] 将 产生 规模 分 别 为 [mn/21 和 Ln/2] 的 子 数组 ALp. .qj 和 A[Lg 十 1. .7] 的 最 容易 的 方法 是 根据 pp 和 7 
为 奇数 还 是 偶数 分 别 考查 可 能 出 现 的 4 种 情况 。 
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图 2-4 ”归并 排序 在 数组 A 二 (5，2，4，7，1，3，2，6) 上 的 操作 。 随 着 算法 自 
底 向 上 地 推进 ， 待 合并 的 已 排 好 序 的 各 序列 的 长 度 不 断 增 加 


2. 3.2 分 析 分 治 算法 

当 一 个 算法 包含 对 其 自身 的 递归 调用 时 ， 我们 往往 可 以 用 递归 方程 或 递归 式 来 描述 其 运行 
时 间 ， 该 方程 根据 在 较 小 输入 上 的 运行 时 间 来 描述 在 规模 为 n 的 问题 上 的 总 运行 时 间 。 然 后 ， 我 
们 可 以 使 用 数学 工具 来 求解 该 递归 式 并 给 出 算法 性 能 的 界 。 

分 治 算法 运行 时 间 的 递归 式 来 自 基本 模式 的 三 个 步骤 。 如 前 所 述 ， 我 们 假设 T(n) 是 规模 为 
n 的 一 个 问题 的 运行 时 间 。 若 问题 规模 足够 小 ， 如 对 某 个 常量 <，n 二 <， 则 直接 求解 需要 常量 时 
间 ， 我 们 将 其 写作 6(1)。 假 设 把 原 问题 分 解 成 a 个子 问 题 ， 每 个 子 问 题 的 规模 是 原 问题 的 1/0. 
(对 归并 排序 ，a 和 2 都 为 2， 然而， 我 们 将 看 到 在 许多 分 治 算法 中 ，a 关 65.) 为 了 求解 一 个 规模 为 
n/b 的 子 问题 ， 需 要 T(n/5) 的 时 间 ， 所 以 需要 aT(n/5) 的 时 间 来 求解 a 个 子 问题 。 如 果 分 解 问题 
成 子 问题 需要 时 间 D(z) ， 合 并 子 问 题 的 解 成 原 问题 的 解 需要 时 间 CC(n)， 那 么 得 到 递归 式 : 
@(1) Ense 
aT(n/b) 十 Dln) 十 Cl(n) 其 他 
在 第 4 章 中 ， 我 们 将 看 到 如 何 求解 这 类 常见 的 递归 式 。 

归并 排序 算法 的 分 析 

虽然 MERGE-SORT 的 伪 代 码 在 元 素 的 数量 不 是 偶数 时 也 能 正确 地 工作 ， 但 是 ， 如 果 假 定 原 
问题 规模 是 2 的 寡 ， 那 么 基于 递归 式 的 分 析 将 被 简化 。 这 时 每 个 分 解 步骤 将 产生 规模 刚好 为 n/2 
的 两 个 子 序 列 。 在 第 4 章 ， 我 们 将 看 到 这 个 假设 不 影响 递归 式 解 的 增长 量 级 。 

下 面 我 们 分 析 建 立 归 并 排序 ”个 数 的 最 坏 情 况 运行 时 间 T(n) 的 递归 式 。 归 并 排序 一 个 元 素 
需要 常量 时 间 。 当 有 nl 个 元 素 时 ， 我 们 分 解 运行 时 间 如 下 : 

分 解 : 分 解 步骤 仅仅 计算 子 数组 的 中 间 位 置 ， 需 要 常量 时 间 ， 因 此 ，D(z) 王 B(1) 。 

解决 : 我 们 递归 地 求解 两 个 规模 均 为 n/2 的 子 问 题 ， 将 贡献 2T(n/2) 的 运行 时 间 。 

合并 : 我 们 已 经 注意 到 在 一 个 具有 n 个 元 素 的 子 数组 上 过 程 MERGE 需要 @(n) 的 时 间 ， 所 
以 C(n) =@(n) 。 

当 为 了 分 析 归 并 排序 而 把 函数 Do) 5 C(n) 相 加 时 ， 我们 是 在 把 一 个 OC) 函数 与 另 一 个 OC) 
函数 相 加 。 相 加 的 和 是 n 的 一 个 线性 函数 ， 即 8(n) 。 把 它 与 来 自 “ 解 决 ”步骤 的 项 2T(n/2) 相 加 ， 
将 给 出 归并 排序 的 最 坏 情况 运行 时 间 T(n) 的 递归 式 : 

@(1) #n=1 


TD = ] 
= \oTn/2) + O(n) #n>1 os 


Tin) = 
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在 第 4 章 ， 我们 将 看 到 “ 主 定理 ”， 可 以 用 该 定理 来 证 明 T(n) 为 (nlgn)， 其 中 Ign 代表 log, n. A 
为 对 数 函 数 比 任何 线性 函数 增长 要 慢 ， 所 以 对 足够 大 的 输入 ， 在 最 坏 情 况 下 ， 运 行 时 间 为 Olgo) 
的 归并 排序 将 优 于 运行 时 间 为 6() 的 插 人 排序 。 

为 了 直观 地 理解 递归 式 (2. 1) 的 解 为 什么 是 T(n) 二 Blnlgn)， 我 们 并 不 需要 主 定理 。 把 递归 
式 (2. 1) 重 写 为 : 
¢ #n=1 
2T(n/2) +cen #Hn>1 
其 中 常量 c 代表 求解 规模 为 1 的 问题 所 需 的 时 间 以 及 在 分 解 步骤 与 合并 步 又 处 理 每 个 数组 元 素 所 
需 的 时 间 2 。 

图 2-5 图 示 了 如 何 求解 递归 式 (2.2)。 为 方便 起 见 ， 假设 n 刚好 是 2 的 宕 。 图 的 (a) 部 分 图 示 
了 T(n)， 它 在 (b) 部 分 被 扩展 成 一 棵 描绘 递归 式 的 等 价 树 。 项 cn 是 树 根 (在 递归 的 项 层 引起 的 代 
价 )， 根 的 两 棵 子 树 是 两 个 较 小 的 递归 式 T(n/2) 。(c) 部 分 图 示 了 通过 扩展 TC(n/2) 再 推进 一 步 的 
过 程 。 在 第 二 层 递归 中 ， 两 个 子 结 点 中 每 个 引起 的 代价 都 是 cz/2。 我 们 通过 将 其 分 解 成 由 递归 
式 所 确定 的 它 的 组 成 部 分 来 继续 扩展 树 中 的 每 个 结 点 ， 直 到 问题 规模 下 降 到 1， 每 个 子 问 题 只 要 
代价 c。(d) 部 分 图 示 了 结果 递归 树 。 


Ti) = (2. 2) 


T(n) cn cn 
T(n/2) T(n/2) cn/2 cn/2 
T(n/4) T(n/4) T(n/4) T(n/4) 
(a) (b) Ce) 
cn sl CH 
cn/2 Cn/2 sserensnerssecneeees m- cn 
Ign i \ / k 

cn/4 cn/4 cn/4 Cn/4 vemi- cn 


ears 


i 4 i 1 1 
' i 1 i ‘ 
i 1 ‘ h 





e ‘@ č £ è ë awen 
n 
Cd) 总 代价 : cn lg ntcn 


图 2-5 对 递归 式 TT(n) 二 2T(n/2) 十 cn， 如 何 构造 一 棵 递归 树 。(a) 部 分 图 示 TC(n)， 它 在 (b) ~(d) 
部 分 被 逐步 扩展 以 形成 递归 树 。 在 (d) 部 分 ， 完 全 扩展 了 的 递归 树 具 有 1lgn 十 1 层 ( 即 如 图 所 
示 ， 其 高 度 为 lgn)， 每 层 将 贡献 总 代价 cn。 所 以 ， 总 代价 为 cn lgn 十 cn， 它 就 是 @(nlgn) 


日” 相同 的 常量 一 般 不 可 能 刚好 既 代表 求解 规模 为 1 的 问题 的 时 间 又 代表 在 分 解 步骤 与 合并 步骤 处 理 每 个 数组 元 素 
的 时 间 。 通 过 假设 c 为 这 两 个 时 间 的 较 大 者 并 认为 我 们 的 递归 式 将 给 出 运行 时 间 的 一 个 上 界 ， 或 者 通过 假设 c 为 
这 两 个 时 间 的 较 小 者 并 认为 我 们 的 递归 式 将 给 出 运行 时 间 的 一 个 下 界 ， 我 们 可 以 回避 这 个 问题 。 两 个 界 的 阶 都 
是 nlgn， 合 在 一 起 将 给 出 运行 时 间 为 @(nlgn)。 


[36 | 
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接着 ,我 们 把 穿 过 这 棵 树 的 每 层 的 所 有 代价 相 加 。 顶 层 具 有 总 代价 cx， 下 一 层 具有 总 代价 
c(n/2) +c(n/2) =cn ， 下 一 层 的 下 一 层 具 有 总 代价 cn/4) 十 cln/4) 十 cln/4) 十 cln/4) = 二 cn， 等 
等 。 一 般 来 说 ， 顶 层 之 下 的 第 i 层 具 有 2 个 结 点 ， 每 个 结 点 贡献 代价 cC(n/2') ， 因 此 ， 顶 层 之 
下 的 第 i 层 具 有 总 代价 2c(n/2') = cn 。 底 层 具有 7 个 结 点 ， 每 个 结 点 贡献 代价 <， 该 层 的 总 代 
价 为 cn。 

图 2-5 中 递归 树 的 总 层 数 为 lgn 十 1。 其 中 是 叶 数 ， 对 应 于 输入 规模 。 一 种 非 形式 化 的 归 
纳 论证 将 证 明 该 断言 。*= 王 1 时 出 现 基 本 情况 ， 这 时 树 只 有 一 层 。 因 为 lgl 一 0， 所 以 有 lgn 十 1 
给 出 了 正确 的 层 数 。 作 为 归纳 假设 ,现在 假设 具有 2’ 个 叶 的 递归 树 的 层 数 为 jg2 十 1 一 :十 1( 因 为 
对 i 的 任何 值 都 有 lg2: 二 i) 。 因 为 我 们 假设 输入 规模 是 2 的 宕 ， 所 以 下 一 个 要 考虑 的 输入 规模 是 
2H., RE xz 一 2 和 个 叶 的 一 棵 树 比 具有 2’ 个 叶 的 一 棵 树 要 多 一 层 ， 所 以 其 总 层 数 为 (i 十 1) 十 1== 
EIER 

为 了 计算 递归 式 (2. 2) 表 示 的 总 代价 ， 我 们 只 要 把 各 层 的 代价 加 起 来 。 递 归 树 具有 lgz 十 1 
层 ， 每 层 的 代价 均 为 om ， 所 以 总 代价 为 ca(lgz 十 1) = cnlgn 十 cn 。 忽 略 低 阶 项 和 常量 c 便 给 出 了 
期 望 的 结果 O(iign). 


练习 

2.3-1 使 用 图 2-4 作为 模型 ， 说 明 归 并 排序 在 数组 A 二 (3，41，52，26，38，57，9，49) 上 的 
操作 。 

2.3-2 重 写 过 程 MERGE, 使 之 不 使 用 哨兵 ， 而 是 一 旦 数组 工 或 R 的 所 有 元 素 均 被 复制 回 A 就 
立刻 停止 ， 然 后 把 另 一 个 数组 的 剩余 部 分 复制 回 A。 

2.3-3 ”使 用 数学 归纳 法 证 明 : 24 n MIE 2 的 寡 时 ， 以 下 递归 式 的 解 是 T(n) 二 nlgn。 

Tn) = : ee 
2T(n/2) +n Fn=2',k>1 

2.3-4 ”我 们 可 以 把 插入 排序 表示 为 如 下 的 一 个 递归 过 程 。 为 了 排序 AL1. .nj]， 我 们 递归 地 排序 
AL[Ll..n 一 1]， 然 后 把 ALnj] 插 入 已 排序 的 数组 AL1. .n 一 1]。 为 插入 排序 的 这 个 递归 版 本 
的 最 坏 情 况 运 行 时 间 写 一 个 递归 式 。 

2.3-5 回顾 查找 问题 (参见 练习 2. 1-3)， 注 意 到 ， 如 果 序 列 A 已 排 好 序 ， 就 可 以 将 该 序列 的 中 点 
与 v 进 行 比较 。 根 据 比 较 的 结果 ， 原 序列 中 有 一 半 就 可 以 不 用 再 做 进一步 的 考虑 了 。 二 
分 查找 算法 重复 这 个 过 程 ， 每 次 都 将 序列 剩余 部 分 的 规模 减 半 。 为 二 分 查找 写 出 迭代 或 
递归 的 伪 人 代码。 证明: 二 分 查找 的 最 坏 情况 运行 时 间 为 @(gn)。 

2.3-6 注意 到 2. 1 节 中 的 过 程 INSERTION-SORT 的 第 5~7 行 的 while 循环 采用 一 种 线性 查找 
来 ( 反 向 ) 扫 描 已 排 好 序 的 子 数组 AL1.. ;一 1]。 我 们 可 以 使 用 二 分 查找 (参见 练习 2. 3-5) 
来 把 插入 排序 的 最 坏 情 况 总 运行 时 间 改 进 到 OC gn) t? 

*2. 3-7 ”描述 一 个 运行 时 间 为 9(nlgn) 的 算法 ， 给 定 个 整数 的 集合 S 和 另 一 个 整数 工 ， 该 算法 能 

确定 S 中 是 否 存在 两 个 其 和 刚好 为 z 的 元 素 。 


思考 题 

2-1 《〈 在 归并 排序 中 对 小 数组 采用 插入 排序 ) 虽然 归并 排序 的 最 坏 情 况 运 行 时 间 为 8(n lgn)， 
而 插入 排序 的 最 坏 情况 运行 时 间 为 8(*)， 但 是 插入 排序 中 的 常量 因子 可 能 使 得 它 在 ” 较 小 
时 ， 在 许多 机 器 上 实际 运行 得 更 快 。 因 此 ， 在 归并 排序 中 当 子 问题 变 得 足够 小 时 ， 采 用 揪 
入 排序 来 使 递归 的 叶 变 粗 是 有 意义 的 。 考 虑 对 归并 排序 的 一 种 修改 ， 其 中 使 用 插 人 排序 来 
排序 长 度 为 & 的 2 人 RE 个 子 表 ， 然 后 使 用 标准 的 合并 机 制 来 合并 这 些 子 表 ， 这 里 & 是 一 个 待 
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定 的 值 。 

a. 证 明 : 插入 排序 最 坏 情 况 可 以 在 lnk) 时间 内 排序 每 个 长 度 为 & 的 n/& 个 子 表 。 

b. 表明 在 最 坏 情况 下 如 何在 O(n lg (n/&)) 时 间 内 合并 这 些 子 表 。 

c. 假定 修改 后 的 算法 的 最 坏 情况 运行 时 间 为 8(nk 十 nlgCn/&))， 要 使 修改 后 的 算法 与 标准 
的 归并 排序 具有 相同 的 运行 时 间 ， 作 为 n 的 一 个 函数 ， 借 助 记号 ,& 的 最 大 值 是 什么 ? 

d 在 实践 中 ， 我 们 应 该 如 何 选择 k? 

( 置 泡 排序 的 正确 性 ) 冒 泡 排序 是 一 种 流行 但 低 效 的 排序 算法 ， 它 的 作用 是 反复 交换 相 邻 

的 未 按 次 序 排列 的 元 素 。 


BUBBLESORT(A) 
1 fori = 1toA. length — 1 


2 for j = A. length downto i + 1 
3 if AG] < AG — 1] 
4 exchange A[j] with ALj — 1] 


a. 假设 A' 表 示 BUBBLESORT(A) 的 输出 。 为 了 证 明 BUBBLESORT 正确 ,我 们 必须 证 明 

它 将 终止 并 且 有 : 
AILAS x Aa] (2. 3) 

其 中 n=A. length。 为 了 证 明 BUBBLESORT 确实 完成 了 排序 ， 我 们 还 需要 证 明 什么 ? 
下 面 两 部 分 将 证 明 不 等 式 (2. 3). 

b. 为 第 2~4 行 的 for 循环 精确 地 说 明 一 个 循环 不 变 式 ， 并 证 明 该 循环 不 变 式 成 立 。 你 的 证 
明 应 该 使 用 本 章 中 给 出 的 循环 不 变 式 证 明 的 结构 。 

ce 使 用 (b) 部 分 证 明 的 循环 不 变 式 的 终止 条 件 ， 为 第 1~4 行 的 for 循环 说 明 一 个 循环 不 变 
式 ， 该 不 变 式 将 使 你 能 证 明 不 等 式 (2. 3)。 你 的 证 明 应 该 使 用 本 章 中 给 出 的 循环 不 变 式 证 
明 的 结构 。 

d. 冒 泡 排 序 的 最 坏 情况 运行 时 间 是 多 少 ? 与 插入 排序 的 运行 时 间 相 比 ， 其 性 能 如 何 ? 


( 霍 纳 (Horner) 规 则 的 正确 性 ) 给 定 系数 ay, ys. 295%) (Ay All x 的 值 ， 代码 片段 
1 y=0 
2 fori = n downto 0 
3 y=at zr*y 
实现 了 用 于 求 值 多 项 式 
P(x) = Xat = a Harla + arla ++ alani H ara,) =) 
k=0 
的 霍 纳 规则 。 


a. 借助 @ 记 号， 实现 霍 纳 规则 的 以 上 代码 片段 的 运行 时 间 是 多 少 ? 

b. 编写 伪 代 码 来 实现 朴素 的 多 项 式 求 值 算法 ， 该 算法 从 头 开始 计算 多 项 式 的 每 个 项 。 该 算 
法 的 运行 时 间 是 多 少 ? 与 霍 纳 规则 相 比 ， 其 性 能 如 何 ? 

c. 考虑 以 下 循环 不 变 式 : 
在 第 2 一 3 FF for 循环 每 次 迭代 的 开始 有 


n—Gt+1) 


oe eee 
把 没有 项 的 和 式 解释 为 等 于 0。 遵照 本 章 中 给 出 的 循环 不 变 式 证 明 的 结构 ， 使 用 该 循环 
不 变 式 来 证 明 终止 时 有 y= Drags 
d 最 后 证 明 上 面 给 出 的 代码 片段 将 正确 地 求 由 系数 mw，w = a 刻画 的 多 项 式 的 值 。 
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2-4 GEA) 假设 AL1.. 妆 是 一 个 有 ?个 不 同 数 的 数组 。 若 ;< HASAD], WIHA, DRA 
A 的 一 个 逆序 对 (Cinversion) 。 
a. 列 出 数组 (2，3，8，6，1)? 的 5 个 逆序 对 。 
b. 由 集合 {(L，2，…， 帮 中 的 元 素 构 成 的 什么 数组 具有 最 多 的 逆序 对 ? 它 有 多 少 逆序 对 ? 
c 插入 排序 的 运行 时 间 与 输入 数组 中 道 序 对 的 数量 之 间 是 什么 关系 ?证 明 你 的 回答 。 
d. 给 出 一 个 确定 在 ”个 元 素 的 任何 排列 中 逆序 对 数量 的 算法 ， 最 坏 情 况 需 要 O(n Ign) ITA] 
(提示 : 修改 归并 排序 。) 


本 章 注 记 

1968 Æ, Knuth 发 表 了 总 标题 为 《计算 机 程序 设计 艺术 》L209，210，211] 的 三 卷 著作 中 的 第 
1 卷 S 。 第 1 卷 引领 了 现代 计算 机 算法 的 研究 ， 使 之 聚焦 于 运行 时 间 的 分 析 。 对 这 里 给 出 的 许多 
主题 ， 这 3 卷 著作 仍然 是 有 吸引 力 的 且 有 价值 的 参考 书 2 。 依 照 Knuth 的 说 法 ,“ 算 法 ”这 个 词 来 
源 于 9 世纪 一 位 波斯 数学 家 的 名 字 “al-Khowarizmi”。 

Aho, Hopcroft 和 Ullman[ 5 ] 提 倡 使 用 第 3 章 引 入 的 记号 ， 包 括 9 记号 ， 把 算法 的 渐 近 分 析 
作为 比较 相对 性 能 的 一 种 方法 。 他 们 还 推广 了 使 用 递归 关系 来 描述 递归 算法 的 运行 时 间 。 

KnuthL211] 提 供 了 许多 排序 算法 的 一 种 百科 全 书 似 的 处 理 。 他 对 各 种 排序 算法 的 比较 包括 
精确 的 执行 步 数 分 析 ， 这 种 分 析 类 似 于 我 们 这 里 对 插入 排序 所 做 的 分 析 。Knuth 对 插入 排序 的 讨 
论 包 括 该 算法 的 几 种 变形 。 其 中 最 重要 的 是 由 D. L. Shell 提出 的 Shell 排序 ， 它 对 输入 序列 的 周 
期 性 子 序列 使 用 插入 排序 ， 结 果 形 成 了 一 种 更 快 的 排序 算法 。 

Knuth 还 描述 了 归并 排序 。 他 提 到 在 1938 年 就 有 人 发 明了 一 种 机 械 排序 装置 ， 能 够 在 一 趟 
内 合并 两 组 穿孔 卡片 。 计 算 机 科学 的 先驱 之 一 J. von Neumann 显然 于 1945 年 在 计算 机 EDVAC 
上 为 归并 排序 编写 过 一 个 程序 。 

GriesL153j 描 述 了 证 明 程 序 正 确 性 的 早期 历史 ， 他 把 该 领域 的 第 一 篇 文章 归功 于 P. Naur, 
并 把 循环 不 变 式 归 功 于 R. W. Floyd。Mitchell[256] 编 写 的 教材 中 描述 了 证 明 程 序 正确 性 的 一 些 
更 新 的 进展 。 


O 《计算 机 程序 设计 艺术 浆 1 卷 第 3 版 英文 影印 版 已 由 机 械 工业 出 版 社 出 版 ，ISBN 978-7-111-22709-0。 一 一 编辑 注 


O 《计算 机 程序 设计 艺术 泊 3 卷 第 2 版 英文 影印 版 已 由 机 械 工 业 出 版 社 出 版 ，ISBN 978-7-111-22717-5。 一 一 编辑 注 
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函数 的 增长 


第 2 章 中 定义 的 算法 运行 时 间 的 增长 量 级 简单 地 刻画 了 算法 效率 ， 并 且 还 允许 我 们 比较 可 选 
算法 的 相对 性 能 。 一 旦 输入 规模 n 变 得 足够 大 ， 最 坏 情况 运行 时 间 为 9(nlgn) 的 归并 排序 将 战胜 
最 坏 情况 运行 时 间 为 9(z ) 的 插入 排序 。 正 如 我 们 在 第 2 章 中 对 插入 排序 所 做 的 ， 虽 然 有 时 我 们 
能 够 确定 一 个 算法 的 精确 运行 时 间 ， 但 是 通常 并 不 值得 花 力气 来 计算 它 以 获得 多 余 的 精度 。 对 
于 足够 大 的 输入 ， 精 确 运行 时 间 中 的 倍增 常量 和 低 阶 项 被 输入 规模 本 身 的 影响 所 支配 。 

当 输 入 规模 足够 大 ， 使 得 只 有 运行 时 间 的 增长 量 级 有 关 时 ， 我 们 要 研究 算法 的 渐 近 效率 。 也 
就 是 说 ， 我 们 关心 当 输 入 规模 无 限 增加 时 ， 在 极限 中 ， 算 法 的 运行 时 间 如 何 随 着 输入 规模 的 变 大 
而 增加 。 通 常 ， 渐 近 地 更 有 效 的 某 个 算法 对 除 很 小 的 输入 外 的 所 有 情况 将 是 最 好 的 选择 。 

本 章 给 出 几 种 标准 方法 来 简化 算法 的 渐 近 分 析 。 下 一 节 首 先 定义 几 类 “ 渐 近 记号 ”， 其 中 ,我 
们 已 经 见 过 的 一 个 例子 是 记号 。 然 后， 我 们 给 出 贯穿 本 书 使 用 的 几 种 记号 约定 。 最 后 ,我们 
回顾 一 下 在 算法 分 析 中 常见 的 若干 函数 的 行为 。 

3.1 渐 近 记号 

用 来 描述 算法 渐 近 运行 时 间 的 记号 根据 定义 域 为 自然 数 集 N 一 (0，1，2，…} 的 函数 来 定义 。 
这 样 的 记号 对 描述 最 坏 情况 运行 时 间 函 数 T(n) 是 方便 的 ， 因 为 该 函数 通常 只 定义 在 整数 输入 规 
BL. Ril, 我们 发 现 有 时 按 各 种 方式 活用 渐 近 记号 是 方便 的 。 例 如 ， 我 们 可 以 扩展 该 记号 到 实 
数 域 或 者 选择 性 地 限制 其 到 自然 数 的 一 个 子 集 。 然 而 ， 我 们 应 该 确保 能 理解 该 记号 的 精确 含义 ， 
以 便 在 活用 时 不 会 误 用 它 。 本 节 将 定义 一 些 基 本 的 渐 近 记号 ， 并 介绍 一 些 常见 的 活用 法 。 

渐 近 记号 、 函 数 与 运行 时 间 

正如 我 们 写 揪 人 排序 的 最 坏 情况 运行 时 间 为 OG” ) 时 那样 ， 我 们 将 主要 使 用 渐 近 记号 来 描述 
算法 的 运行 时 间 。 然 而 ， 渐 近 记 号 实际 上 应 用 于 函数 。 回 顾 一 下 ， 我 们 曾 把 插 和 人 排序 的 最 坏 情况 
运行 时 间 刻 画 为 ar 十 bn 二 c， 其 中 a、5b 和 < 是 常量 。 通 过 把 插入 排序 的 运行 时 间 写 成 9(z)， 我 们 
除去 了 该 函数 的 某 些 细节 。 因 为 渐 近 记号 适用 于 函数 ， 我 们 所 写成 的 OC? ) 就 是 函数 an 十 bn 十 c， 
所 以 上 述 情况 碰巧 刻画 了 插入 排序 的 最 坏 情 况 运 行 时 间 。 

本 书 中 对 其 使 用 渐 近 记号 的 函数 通常 刻画 算法 的 运行 时 间 。 但 是 渐 近 记号 也 可 以 适用 于 刻 
画 算法 的 某 个 其 他 方面 (例如 ， 算 法 使 用 的 空间 数量 ) 的 函数 ， 甚 至 可 以 适用 于 和 算法 没有 任何 关 
系 的 函数 。 

即使 我 们 使 用 渐 近 记号 来 刻画 算法 的 运行 时 间 ， 我 们 也 需要 了 解 意 指 哪个 运行 时 间 。 有 时 
我 们 对 最 坏 情况 运行 时 间 感 兴趣 。 然 而 ， 我 们 常常 希望 刻画 任何 输入 的 运行 时 间 。 换 句 话 说， 我 
们 常常 希望 做 出 一 种 综合 性 地 覆盖 所 有 输入 而 不 仅仅 是 最 坏 情况 的 陈述 。 我 们 将 看 到 完全 适合 
刻画 任何 输入 的 运行 时 间 的 渐 近 记号 。 

@ 记 号 

在 第 2 章 ， 我 们 发 现 插 和 人 排序 的 最 坏 情况 运行 时 间 为 了 (n) 二 BC(w)。 让 我 们 来 定义 这 个 记号 
意 指 什么 。 对 一 个 给 定 的 函数 g(n)， 用 8(g(z)) 来 表示 以 下 函数 的 集合 : 

OEM) = (fr) :存在 正常 量 a. Bm RAMA n> mA agm < fan < ag(n)}® 





O 在 集合 记号 中 ， 冒号 意 指 “使 得 ”。 


[43] 


[ 44 | 


26 


第 一 部 分 基础 知识 


若 存 在 正常 量 c 和 c ， 使 得 对 于 足够 大 的 2， 函 数 SMERA agM ogm, WS 
属于 集合 OCEM). AX 8(g(n)) 是 一 个 集合 ， 所 以 可 以 记 “fln)EQC(g(n))”， 以 指出 fC) dE 
@(g(n)) 的 成 员 。 作 为 蔡 代 ， 我 们 通常 记 “f(n) 二 BC(g(n))” 以 表达 相同 的 概念 。 因 为 我 们 按 这 种 
方式 活用 了 等 式 ， 所 以 你 可 能 感到 困惑 ， 但 是 在 本 节 的 后 面 我 们 将 看 到 这 样 做 有 其 好 处 。 

图 3-1(a) 给 出 了 函数 f(n) 与 g(n) 的 一 幅 直 观 画 面 ， 其 中 fi) =O(g(n)). MHEm 及 其 右边 n 
的 所 有 值 ，f(n) 的 值 位 于 或 高 于 cg《n) 且 位 于 或 低 于 cg(z) 。 换 句 话 说， 对 所 有 nm, BR f(n) 
在 一 个 常量 因子 内 等 于 gn). RIEK eME f(n) 的 一 个 渐 近 紧 确 界 (asymptotically tight bound)。 

















0 No 


fn)=@(g(n)) M An)=Olg(n)) Am)=Qg(n) 
(a) (b) (c) 


图 3-1 8@8、O 和 9 记号 的 图 例 。 在 每 个 部 分 ， 标 出 的 mm 的 值 是 最 小 的 可 能 值 ， 任 何 更 大 的 值 也 将 有 效 。 
(a)@ 记 号 限制 一 个 函数 在 常量 因子 内 。 如 果 存 在 正常 量 mia Ma, SBE m 及 其 右边 ， 
了 (mn) 的 值 总 位 于 agM 5 czg(n) 之 间或 等 于 它们 ， 那 么 记 fi) =Ole()). (HORE ARK 
给 出 一 个 在 常量 因子 内 的 上 界 。 如 果 存 在 正常 量 n Mce, E no 及 其 右边 ，f(n) 的 值 总 小 于 
或 等 于 cg(n)， 那 么 记 f(n) 一 OCg(n))。(O 0 记号 为 函数 给 出 一 个 在 常量 因子 内 的 下 界 。 如 果 存 
在 正常 量 n。 和 c， 使 得 在 n 及 其 右边 ，f(《n) 的 值 总 大 于 或 等 于 cen), WAW fd) =A g(n)) 


Q@(g(n)) 的 定义 要 求 每 个 成 员 f(n) € 8@(g(n)) 均 渐 近 非 负 ， 即 当 n 足够 大 时 ，f(n) 非 负 。 
( 渐 近 正 函 数 就 是 对 所 有 足够 大 的 n 均 为 正 的 函数 .) 因 此 ， 函数 g(n) 本 身 必 为 渐 近 非 负 ， 否 则 集 
合 8(g(n)) 为 空 。 所 以 我 们 假设 用 在 8 记号 中 的 每 个 函数 均 渐 近 非 负 。 这 个 假设 对 本 章 定义 的 
其 他 渐 近 记号 也 成 立 。 

在 第 2 章 ， 我 们 介绍 了 8 记号 的 一 种 非 形式 化 的 概念 ， 相 当 于 扔 掉 低 阶 项 并 忽略 最 高 阶 项 
前 的 系数 。 让 我 们 通过 使 用 形式 化 定义 证 明志 必 一 3n 一 B(x ) 来 简要 地 证 实 这 种 直觉 。 为 此 ,我 
们 必须 确定 正常 量 c 、c。 和 mm， 使 得 对 所 有 nem, A: 

an <= sr —3n< aor 

用 n? BREE: 


1 3 
asz} = 


2 
通过 选择 任何 常量 c, 宇 1/2， 可 以 使 右边 的 不 等 式 对 任何 nS] 的 值 成 立 。 同 样 ， 通 过 选择 任何 常 
量 a<1/14， 可 以 使 左边 的 不 等 式 对 任何 nn 宇 7 的 值 成 立 。 因 此 ， 通 过 选择 一 1/14，c 一 1/2 H 


由 一 7， 可 以 证 明 亏 过 一 3n 一 8602)。 当 然 ， 还 存在 对 这 些 常量 的 其 他 选择 ， 但 是 重要 的 是 存在 某 个 


选择 。 要 注意 的 是 ， 这 些 常量 依赖 于 函数 方 吧 一 3w; 属于 9CZ) 的 不 同 函数 通常 需要 不 同 的 常量 。 


我 们 还 可 以 使 用 形式 化 定义 来 证 明 6n: 关 Bmw)。 采 用 反 证 法 ,假设 存在 c 和 nn。， 使 得 对 所 
A nzm, A Son. SMA no’ RAR, Bn<c./6, ANa 为 常量 ， 所 以 对 任意 大 的 n， 该 
不 等 式 不 可 能 成 立 。 
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直觉 上 ， 一 个 渐 近 正 函 数 的 低 阶 项 在 确定 渐 近 确 界 时 可 以 被 忽略 ， 因 为 对 大 的 2， 它们 是 无 
足 轻 重 的 。 当 nn 较 大 时 ， 即 使 最 高 阶 项 的 一 个 很 小 的 部 分 都 足以 支配 所 有 低 阶 项 。 因 此 , 将 a 
置 为 稍 小 于 最 高 阶 项 系数 的 值 并 将 cx 置 为 稍 大 于 最 高 阶 项 系数 的 值 能 使 @ 记号 定义 中 的 不 等 式 
得 到 满足 。 最 高 阶 项 系数 同样 可 以 被 忽略 ， 因 为 它 仅 仅 根据 一 个 等 于 该 系数 的 常量 因子 来 改变 a 
和 C20 

作为 一 个 例子 ， 考 虑 任意 二 次 函数 f(n)=an’+bnt+c, Hip a, b Me HARRAH a>0. H 
掉 低 阶 项 并 忽略 常量 后 得 f(n) 二 B(xw)。 为 了 形式 化 地 证 明 相同 的 结论 ， 我们 取 常 量 c =a/4, 
0 二 7a/4 且 w 二 2，max(|6b|/a，MY1c|/a)。 可 以 证 明 对 所 有 nm, A 0ar? 二 an’ 十 bn 十 Cc 和 


csrY。 一 般 来 说 ， 对 任意 多 项 式 pO) = Dan’, HP a, WHA a>, RATA pm) =O") 


(参见 思考 题 3-1) 。 

因为 任意 常量 是 一 个 0 阶 多 项 式 ， 所 以 可 以 把 任意 常量 函数 表示 成 (xz ) 或 8(1)。 然 而 ， 后 
一 种 记号 是 一 种 轻微 的 活用 ， 因 为 该 表达 式 并 未 指出 什么 变量 趋 于 无 穷 ?。 我 们 将 经 常 使 用 记号 
@(1) 来 意 指 一 个 常量 或 者 关于 某 个 变量 的 一 个 常量 函数 。 

O 记号 

@ 记 号 渐 近 地 给 出 一 个 函数 的 上 界 和 下 界 。 当 只 有 一 个 渐 近 上 界 时 ， 使 用 O 记 号 。 对 于 给 
定 的 函数 g), MOn) GREER Og(n)”， 有 时 仅 读 作 “Og(n)”) 来 表示 以 下 函数 的 集合 : 

OCg(n)) = fM: FEER E Hn ,使 得 对 所 有 nn 宇 mw,， 有 0 三 fln) <e(n)} 
我 们 使 用 O 记 号 来 给 出 函数 的 一 个 在 常量 因子 内 的 上 界 。 图 3-1(b) 展 示 了 O 记 号 背后 的 直觉 知 
W. WE m RAPA STATE n, KA f(n) 的 值 总 小 于 或 等 于 cgn). 

我 们 记 f(r) =O g@)) VATE HH BR (OM) ERA OCe(n) HRA. TER. fd) =O en) ) RBA 
一 OCgG0D))， 因 为 日 记号 是 一 个 比 9 记号 更 强 的 概念 。 按 集合 论 中 的 写法 ， 我 们 有 Oem) 
OCg(n)). Ak, REBUM an’ ton tc, HE a>0, 在 6(2) 中 的 证 明 也 证 明了 任意 这 
样 的 二 次 函数 在 OC(r) 中 。 也 许 更 令 人 惊奇 的 是 当 a>0 时 ,任意 线性 函数 az 十 2 也 在 O(2 ) 中 ， 
通过 取 c= 二 a 十 |5| 和 no 一 max(1， 一 6/a)， 可 以 很 容易 证 明 这 个 结论 。 

如 果 你 以 前 见 过 O 记 号 ， 你 会 发 现 我 们 这 样 书写 (如 n= 二 OC )) 很 奇怪 。 在 文献 中 ， 有 时 我 
MAM O 记 号 非 形式 化 地 描述 渐 近 确 界 ， 即 已 经 使 用 8 记号 定义 的 东西 。 然 而 ， 本 书 中 当 书 写 
fi) =Olg@) 时， 我 们 仅仅 要 求 gn) 的 某 个 常量 倍数 是 f(n) 的 渐 近 上 界 ， 而 不 要 求 它 是 一 个 
多 么 紧 确 的 上 界 。 在 算法 文献 中 ， 标 准 的 做 法 是 区 分 渐 近 上 界 与 渐 近 确 界 。 

使 用 O 记 号 ， 我 们 常常 可 以 仅仅 通过 检查 算法 的 总 体 结 构 来 描述 算法 的 运行 时 间 。 例 如 ， 
第 2 章 中 插入 排序 算法 的 双重 侍 套 循环 结构 对 最 坏 情况 运行 时 间 立 即 产 生 一 个 O(2 ) 的 上 界 : 内 
层 循环 每 次 迭代 的 代价 以 OD (常量 ) 为 上 界 ， 下 标 i 和 j 均 最 多 为 x， 对 于 n 个 i 和 j 值 对 的 每 
一 对 ， 内 循环 最 多 执行 一 次 。 

既然 O 记 号 描述 上 界 ， 那 么 当 用 它 来 限制 算法 的 最 坏 情况 运行 时 间 时 ， 关 于 算法 在 每 个 输 
人 上 的 运行 时 间 ， 我 们 也 有 一 个 界 ， 这 就 是 前 面 讨论 的 综合 性 陈述 。 因 此 ， 对 插入 排序 的 最 坏 情 
况 运 行 时 间 的 界 OC? ) 也 适用 于 该 算法 对 每 个 输入 的 运行 时 间 。 然 而 ， 对 插入 排序 的 最 坏 情 况 运 
行 时间 的 界 Om ) 并 未 上 暗示 插入 排序 对 每 个 输入 的 运行 时 间 的 界 也 是 6(z)。 例 如 ， 我 们 在 第 2 
章 曾 看 到 当 输 入 已 排 好 序 时 ， 插 入 排序 的 运行 时 间 为 9(z) 。 

从 技术 上 看 ， 称 插入 排序 的 运行 时 间 为 OC(w) 有 点 不 合适 ， 因 为 对 给 定 的 n， 实 际 的 运行 时 





O ”真正 的 问题 是 通常 的 函数 记号 没有 区 分 函数 与 函数 值 。 在 4 演算 中 ， 函 数 的 参数 被 清楚 地 说 明 ， 函数 n? 可 被 写 
成 Xn. 双 ,或 者 其 至 写成 Ar. 7?。 然 而 ,采用 一 种 更 严格 的 记号 将 使 代数 操作 复杂 化 ， 所 以 我 们 选择 容忍 这 种 
活用 。 


27 


28 


第 一 部 分 基础 知识 


间 是 变化 的 ， 依 赖 于 规模 为 n 的 特定 输入 。 当 我 们 说 “运行 时 间 为 O(w)” 时 ， 意 指 存在 一 个 
OG) 的 函数 f(n)， 使 得 对 的 任意 值 ， 不 管 选择 什么 特定 的 规模 为 n 的 输入 ， 其 运行 时 间 的 上 
界 都 是 f(n)。 这 也 就 是 说 最 坏 情况 运行 时 间 为 OC’) 。 

Q 记 号 

正如 O 记 号 提供 了 一 个 函数 的 渐 近 上 界 ，Q 记号 提供 了 渐 近 下 界 。 对 于 给 定 的 函数 ga), 
用 QC(g(n))( 读 作 “ 大 Qg(n)”， 有 时 仅 读 作 “Qg(n)”) 来 表示 以 下 函数 的 集合 : 

QCg(n)) = (f(r) :存在 正常 量 c 和 和 no, 使 得 对 所 有 nn 宇 mw,; 有 0 二 cga) < fa} 

图 3-1(c) 给 出 了 Q 记号 的 直观 解释 。 对 在 n 及 其 右边 的 所 有 值 %*"，f(n) 的 值 总 大 于 或 等 于 
cg(n). 

根据 目前 所 看 到 的 这 些 渐 近 记号 的 定义 ， 容 易 证 明 以 下 重要 定理 (参见 练习 3. 1-5) 。 

定理 3. 1 对 任意 两 个 函数 AM gn), RMA FMON), SARS f(n) 二 OCg(n)) 
E f(mM=ACg()). 国 

作为 应 用 本 定理 的 一 个 例子 ， 关 于 对 任意 常量 as、2 和 c<， 其 中 六 0， 有 an 十 bz 十 c 一 9 ) 
的 证 明 直 接 蕴 涵 an? 十 bn 十 c 二 QCw) 和 an? 十 bn 十 c= 二 OCm)。 实 际 上 不 是 像 该 例子 中 所 做 的 ， 应 
用 定理 3. 1 从 渐 近 确 界 获 得 渐 近 上 界 和 下 界 ， 而 是 通常 用 它 从 渐 近 上 界 和 下 界 来 证 明 渐 近 确 界 。 

当 称 一 个 算法 的 运行 时 间 ( 无 修饰 语 ) 为 QC(g(n)) 时 ， 我 们 意 指 对 每 个 n 值 ， 不 管 选 择 什么 特 
定 的 规模 为 nn 的 输入 ， 只 要 nn 足够 大 ， 对 那个 输入 的 运行 时 间 至 少 是 g(z) 的 常量 倍 。 等 价 地 ， 
我 们 再 对 一 个 算法 的 最 好 情况 运行 时 间 给 出 一 个 下 界 。 例 如 ， 插 入 排序 的 最 好 情况 运行 时 间 为 
Q(n)， 这 药 涵 着 插入 排序 的 运行 时 间 为 O(n) 。 

所 以 插入 排序 的 运行 时 间 介 于 Qn) 和 OCm)， 因 为 它 落 人 nn 的 线性 函数 与 n 的 二 次 函数 之 间 
的 任何 地 方 。 而 且 ， 这 两 个 界 是 尽 可 能 渐 近 地 紧 确 的 : 例如 ， 插 入 排序 的 运行 时 间 不 是 O(n’), 
因为 存在 一 个 输入 (例如 ， 当 输入 已 排 好 序 时 ) ， 对 该 输入 ， 插 入 排序 在 @(n) 时 间 内 运行 。 然 而 ， 
这 与 称 插入 排序 的 最 坏 情 况 运行 时 间 为 Q(z) 并 不 矛盾 ， 因 为 存在 一 个 输入 ， 使 得 该 算法 需要 
QC ) 的 时 间 。 

等 式 和 不 等 式 中 的 渐 近 记号 

我 们 已 经 看 到 渐 近 记号 可 以 如 何 用 于 数学 公式 中 。 例 如 ， 在 介绍 O 记 号 时 ， 记 “n 二 O(n)”。 
我 们 还 可 能 写 过 2n? +3n+1=2n'+O(n). 。 如 何 解释 这 样 的 公式 呢 ? 

当 渐 近 记 号 独立 于 等 式 ( 或 不 等 式 ) 的 右边 ( 即 不 在 一 个 更 大 的 公式 内 ) 时 ， 如 在 n= 二 Ow) 中 ， 
我 们 已 经 定义 等 号 意 指 集合 的 成 员 关 系 : nE OCm)。 然 而 ， 一 般 来 说 ， 当 渐 近 记号 出 现在 某 个 
公式 中 时 ， 我们 将 其 解释 为 代表 某 个 我 们 不 关注 名 称 的 匿名 函数 。 例 如 ， 公 式 2x 十 3n 十 1 二 
2n’ TOMAI 2n +3n+1=2r'+ fin), KH fn) 是 集合 8(n) 中 的 某 个 函数 。 在 这 个 例子 中 ， 
假设 f(n) 二 3n 十 1， 该 函数 确实 在 8(n) 中 。 

按 这 种 方式 使 用 渐 近 记号 可 以 帮助 消除 一 个 等 式 中 无 关 紧 要 的 细节 与 混乱 。 例 如 ， 在 第 2 章 
中 ， 我 们 把 归并 排序 的 最 坏 情况 运行 时 间 表 示 为 递归 式 

T(n) = 2T(n/2) + O(n) 

如 果 只 对 T(n) 的 渐 近 行为 感 兴趣 ， 那 么 没有 必要 准确 说 明 所 有 低 阶 项 ， 它 们 都 被 理解 为 包含 在 
由 项 @(n) 表 示 的 匿名 函数 中 。 

一 个 表达 式 中 匿名 函数 的 数目 可 以 理解 为 等 于 渐 近 记号 出 现 的 次 数 。 例 如 ， 在 表达 式 


DOD 中 ,只 有 一 个 匿名 函数 (一 个 i 的 函数 )。 因 此 ， 这 个 表达 式 不 同 于 OHO) ++ 


O(n)， 实 际 上 后 者 没有 一 个 清晰 的 解释 。 
在 某 些 例子 中 ， 渐 近 记 号 出 现在 等 式 的 左边 ， 例 如 
2n® + @(n) = O(n’) 
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我 们 使 用 以 下 规则 来 解释 这 种 等 式 : 无 论 怎样 选择 等 号 左边 的 匿名 函数 ， 总 有 一 种 办 法 来 选择 等 号 右 
边 的 匿名 函数 使 等 式 成 立 。 因 此 ， 我 们 的 例子 意 指 对 任意 函数 f(n) COM, FER RM E 
O), 使 得 对 所 有 的 n， 有 2 六 十 fln) 二 gln)。 换 名 话说， 等 式 右边 比 左 边 提供 的 细节 更 粗糙 。 

我 们 可 以 将 许多 这 样 的 关系 链 在 一 起 ， 例 如 

2 十 3n 十 1 = 2n° + O(n) = O(n’) 

可 以 用 上 述 规则 分 别 解释 每 个 等 式 。 第 一 个 等 式 表 明 存在 某 个 函数 f(r) € 8@(n)， 使 得 对 所 有 的 
n, A 2 好 十 32 十 1 三 2 好 2 十 jz) 。 第 二 个 等 式 表明 对 任意 函数 gC) € O(n) (如 刚刚 提 到 的 f(n))， 
存在 某 个 函数 AC) €OC?), TERA n A 2n+g(n)=h(n). TER, OR REAR A 2x 十 
3n+1=Or’), ， 这 就 是 等 式 链 直观 上 提供 给 我 们 的 东西 。 

0 记号 

由 O 记 号 提供 的 渐 近 上 界 可 能 是 也 可 能 不 是 渐 近 紧 确 的 。 界 2xw 二 OC ) 是 渐 近 紧 确 的 ， 但 
ER 2n=OM ) 却 不 是 。 我 们 使 用 o 记号 来 表示 一 个 非 渐 近 紧 确 的 上 界 。 形 式 化 地 定义 o(g(n)) 
( 读 作 “小 og(n)”) 为 以 下 集合 : 

En) = {fm :对 任意 正常 量 c 之 0, 存 在 常量 z > 0, 使 得 对 所 有 nn 宇 m, 有 0 过 fm 二 glan} 

Pian, 2n=o(n’), 但 是 2n’Ao(n’). 

O 记 号 与 o 记号 的 定义 类 似 。 主 要 的 区 别 是 在 SMSO) P, HOS f(n)<cg(n) xf KA 
常量 c>0 成 立 ， 但 在 SfM) P, HO f<cg(n) MA AH c> 成 立 。 直 观 上 ,在 


0 记号 中 ， 当 nn 趋 于 无 穷 时 ， 函 数 f(n) 相 对 于 g(n) 来 说 变 得 微不足道 了 ， 即 
lim L® — 0 (4. 1) 
n» g(n) 
有 些 学 者 使 用 这 个 极限 作为 o 记号 的 定义 ; 本 书 中 的 定义 还 限定 匿名 函数 是 渐 近 非 负 的 。 
记号 


由 记号 与 Q 记号 的 关系 类 似 于 o 记号 与 O 记号 的 关系 。 我 们 使 用 w 记 号 来 表示 一 个 非 渐 近 紧 
确 的 下 界 。 定 义 它 的 一 种 方式 是 : 
fin) E wlg(n)) 4AKRY gin) E of f(n)) 
然而 ， 我 们 形式 化 地 定义 olen) GEE) we(n)”) ALA FEA: 
KEM) = (fm :对 任意 正常 量 c 汪 0, 存在 常量 mm >00 ERRA n>m A O cga) < f(n)} 
PU, n?’/2=aln), BÆ n’/2Awl(n’), KK f(n) =o g(n)) HMB 


lim = co 
ERE, WFRIX-MRIRAFTE. ABA n ÉTER, OOM MF go) 来 说 变 得 任意 大 了 。 


比较 各 种 函数 
实数 的 许多 关系 性 质 也 适用 于 渐 近 比较 。 下 面 假定 f(n) 和 gO) HEE. 


传递 性 : 
fm) = O¢g@)) E gm) = OAC—n)) Bw fn) = @(h(n)) 
fi) = O(g(n)) E gn) = OChA(n)) ”蕴涵 fn) = OCA) ) 
fn) = Ag) Bg) = AAD) ”蕴涵 fn) = AAW) 
fn) = o(g(n)) E g(n) = o(h(n)) me f(n) = o(h(n)) 
fn) = o(g()) E gi) =awlh(n)) ”蕴涵 fn) = wlh(n)) 
自 反 性 : 


f(r) = QO(f(n)) 
fn = O(f(™)) 
Fm = Afm) 
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对 称 性 : 
fn) = Og(n)) ERY gm) = OFM) 

转 置 对称 性 : 

f@ = Ol(g(n)) 当 且 仅 当 gr) = QC(f(n)) 
fn) 二 olg(n)) 当 且 仅 当 gin) = w(f(n)) 
因为 这 些 性 质 对 渐 近 记号 成 立 ， 所 以 可 以 在 两 个 函数 f 与 g 的 渐 近 比较 和 两 个 实数 a 与 的 
比较 之 间 做 一 种 类 比 。 
fn) = O(g(n)) EU Fa<b 
fn) = Ug) XMF aob 
fn) = B(g(n)) XMF a=b 
Tm) = o(g(n)) XMF azo 
fn) = wl(g(n)) EUFa>b 
E f(n)=o(g(n)), WE Foz) 渐 近 小 于 em; 4M =o0lg(n)), MER SD BILKF g(n). 
然而 ， 实 数 的 下 列 性 质 不 能 携带 到 渐 近 记号 : 

三 分 性 对 任意 两 个 实数 4 和 0， 下 列 三 种 情况 恰 有 一 种 必须 成 立 : a<b, a=b, Ñ a>b, 
虽然 任意 两 个 实数 都 可 以 进行 比较 ， 但 不 是 所 有 函数 都 可 渐 近 比较 。 也 就 是 说 ， 对 两 个 函数 
SMA gn), 也许 f(n) 二 Olg(n)) 和 fn) 二 QCg(n)) 都 不 成 立 。 例 如 ， 我 们 不 能 使 用 渐 近 记号 
来 比较 函数 nn 和 n"™”"， 因 为 n*™“" 中 的 窜 值 在 0 与 2 之 间 氛 动 ， 取 介 于 两 者 之 间 的 所 有 值 。 


3.1-1 假设 有 (nn) 与 g(m) 都 是 渐 近 非 负 函数 。 使 用 B 记 号 的 基本 定义 来 证 明 max( f(n), g(n)) = 
OC f(n)+g(n)). 

3.1-2 WH: 对 任意 实 常量 a Alb, HH b>, A 

Cata) = Aln) (3. 2) 

.1-3 解释 为 什么 “算法 A 的 运行 时 间 至 少 是 O(2 )” 这 一 表述 是 无 意义 的 。 
1-4 2" =0(2") RA? 22 一 O(2") 成 立 吗 ? 
证 明定 理 3. 1。 
1-6 WEH: 一 个 算法 的 运行 时 间 为 8(g(n)) 当 日 仅 当 其 最 坏 情况 运行 时 间 为 Ol(g(n)), 且 其 
最 好 情况 运行 时 间 为 QC(g(n))。 
WH: oC(g(n)) 门 w(g(n)) 为 空 集 。 
可 以 扩展 我 们 的 记号 到 有 两 个 参数 n Alm 的 情形 ， 其 中 的 nn 和 nm 可 以 按 不 同 速率 独立 地 
趋 于 无 穷 。 对 于 给 定 的 函数 g(n，m)， 用 OC(g(n，m)) 来 表示 以 下 函数 集 : 
OCg(n,m)) 二 {fln,m) :存在 正常 量 c、no 和 mm CEMA nS nm R mm, 
A 0< f(n,m) < cg(n,m)} 

对 Qlg(n，m)) 和 BC(g(n，m)) 给 出 相应 的 定义 。 


3.2 标准 记号 与 常用 函数 

本 节 将 回顾 一 些 标准 的 数学 函数 与 记号 并 探索 它们 之 间 的 关系 ， 还 将 阑 明 渐 近 记 号 的 应 用 。 

单调 性 

若 m<n Bh f (m)<f(n), WRA f(n) 是 单调 递增 的 。 类 似 地 ， 车 m<n 蕴涵 f(m)> 
f, MRAR f(n) 是 单调 递减 的 。 若 m<n 蕴涵 fCm) 二 f(n)， 则 函数 f(n) 是 严格 递增 的 。 若 
mnia f(m)>f(n), MRAR f(n) 是 严格 递减 的 。 


wow we we 
om 
L 
Wn 


w w 
re 
on 
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向 下 取 整 与 向 上 取 整 
对 任意 实数 xz， 我 们 用 Lz 表示 小 于 或 等 于 z 的 最 大 整数 ( 读 作 “xz 的 向 下 取 整 ”> ， 并 用 [z 表 
示 大 于 或 等 于 x 的 最 小 整数 ( 读 作 “z 的 向 上 取 整 ”)。 对 所 有 实数 x, 
z—-1l<lal<x<[x]<xt+]1 (3:3) 
对 任意 整数 n, 
[n/2]+|n/2]=n 
对 任意 实数 20 和 整数 a,b>0, 








[x/al|—_ faz 
| 1a l-5 ca 
Laval | Va 
= |= | (3-5) 
+—1) 
| 全 | 过。 (3. 6) 
a a—(b—1) 
|4 |= 2 (3.7) 
向 下 取 整 函数 f(z) 二 Lz 是 单调 递增 的 ， 向 上 取 整 函数 f(x) 二 [zl 也 是 单调 递增 的 。 
模 运 算 
对 任意 整数 a 和 任意 正 整 数 n，a modn 的 值 就 是 商 a/n HRA: 
amodn = a— n la/n] (3.8) 
结果 有 
0< amodn < n (3.9) 


给 定 一 个 整数 除 以 另 一 个 整数 的 余数 的 良 定 义 后 ， 可 以 方便 地 引入 表示 余数 相等 的 特殊 记 
号 。 若 (a modn)=(bmodn), Wid a=b(modn), FFARR n hja 等 价 于 2。 换 名 话说 ， 若 < 与 除 
Unit RAH MARR. M a=b(modn). fri, a=bCmodn) 4 A124 n Æ b—a 的 一 个 因子 。 
Aki nia 不 等 价 于 2， 则 记 aAb(modn). 

多 项 式 

给 定 一 个 非 负 整数 d, nd 次 多 项 式 为 具有 以 下 形式 的 一 个 函数 pCa): 

p(n) = bp 

其 中 常量 a。 as es a 是 多 项 式 的 系数 日 aA0, -MEMRAM E E K HAL a >00. SF 
一 个 a 次 渐 近 正 的 多 项 式 p(n)， 有 p(n) 二 Bln”)。 对 任意 实 常量 a0, BA n" 单 调 递增 ， 对 任意 
实 常 量 0， 函数 nn 单调 递减 。 若 对 某 个 常量 &， 有 fln) 二 OCn*)， 则 称 函 数 f() 是 多 项 式 有 界 的 。 

指数 

对 所 有 实数 a 二 0、m 和 n， 我 们 有 以 下 恒等式 : 


(a™)" = a™ 
(a™)" = (a")™ 
a"a" = an 
对 所 有 ?和 < 之 1， 函 数 a" 关于 单调 递增 。 方 便 时 ， 我 们 假定 0" 王 1。 
可 以 通过 以 下 事实 使 多 项 式 与 指数 的 增长 率 互 相关 联 。 对 所 有 使 得 a 二 1 的 实 常 量 a 和 0， 有 


b 
lim 77 =0 (3. 10) 
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据 此 可 得 
n = o(a") 
因此 ， 任 意 底 大 于 1 的 指数 函数 比 任意 多 项 式 函 数 增长 得 快 。 
使 用 e 来 表示 自然 对 数 函 数 的 底 2. 718 28…， 对 所 有 实数 zx， 我 们 有 


Fa ltet +Z =» z (3.11) 
其 中 “1!” 表 示 本 节 后 面 定 义 的 阶乘 函数 。 对 所 有 实数 z， 我 们 有 不 等 式 
e lte (3.12) 
其 中 只 有 当 r=0 时 等 号 才 成 立 。 当 |z| 科 1 时， 我 们 有 近似 估计 
Ilt-ze<e<lt+24+2 (3. 13) 


当 z>0 时 ,用 1 十 zx 作为 的 近似 是 相当 好 的 : 
e 二 1 十 zx 十 Q(z’) 
(在 这 个 等 式 中 ， 渐 近 记 号 用 来 描述 当 x->0 而 不 是 二 ~ce 时 的 极限 行为 )。 对 所 有 x+， 我 们 有 : 
SN 3 
lim(1+)" =e (3.14) 
xt 
我 们 将 使 用 下 面 的 记号 : 
lgn = log,n 〈 以 2 为 底 的 对 数 ) 
Inn = log.n (自然 对 数 ) 
lgn 二 (lgn)* RA) 
lglgn 二 lg(lgn) (#4) 
我 们 将 采用 的 一 个 重要 记号 约定 是 对 数 函 数 只 适用 于 公式 中 的 下 一 项 ， 所 以 lgn 十 k RH Ugn) +k 
WA Ign +k), MRA O>1, BAX n>0, PRB logn 是 严格 递增 的 。 
对 所 有 实数 a>0, 6>0, >00 An, A 
a= bls” 
log (ab) = log.a + log.b 


log,a” = nlog,a 





oe re (3. 15) 
log, (1/a) =— log,a 
log,a = rar 
og ,b 
at = hse (3. 16) 


其 中 ， 在 上 面 的 每 个 等 式 中 ， 对 数 的 底 不 为 1。 
根据 等 式 (3. 15), ， 对 数 的 底 从 一 个 常量 到 另 一 个 常量 的 更 换 仅 使 对 数 的 值 改 变 一 个 常量 因子 ， 
所 以 当 我 们 不 关心 这 些 常量 因子 时 ， 例 如 在 O 记 号 中 ， 我 们 经 常 使 用 记号 “lgn”。 计 算 机 科学 家 发 
现 2 是 对 数 的 最 自然 的 底 ， 因 为 非常 多 的 算法 和 数据 结构 涉及 把 一 个 问题 分 解 成 两 个 部 分 。 
当 |z| 过 1 时 ，In(1 十 x) 存在 一 种 简单 的 级 数 展开 : 


3 


In(1+ zx) pa loge ce E + 一 
对 zx 二 一 1， 还 有 下 面 的 不 等 式 : 


x 


Ipa SPUST (3. 17) 
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其 中 仅 对 z 一 0 等 号 成 立 。 
若 对 某 个 常量 &，f(n) =OUg' n), MARRA fo) 是 多 对 数 有 界 的 。 在 等 式 (3. 10) 中 ， 通 过 
Fi len 代替 ”并 用 2° 代替 a， 可 以 使 多 项 式 与 多 对 数 的 增长 互相 关联 : 
lim He 一 lim Ez =0 


根据 这 个 极限 ， 我 们 可 以 得 到 : 对 任意 常量 a0, 
lg’ n = o(n*) 
因此 ,任意 正 的 多 项 式 函数 都 比 任意 多 对 数 函 数 增长 得 快 。 
阶乘 
记号 n! ( 读 作 “n 的 阶乘 ”定义 为 对 整数 z 之 0， 有 
safes ‘ #n=0 
i ne(n—1)! #n>0 
因此 ， nl 一 1。2。3…7。 
阶乘 函数 的 一 个 弱 上 界 是 n! <n", AACR, n 项 的 每 项 最 多 为 nx。 斯 特 林 (Stirling) 
近似 公式 


n! = /2mn()"(1+0(+)) (3. 18) 
给 出 了 一 个 更 紧 确 的 上 界 和 下 界 ， 其 中 e 是 自然 对 数 的 底 。 正 如 练习 3. 2-3 要 求证 明 的 ， 
n! = o(n") 
n! = w(2") 
lg(a!) = O(rlgn) (3. 19) 
其 中 斯 特 林 近 似 公 式 有 助 于 证 明 等 式 (3. 19) 。 对 所 有 n 宇 1， 下 面 的 等 式 也 成 立 : 
al = J2nn( 7+)" e (3. 20) 
e 
其 中 
1 1 
Pati <= On << Tn (3.21) 
多 重 函 数 


我 们 使 用 记号 O RRA BM (OBR i 次 作用 于 一 个 初 值 x 上 。 形 式 化 地 ， 假 设 fin) 
为 实数 集 上 的 一 个 函数 。 对 非 负 整数 i， 我 们 递归 地 定义 
3 n #i=0 
D= | KO CY Hio 
例如 ， 若 fn) 一 22， 则 f°? (n)=2in。 
多 重 对 数 函 数 
我 们 使 用 记号 le" n( 读 作 “log E n KRRKZEWM, PHAAWE MEM. Bile? nM 
如 上 ， 其 中 f(n) 二 lgn。 因 为 非 正 数 的 对 数 无 定义 ， 所 以 只 有 在 lg“?n 二 0 时 lg%n 才 有 定义 。 一 
定 要 区 分 lg n( 从 参数 nn 开始， 连续 应 用 对 数 函 数 i 次 ) 与 lgin(n HTH i 次 寡 ) 。 于 是 定义 多 
重 对 数 函 数 为 
lg n= min{i>0;: lg@n< 1} 
多 重 对 数 是 一 个 增长 非常 慢 的 函数 : 
lg*2=1 
lg* 4=:2 
lg* 16=3 


[58] 
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Ig" 65 536 = 4 


lg“ (2653y = 5 
因为 在 可 探测 的 宇宙 中 原子 的 数目 估计 约 为 10”， 远 远 小 于 2*”， 所 以 我 们 很 少 遇 到 一 个 使 
Ig" n> SAY ABU n. 
斐 波 那 契 数 
使 用 下 面 的 递归 式 来 定义 斐 波 那 契 数 ， 
F, =0 
F, =1 (3. 22) 


二 三 天 
因此 ， 每 个 斐 波 那 契 数 都 是 两 个 前 面 的 数 之 和 ， 产 生 的 序列 为 
Oy We 13,21594,55.-% 
ERMRASREP HS 6 RHA AR, ENE PITA: 





Fati (3. 23) 
并 由 下 面 的 公式 给 出 (参见 练习 3. 2-6): 
j= an = 1.61803 (3. 24) 
$= += =— 0. 618 03… 
特别 地 ， 我 们 有 
OS os J 
a= 
可 以 使 用 归纳 法 来 证 明 这 个 结论 (练习 3. 2-7)。 因 为 1$| 二 1， 所 以 有 
| eee 
E Er 
这 蕴涵 着 
| 
F, i F| (3. 25) 
这 就 是 说 第 ;个 斐 波 那 契 数 F, ET EMERARA. Al, EVRA WRC K. 
练习 


3.2-1 WEH: 若 f(n) 和 g(《n) 是 单调 递增 的 函数 ， 则 函数 f(n) 十 gln) 和 f(g(n)) 也 是 单调 递增 
B, Ih, Æ f(nw) 和 gm) 是 非 负 的 ， 则 f(n)，g() 是 单调 递增 的 。 
3.2-2 证 明 等 式 (3. 16). 
3.2-3 证 明 等 式 (3. 19)。 并 证 明 n! 一 w(2") 且 n! =o(n"). 
*3.2-4 RGR lenl! 多 项 式 有 界 吗 ? 函数 [lg lgnl! 多 项 式 有 界 吗 ? 
*3.2-5 如 下 两 个 函数 中 ， 哪 一 个 渐 近 更 大 些 : Ig(lg* nn) 还 是 lg* (ign)? 
3.2-6 证明: 黄金 分 割 率 % 及 其 共 斩 数 % 都 满足 方程 守 一 z 十 1。 
3.2-7 用 归纳 法 证 明 : 第 ;个 斐 波 那 契 数 满足 等 式 
_ 
HF 6 ERS FHA S RHI HER. 


3.2-8 EHH: k lnkR=O(n) AMF k=0(n/lnn). 


第 3 章 函数 的 增长 


思考 题 


3-1 〈 多 项 式 的 渐 近 行为 ) 假设 p(n) = Dam 是 一 个 关于 nn 的 d 次 多 项 式 ， 其 中 a>0, ke 


3-3 


3-4 


一 个 常量 。 使 用 渐 近 记号 的 定义 来 证 明 下 面 的 性 质 。 
a. 若 kd, M) pM =O). 
b. 若 k<d, TW DMSA). 
ce #k=d, Nl p(n) =O"). 
d. #k>d, W pO) =o). 
e Æ k<d, Wil] p(n) =a(7"). 


《相对 渐 近 增长 ) 为 下 表 中 的 每 对 表达 式 (A，B) 指 出 A 是 否 是 B O, o Q oO. 1K 


BWRS1, e>0 H c 之 1 均 为 常量 。 回 答应 该 以 表格 的 形式 ,将 “是 ”或 “ 否 ” 写 在 每 个 空格 中 。 
































(根据 渐 近 增长 率 排 序 ) 


a. 根据 增长 的 阶 来 排序 下 面 的 函数 ， 即 求 出 满足 £1 = 10 g2)5 B2= ACs). “yy Bo = 
QCgs) 的 函数 的 一 种 排列 gi ，gs，…，gso。 把 你 的 表 划 分 成 等 价 类 ， 使 得 函数 fn) 和 


g(n) 在 相同 类 中 当 目 仅 当 f(n) 一 8@(g(n))。 


Ig(ig’n) 2%" WO w n! dgn)! 
(2) n? lgn = Ig(n!) 22 nV len 
InInn  lg'n ne? nsle" Inn 1 

= “Cen e 4 (n+l)! vign 

Ig" (ign) 2778" n z nign il 


b. 给 出 非 负 函数 f(n) 的 一 个 例子 ， 使 得 对 所 有 在 (a) 部 分 中 的 函数 g; (n)，f(n) 既 不 是 


Olgi;(n)) 也 不 是 Q(g;(n))。 
( 渐 近 记号 的 性 质 ) 假设 fC) A g(n) 为 渐 近 正 函 数 。 证 明 或 反 驶 下 面 的 每 个 猜测 。 
a. f(n) =OC g(n)) Ah gln)= 二 OCf(n))。 
b. f(n) + g(n) =@(min( f(n), g(n))). 


c. f(n)=OCg(n)) BH lg (f(r) ) =OUg(g(n)), H PMMA BBR n A le(g(n))>1 


H fM. 
d. f(n) =O g(n) ) FAR 2% S02), 
e f(n) =O f(n))’). 
f. f(n) =OCg(n) A g(r) =A f(n)). 
g. f(r) =O( f(n/2)). 
h. f(n) +0( f(n)) =OCf(n)). 
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3.5 (0 与 Q 的 一 些 变形 ) 某 些 作者 用 一 种 与 我 们 稍微 不 同 的 方式 来 定义 G 假设 我 们 使 用 A 
( 读 作 “Q 无 穷 ”) 来 表示 这 种 可 选 的 定义 。 若 存在 正常 量 <， 使 得 对 无 穷 多 个 整数 mw， 有 SS 
ce(n) 0, WE fn) =ACg(n)). 

a 证 明 : TUTTE RMR SOM gn), 或 者 Mn) =O gD) RH =gh) 
或 者 二 者 均 成 立 ， 然 而 ， 如 果 使 用 Q 来 代替 Q， 那 么 该 命题 并 不 为 真 。 
b. 描述 用 Q 代替 Q 来 刻画 程序 运行 时 间 的 潜在 优点 与 缺点 。 
某 些 作者 也 用 一 种 稍微 不 同 的 方式 来 定义 O; 假设 使 用 O' 来 表示 这 种 可 选 的 定义 。 我 
们 称 f(n) 二 O'(g(n)) 当 上 且 仅 当 | f | =OlCg(™)). 
c 如 果 使 用 O 代 替 O 但 仍然 使 用 Q， 定 理 3. 1 中 的 “ 当 且 仅 当 ”的 每 个 方向 将 出 现 什么 情况 ? 
有 些 作者 定义 G( 读 作 “ 软 0”) 来 意 指 忽 略 对 数 因子 的 O: 
Olg(n)) = (fn) :存在 正常 量 c,k 和 和 no, 使 得 对 所 有 nn 宇 mw, 有 0 二 fn) < g) lg*(n)} 
d 用 一 种 类 似 的 方式 定义 65 和香 。 证 明 与 定理 3. 1 相对 应 的 类 似 结论 。 
3-6 (多 重 函 数 ) 我们 可 以 把 用 于 函数 lg ' 中 的 重复 操作 符 * 应 用 于 实数 集 上 的 任意 单调 递增 函 
数 f(n)。 对 给 定 的 常量 cER， 我 们 定义 多 重 函 数 S! 为 
fi (n) = minfi> 0: f° m) <c} 
该 函数 不 必 在 所 有 情况 下 都 为 良 定义 的 。 换 句 话 说 , 值 f* (n) 是 为 缩小 其 参数 到 <。 或 更 小 
所 需要 函数 了 重复 应 用 的 数目 。 
对 如 下 每 个 函数 f(n) 和 常量 <， 给 出 大 (四 的 一 个 尽量 紧 确 的 界 。 


f 


fe (n) 




















本 章 注 记 

Knuth[ 209 | 追溯 O 记 号 的 起 源 到 1892 年 由 P. Bachmann 编写 的 一 本 数论 教材 。E. Landau 在 
1909 年 发 明 o 记号， 用 于 讨论 素数 的 分 布 。Knuth[213] 提 倡 Q 和 @ 记 号 ， 以 纠正 文献 中 流行 的 
但 技术 上 草率 的 对 上 界 和 下 界 都 使 用 O 记 号 的 常规 。 许 多 人 在 @ 记号 技术 上 更 准确 的 地 方 继续 
使 用 O 记 号 。 关 于 渐 近 记号 的 历史 与 发 展 的 深入 讨论 ， 可 以 参考 Knuth[209，213] 以 及 Brassard 
和 BratleyL55 撰写 的 著作 。 

虽然 各 种 定义 在 大 多 数 公 共 的 情况 下 是 一 致 的 ， 但 是 ， 不 是 所 有 的 作者 都 用 相同 的 方式 来 
定义 渐 近 记号 。 一 些 可 选 的 定义 包括 不 是 渐 近 非 负 的 函数 ， 只 要 它们 的 绝对 值 是 适当 有 界 的 。 

等 式 (3. 20) 应 归功 于 RobbinsL297]j。 基 本 数学 函数 的 其 他 性 质 可 以 在 任何 一 本 好 的 数学 参 
考 书 中 找到 ， 例 如 ，Abramowitz 和 Stegun[L1j] 或 ZwillingerL362]， 也 可 以 在 微 积 分 书 中 找到 ， 例 
如 Apostol[18 ]=% Thomas 等 [334]。Knuth[ 209] 以 及 Graham, Knuth 和 Patashnik[152 |] 包含 大 量 
用 于 计算 机 科学 中 的 离散 数学 的 有 关 材 料 。 
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分 治 策略 


在 2.3.1 节 中 ,我们 介绍 了 归并 排序 ， 它 利用 了 分 治 策略 。 回 忆 一 下 ， 在 分 治 策略 中 ， 我 们 
递归 地 求解 一 个 问题 ， 在 每 层 递 归 中 应 用 如 下 三 个 步 又 : 

分 解 (Divide) 步 又 将 问题 划分 为 一 些 子 问题 ， 子 问题 的 形式 与 原 问题 一 样 ， 只 是 规模 更 小 。 

解决 (Conquer) 步 又 递归 地 求解 出 子 问 题 。 如 果子 问题 的 规模 足够 小 ， 则 停止 递归 ， 直 接 求 解 。 

合并 (Combine) 步 又 将 子 问题 的 解 组 合成 原 问 题 的 解 。 

当 子 问题 足够 大 ， 需 要 递归 求解 时 ， 我 们 称 之 为 递归 情况 (recursive case) 。 当 子 问 题 变 得 足 
够 小 ， 不 再 需要 递归 时 ， 我 们 说 递归 已 经 * 触 底 ”， 进 入 了 基本 情况 (base case) 。 有 时 ， 除 了 与 原 
问题 形式 完全 一 样 的 规模 更 小 的 子 问题 外 ， 还 需要 求解 与 原 问 题 不 完全 一 样 的 子 问题 。 我 们 将 
这 些 子 问题 的 求解 看 做 合并 步骤 的 一 部 分 。 

在 本 章 中 ， 我 们 将 看 到 更 多 基于 分 治 策略 的 算法 。 第 一 个 算法 求解 最 大 子 数组 问题 ， 其 输入 
是 一 个 数值 数组 ， 算 法 需要 确定 具有 最 大 和 的 连续 子 数组 。 然 后 我 们 将 看 到 两 个 求解 nX n FE 
乘法 问题 的 分 治 算法 。 其 中 一 个 的 运行 时 间 为 6(m?)， 并 不 优 于 平凡 算法 。 但 另 一 算法 (Strassen 
算法 ) 的 运行 时 间 为 O(028 )， 渐 近 时 间 复 杂 性 击败 了 平凡 算法 。 

递归 式 

递归 式 与 分 治 方法 是 紧密 相关 的 ， 因 为 使 用 递归 式 可 以 很 自然 地 刻画 分 治 算法 的 运行 时 间 。 
一 个 递归 式 (recurrence) 就 是 一 个 等 式 或 不 等 式 ， 它 通过 更 小 的 输入 上 的 函数 值 来 描述 一 个 函数 。 
例如 ， 在 2. 3. 2 节 中 ， 我们 用 递归 式 描述 了 MERGE-SORT 过 程 的 最 坏 情 况 运行 时 间 T(n): 

©) #n=1 


Tim = 4,1 
5 2T(n/2) + @(n) #n>1 , 





求解 可 得 Tin) =O(n ign). 
递归 式 可 以 有 很 多 形式 。 例 如 ， 一 个 递归 算法 可 能 将 问题 划分 为 规模 不 等 的 子 问 题 ， 如 2/3 
对 1/3 的 划分 。 如 果 分 解 和 合并 步骤 都 是 线性 时 间 的 ， 这 样 的 算法 会 产生 递归 式 T(n) = 
T(2n/3) + T(n/3) + O(n). 
子 问题 的 规模 不 必 是 原 问 题 规模 的 一 个 固定 比例 。 例 如 ， 线 性 查找 的 递归 版 本 (练习 2. 1-3) 
仅 生 成 一 个 子 问题 ， 其 规模 仅 比 原 问 题 的 规模 少 一 个 元 素 。 每 次 递归 调用 将 花费 常量 时 间 再 加 
上 下 一 层 递归 调用 的 时 间 ， 因 此 递归 式 为 TO) =Tm—1) +00). 
本 章 介 绍 三 种 求解 递归 式 的 方法 ， 即 得 出 算法 的 “8” 或 “0” 渐 近 界 的 方法 : 
。 代入 法 我们 猜测 一 个 界 ， 然 后 用 数学 归纳 法 证 明 这 个 界 是 正确 的 。 
。 递归 树 法 ”将 递归 式 转换 为 一 棵 树 ， 其 结 点 表示 不 同 层 次 的 递归 调用 产生 的 代价 。 然 后 
采用 边界 和 技术 来 求解 递归 式 。 
。 主 方法 “可 求解 形 如 下 面 公 式 的 递归 式 的 界 : 
T(n) = aT(n/b) + f(n) (4. 2) 
Hall, >l, META ERRA. ARER ERRA, EA Tix 
个 分 治 算法 : 生成 a 个 子 问题 ， 每 个 子 问题 的 规模 是 原 问题 规模 的 1/6， 分 解 和 合并 步 
又 总 共 花 费时 间 为 fn). 
为 了 使 用 主 方法 ， 必 须要 熟 记 三 种 情况 ， 但 是 一 旦 你 掌握 了 这 种 方法 ， 确 定 很 多 简单 递归 式 
的 渐 近 界 就 变 得 很 容易 。 在 本 章 中 ， 我 们 将 使 用 主 方法 来 确定 最 大 子 数组 问题 和 和 矩阵 相 乘 问题 
的 分 治 算法 的 运行 时 间 ， 本 书 中 其 他 使 用 分 治 策略 的 算法 也 将 用 主 方法 进行 分 析 。 
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我 们 偶尔 会 遇 到 不 是 等 式 而 是 不 等 式 的 递归 式 ， 例 如 TGVD2TC(m/2) 十 @(n)。 因 为 这 样 一 种 递归 
式 仅 描述 了 To) 的 一 个 上 界 ， 因 此 可 以 用 大 O 符 号 而 不 是 符号 来 描述 其 解 。 类 似 地 ， 如 果 不 等 式 
为 TOD) 宇 2T(n/2) 十 @(n)， 则 由 于 递归 式 具 给 出 了 Too) 的 一 个 下 界 ， 我 们 应 使 用 Q 符号 来 描述 其 解 。 

递归 式 技 术 细 节 

在 实际 应 用 中 ， 我 们 会 忽略 递归 式 声 明和 求解 的 一 些 技术 细节 。 例 如 ， 如 果 对 n 个 元 素 调 用 
MERGE-SORT， 当 ?为 奇数 时 ， 两 个 子 问 题 的 规模 分 别 为 Lz/2J 和 [| n/21， 准 确 来 说 都 不 是 n/2， 
因为 当 n 是 奇数 时 ，n/2 不 是 一 个 整数 。 技 术 上 ， 描 述 MERGE-SORT 最 坏 情 况 运行 时 间 的 准确 
的 递归 式 为 
@(1) fal 
TC n/2D+TLn/2)+Om) #n>1 

边界 条 件 是 另 一 类 我 们 通常 忽略 的 细节 。 由 于 对 于 一 个 常量 规模 的 输入 ， 算 法 的 运行 时 间 为 
常量 ， 因 此 对 于 足够 小 的 n， 表 示 算 法 运行 时 间 的 递归 式 一 般 为 T(n) 一 8(1)。 因 此 ， 出 于 方便 ， 
我 们 一 般 忽 略 递 归 式 的 边界 条 件 ， 假 设 对 很 小 的 n，T(7) 为 常量 。 例 如 ， 递 归 式 (4. 1) 常 被 表示 为 

T(n) = 2T(n/2) + O(n) (4. 4) 
去 掉 了 很 小 时 函数 值 的 显 式 描述 。 原 因 在 于 ， 虽 然 改 变 T(1) 的 值 会 改变 递归 式 的 精确 解 ， 但 
改变 幅度 不 会 超过 一 个 常数 因子 ， 因 而 函数 的 增长 阶 不 会 变化 。 

当 声明 、 求 解 递归 式 时 ， 我 们 常常 忽略 向 下 取 整 、 向 上 取 整 及 边界 条 件 。 我 们 先 忽 略 这 些 细 
节 ， 稍 后 再 确定 这 些 细节 对 结果 是 否 有 较 大 影响 。 通 常 影响 不 大 ， 但 你 需要 知道 什么 时 候 会 影响 
不 大 。 这 一 方面 可 以 依靠 经 验 来 判断 ， 另 一 方面 ， 一 些 定理 也 表明 ， 对 于 很 多 刻画 分 治 算法 的 递 
归 式 ， 这 些 细节 不 会 影响 其 渐 近 界 ( 参 见 定理 4. 1) 。 但 是 ， 在 本 章 中 ， 我 们 会 讨论 某 些 细节 ， 展 


ra) = (4. 3) 
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示 递 归 式 求解 方法 的 要 点 。 


4.1 最 大 子 数组 问题 

假定 你 获得 了 投资 挥发 性 化 学 公司 的 机 会 。 与 其 生产 的 化 学 制品 一 样 ， 这 家 公司 的 股票 价 
格 也 是 不 稳定 的 。 你 被 准许 可 以 在 某 个 时 刻 买 进 一 股 该 公司 的 股票 ， 并 在 之 后 某 个 日 期 将 其 卖 
出 ， 买 进 卖 出 都 是 在 当天 交易 结束 后 进行 。 为 了 补偿 这 一 限制 ， 你 可 以 了 解 股票 将 来 的 价格 。 你 
的 目标 是 最 大 化 收益 。 图 4-1 给 出 了 17 天 内 的 股票 价格 。 第 0 天 的 股票 价格 是 每 股 100 美元 ， 你 
可 以 在 此 之 后 任何 时 间 买 进 股 票 。 你 当然 希望 “ 低 价 买 进 ， 高 价 卖 出 "一 一 在 最 低 价 格 时 买 进 股 
票 ， 之 后 在 最 高 价格 时 卖 出 ， 这 样 可 以 最 大 化 收益 。 但 遗憾 的 是 ， 在 一 段 给 定时 期 内 ， 可 能 无 法 
做 到 在 最 低 价 格 时 买 进 股票 ， 然 后 在 最 高 价格 时 卖 出 。 例 如 ， 在 图 4-1 中 ， 最 低 价格 发 生 在 第 7 
天 ， 而 最 高 价格 发 生 在 第 1 天 一 一 最 高 价 在 前 ， 最 低 价 在 后 。 
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图 4-1 17 天 内 ， 每 天 交易 结束 后 ， 挥 发 性 化 学 公司 的 股票 价格 信息 。 横 轴 表 示 日 期 ， 纵 轴 表 
示 股 票 价格 。 表 格 的 最 后 一 行 给 出 了 股票 价格 相对 于 前 一 天 的 变化 
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你 可 能 认为 可 以 在 最 低 价 格 时 买 进 ， 或 在 最 高 价格 时 卖 出 ， 即 可 最 大 化 收益 。 例 如 ， 在 图 4-1 
中 ,我 们 可 以 在 第 7 天 股票 价格 最 低 时 买 人 ， 即 可 最 大 化 收益 。 如 果 这 种 策略 总 是 有 效 的 ， 则 确 
定 最 大 化 收益 是 非常 简单 的 : 寻找 最 高 和 最 低 价 格 ， 然 后 从 最 高 价格 开始 向 左 寻找 之 前 的 最 低 
价格 ， 从 最 低 价格 开始 向 右 寻 找 之 后 的 最 高 价格 ， 取 两 对 价格 中 差 值 最 大 者 。 但 图 4-2 给 出 了 一 
个 简单 的 反例 ， 显 示 有 时 最 大 收益 既 不 是 在 最 低 价格 时 买 进 ， 也 不 是 在 最 高 价格 时 卖 出 。 
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图 4-2 本 例 说 明 最 大 收益 并 不 一 定 从 最 低 价格 开始 或 者 到 最 高 价格 结束 。 与 图 4-1 
一 样 ， 横 轴 表 示 日 期 纵 轴 表示 价格 。 在 本 例 中 ， 最 大 收益 为 每 股 3 美元 ， 
第 2 天 买 进 , 第 3 天 卖 出 可 获得 此 最 大 收益 。 第 2 天 的 价格 7 美元 并 非 最 低 
价格 ， 而 第 3 天 的 价格 10 美元 也 并 非 最 高 价格 


暴力 求解 方法 
我 们 可 以 很 容易 地 设计 出 一 个 暴力 方法 来 求解 本 问题 : 简单 地 尝试 每 对 可 能 的 买 进 和 卖 出 


日 期 组 合 ， 只 要 卖 出 日 期 在 买 人 日 期 之 后 即 可 。n 天 中 共有 (”) 种 日 其 组合。 因为 (”) 一 8@G7)， 


而 处 理 每 对 日 期 所 花费 的 时 间 至 少 也 是 常量 ， 因 此 ， 这 种 方法 的 运行 时 间 为 Q(x )。 有 更 好 的 方 
法 吗 ? 

问题 变换 

为 了 设计 出 一 个 运行 时 间 为 oCw ) 的 算法 ,我 们 将 从 一 个 稍微 不 同 的 角度 来 看 待 输 入 数据 。 
我 们 的 目的 是 寻找 一 段 日 期 ,使 得 从 第 一 天 到 最 后 一 天 的 股票 价格 净 变 值 最 大 。 因 此 ， 我 们 不 再 
从 每 日 价格 的 角度 去 看 待 输入 数据 ， 而 是 考察 每 日 价格 变化 ， 第 i 天 的 价格 变化 定义 为 第 i 天 和 
第 i 一 1 天 的 价格 差 。 图 4-1 中 的 表格 的 最 后 一 行 给 出 了 每 日 价格 变化 。 如 果 将 这 一 行 看 做 一 个 
数组 A， 如 图 4-3 所 示 ， 那 么 问题 就 转化 为 寻找 A 的 和 最 大 的 非 空 连续 子 数 组 。 我 们 称 这 样 的 连 
续 子 数组 为 最 大 子 数组 (maximum subarray) 。 例 如 ， 对 图 4-3 中 的 数组 ，A[1.. 16] 的 最 大 子 数组 
为 AL8. .11]， 其 和 为 43。 因 此 ， 你 可 以 在 第 8 天 (7 天 之 后 ) 买 人 股票 ， 并 在 第 11 天 后 卖 出 ， 获 
得 每 股 收益 43 美元 。 

we 10 dt 12 13: 14 15 16 
TEESE ao EA s [a7 
pe 


图 4-3 股票 价格 变化 值 的 最 大 子 数组 问题 。 本 例 中 ， 子 数组 AL8.. 11] 的 和 
是 43， 是 A 的 所 有 连续 子 数组 中 和 最 大 的 


乍 一 看 ， 这 种 变换 对 问题 求解 并 没有 什么 帮助 。 对 于 一 段 n 天 的 日 期 ,我 们 仍然 需要 检查 
= 
( ，)=@cz) 个 子 数组 。 练 习 4 1-2 要 求证 明 ， 虽 然 计算 一 个 子 数组 之 和 所 需 的 时 间 是 线性 


的 ， 但 当 计 算 所 有 OG ) 个 子 数组 和 时 ， 我 们 可 以 重新 组 织 计算 方 式 ， 利 用 之 前 计算 出 的 子 数 组 
和 来 计算 当前 子 数组 的 和 ， 使 得 每 个 子 数组 和 的 计算 时 间 为 0(1)， 从 而 暴力 求解 方法 所 花费 的 
时 间 仍 为 OG). 

接 下 来 ， 我 们 寻找 最 大 子 数 组 问题 的 更 高 效 的 求解 方法 。 在 此 过 程 中 ， 我 们 通常 说 “一 个 最 
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大 子 数组 ”而 不 是 “最 大 子 数组 ”， 因 为 可 能 有 多 个 子 数组 达到 最 大 和 。 

只 有 当 数 组 中 包含 负数 时 ， 最 大 子 数组 问题 才 有 意义 。 如 果 所 有 数组 元 素 都 是 非 负 的 ， 最 大 
子 数 组 问题 没有 任何 难度 ， 因 为 整个 数组 的 和 肯定 是 最 大 的 。 

使 用 分 治 策略 的 求解 方法 

我 们 来 思考 如 何 用 分 治 技术 来 求解 最 大 子 数 组 问题 。 假 定 我 们 要 寻找 子 数 组 Allow. . high] 
的 最 大 子 数组 。 使 用 分 治 技术 意味 着 我 们 要 将 子 数组 划分 为 两 个 规模 尽量 相等 的 子 数组 。 也 就 
是 说 ， 找 到 子 数 组 的 中 央 位 置 ， 比 如 mid， 然 后 考虑 求解 两 个 子 数组 Allow. .midj 和 ALmid 十 
1.. high], WK 4-4(a) tax, Allow. . highj]| 的 任何 连续 子 数组 ALi. . 站 所 处 的 位 置 必然 是 以 下 三 
种 情况 之 一 : 

。 完全 位 于 子 数组 Allow. . midj 中 ， 因 此 low<i<j<mid。 

。 完全 位 于 子 数 组 A[mid 十 1. .highj] 中 ， 因 此 mid<i<j<high, 

。 跨越 了 中 点 ， 因 此 lowmi<mid<j<high. 

因此 ，ALiow.. highj] 的 一 个 最 大 子 数组 所 处 的 位 置 必然 是 这 三 种 情况 之 一 。 实际 上 ， 
Allow. . high | 的 一 个 最 大 子 数 组 必然 是 完全 位 于 Allow. . midj] 中 、 完 全 位 于 ALmid 十 1.. high] 
中 或 者 跨越 中 点 的 所 有 子 数 组 中 和 最 大 者 。 我们 可 以 递归 地 求解 A low. .midj 和 ALmid 十 
1. .ji8j] 的 最 大 子 数组 ， 因 为 这 两 个 子 问题 仍 是 最 大 子 数 组 问题 ， 只 是 规模 更 小 。 因 此 ， 剩 下 的 
全 部 工作 就 是 寻找 跨越 中 点 的 最 大 子 数 组 ， 然 后 在 三 种 情况 中 选取 和 最 大 者 。 





跨越 中 点 A[ mid+1.j] 
low mid high low i nid ———{—-. high 
a ml a — mi 
完全 位 于 4[low.mid] 中 完全 位 于 4[mid+1.high] 中 ALi.mid] 


(a) (b) 


图 4-4 Allow. . high] 的 子 数 组 的 可 能 位 置 : 完全 位 于 Allow. . mid] 中 ， 完 全 位 于 Almid+ 
1.. highj 中 ,或 者 跨越 中 点 mid。(b)ALlow .highj 的 任何 跨越 中 点 的 子 数 组 由 两 个 子 
数组 ALi. . mid JA ALmid-+1.. j JHAR, HEF lowKi<mid H. mid<j<high 


我 们 可 以 很 容易 地 在 线性 时 间 ( 相 对 于 子 数组 AL low. . high] 的 规模 ) 内 求 出 跨越 中 点 的 最 大 
子 数 组 。 此 问题 并 非 原 问题 规模 更 小 的 实例 ， 因 为 它 加 入 了 限制 一 一 求 出 的 子 数 组 必须 跨越 中 
点 。 如 图 4-4(b) 所 示 ， 任 何 跨越 中 点 的 子 数组 都 由 两 个 子 数组 ALi. . mid fl AL mid+1.. j JHAR, 
其 中 lowNixmid Hmid<j<high. Auk, RIR EREA ALi. . mid] A ALmid+1.. j Ho 
大 子 数组 ， 然 后 将 其 合并 即 可 。 过 程 FIND-MAX-CORSSING-SUBARRAY 接收 数组 A 和 下 标 
low, mid 和 high 为 输入 ， 返 回 一 个 下 标 元 组 划 定 跨越 中 点 的 最 大 子 数组 的 边界 ， 并 返回 最 大 子 
数组 中 值 的 和 。 


FIND-MAX-CROSSING-SUBARRAY(A, low, mid, high) 
l left-sum = 一 co 
sum = 0 
for i = mid downto low 
sum=sum+A[i] 
if sum > le ft-sum 
le ft-sum = sum 
mazx-left =i 


right-sum = —co 


D. Wo < PB wo pw 


sum = 0 


for j = mid + 1 to high 


= 
© 
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H sum=sum + A[j] 


12 if sum > right-sum 
13 right-sum = sum 
14 mazx-right = j 


15 return (maz-left, maz-right, le ft-sum + right-sum) 


此 过 程 的 工作 方式 如 下 所 述 。 第 1 一 7 行 求 出 左 半 部 Allow. . midj 的 最 大 子 数组 。 由 于 此 子 
数组 必须 包含 A[mid]， 第 3 一 7 行 的 for 循环 的 循环 变量 i 是 从 mid 开始 ， 递 减 直至 达到 low, 
因此 ， 它 所 考察 的 每 个 子 数组 都 具有 ALi. . mid HÉR. $ 1 一 2 行 初始 化 变量 Left-sum 和 sum, 
前 者 保存 目前 为 止 找 到 的 最 大 和 ， 后 者 保存 ALi. . midj 中 所 有 值 的 和 。 每 当 第 5 行 找到 一 个 子 数 
组 ALi... midj 的 和 大 于 left-sum 时 ， 我 们 在 第 6 行将 le ft-sum 更 新 为 这 个 子 数组 的 和 ， 并 在 第 7 
行 更 新 变量 mar-left 来 记录 当前 下 标 i。 第 8 一 14 求 右 半 部 Almid+1.. high MRAFRA, wt 
程 与 左 半 部 类 似 。 此 处 ,第 10~14 FTH for 循环 的 循环 变量 7 是 从 mid 十 1 开始 ， 递 增 直至 达到 
high， 因 此 ， 它 所 考察 的 每 个 子 数组 都 具有 ALmid 十 1..7j 的 形式 。 最后， 第 15 行 返回 下 标 
max-left 和 max-right， 划 定 跨越 中 点 的 最 大 子 数组 的 边界 ， 并 返回 子 数 组 ALmazx-left. .mazx- 
right |IN All Left-sum 十 right-sum。 

如 果子 数组 Allow. .high |] 包含 n 个 元 素 ( 即 n= 二 high 一 low 十 1)， 则 调用 FIND-MAX- 
CROSSING-SUBARRAY(A，low，mid，high) 花 费 9(z) 时 间 。 由 于 两 个 for 循环 的 每 次 迭代 花 
费 (1) 时 间 ， 我 们 只 需 统 计 一 共 执 行 了 多 少 次 迭代 。 第 3 一 7 7H for 循环 执行 了 mid—low+1 
次 迭代 ， 第 10 一 14 行 的 for 循环 执行 了 high 一 mid 次 迭代 ， 因 此 总 循环 迭代 次 数 为 

(mid — low + 1) + (high — mid) = high — low + 1 = n 

有 了 一 个 线性 时 间 的 FIND-MAX-CROSSING-SUBARRAY 在 手 ， 我 们 就 可 以 设计 求解 最 大 
子 数组 问题 的 分 治 算法 的 伪 代 码 了 : 

FIND-MAXIMUM-SUBARRAY(A, low, high) 

1 ithigh == low 





2 return (low, high, ALlow]) // base case: only one element 
3 else mid=| (low+high)/2| 
4 (left-low, left-high, left-sum) = 
FIND-MAXIMUM-SUBARRAY(A, low, mid) 
5 (right-low, right-high, right-sum) = 
FIND-MAXIMUM-SUBARRAY(A, mid+1, high) 
6 (cross-low, cross-high, cross-sum) = 
FIND-MAX-CROSSING-SUBARRAY(A, low, mid, high) 
7 if le ft-sum > right-sum and le ft-sum 之 cross-sum 
8 return (le ft-low, left-high, le ft-sum) 
9 elseif rightr-sum > le ft-sum and right-sum > cross-sum 
10 return (right-low, right-high, right-sum) 
ii else return (cross-low, cross-high, cross-sum) 


初始 调用 FIND-MAXIMUM-SUBARRAY(A, 1, A. length) 会 求 出 A[1. .四 的 最 大 子 数组 。 

与 FIND-MAX-CROSSING-SUBARRAY 相似 ， 递 归 过 程 FIND-MAXIMUM-SUBARRAY 返 
回 一 个 下 标 元 组 ， 划 定 了 最 大 子 数组 的 边界 ， 同 时 返回 最 大 子 数组 中 的 值 之 和 。 第 1 行 测试 基本 
情况 ， 即 子 数组 只 有 一 个 元 素 的 情况 。 在 此 情况 下 ， 子 数组 只 有 一 个 子 数组 一 一 它 自身 ， 因 此 第 
2 行 返回 一 个 下 标 元 组 ， 开 始 和 结束 下 标 均 指 向 唯一 的 元 素 ， 并 返回 此 元 素 的 值 作为 最 大 和 。 第 
3 一 11 行 处 理 递 归 情 况 。 第 3 行 划分 子 数 组 ， 计 算 中 点 下 标 mid。 我 们 称 子 数组 Allow. . aid] 为 
左 子 数组 ，A[Lmid 十 1.. highj] 为 右 子 数组 。 因 为 我 们 知道 子 数组 Allow. . highj] 至 少 包含 两 个 元 
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素 ， 则 左 、 右 两 个 子 数组 各 至 少 包含 一 个 元 素 。 第 4 行 和 第 5 行 分 别 递归 地 求解 左右 子 数组 中 的 
最 大 子 数组 。 第 6~11 行 完成 合并 工作 。 第 6 行 求 跨 越 中 点 的 最 大 子 数组 (回忆 一 下 ， 第 6 行 求 
解 的 子 问题 并 非 原 问题 的 规模 更 小 的 实例 ， 因 为 我 们 将 其 看 做 合并 部 分 )。 第 7 行 检测 最 大 和 子 
数组 是 否 在 左 子 数 组 中 ， 若 是 ， 第 8 行 返回 此 子 数组 。 否则， 第 9 行 检测 最 大 和 子 数 组 是 否 在 右 
子 数 组 中 ， 若 是 ， 第 10 行 返回 此 子 数 组 。 如 果 左 、 右 子 数 组 均 不 包含 最 大 子 数 组 ， 则 最 大 子 数 
组 必然 跨越 中 点 ， 第 11 行将 其 返回 。 

分 治 算法 的 分 析 

接 下 来 ， 我 们 建立 一 个 递归 式 来 描述 递归 过 程 FIND-MAXIMUM-SUBARRAY 的 运行 时 间 。 
如 2. 3. 2 节 中 分 析 归 并 排序 那样 ， 对 问题 进行 简化 ， 假 设 原 问 题 的 规模 为 2 的 震 ， 这 样 所 有 子 问 
题 的 规模 均 为 整数 。 我 们 用 T(n) 表 示 FIND-MAXIMUM-SUBARRAY 求解 n 个 元 素 的 最 大 子 数 
组 的 运行 时 间 。 首 先 ， 第 1 行 花费 常量 时 间 。 对 于 "一 1 的 基本 情况 ， 也 很 简单 : 第 2 行 花费 常 
量 时 间 ， 因 此 ， 

TQ) = @0) (4. 5) 

当 n> 时 为 递归 情况 。 第 1 行 和 第 3 行 花费 常量 时 间 。 第 4 行 和 第 5 行 求解 的 子 问题 均 为 
n/2 个 元 素 的 子 数组 (假定 原 问题 规模 为 2 BE. PRUE TD 2 为 整数 )， 因 此 每 个 子 问题 的 求解 时 
间 为 TC(n/2)。 因 为 我 们 需要 求解 两 个 子 问题 一 一 左 子 数组 和 右 子 数组 ， 因 此 第 4 行 和 第 5 行 给 
总 运行 时 间 增 加 了 2T(n/2)。 而 我 们 前 面 已 经 看 到 ,第 6 行 调用 FIND-MAX-CROSSING- 
SUBARRAY 花费 O(n) AT IB]. B 7~11 行 仅 花费 86(1) 时 间 。 因 此 ， 对 于 递归 情况 ， 我 们 有 





T(n) = O +:2T(n/2) + O(n) + OC) = 2T(n/2) + O(n) (4. 6) 
组 合式 (4. 5) 和 式 (4. 6), ， 我 们 得 到 FIND-MAXIMUM-SUBARRAY 运行 时 间 T(n) 的 递归 式 ; 
1 == 
Tos | =e (4.7) 


2T(n/2) + Om) #n>1 
此 递归 式 与 式 (4. 1) 归 并 排序 的 递归 式 一 样 。 我 们 在 4. 5 节 将 看 到 用 主 方 法 求解 此 递归 式 ， 其 解 为 
T(n) 二 Bnlgn)。 你 也 可 以 重新 回顾 一 下 图 2-5 中 的 递归 树 ， 来 理解 为 什么 解 是 TCn) 二 8@(nlgn)。 
因此 ， 我 们 看 到 利用 分 治 方法 得 到 了 一 个 渐 近 复杂 性 优 于 暴力 求解 方法 的 算法 。 通 过 归并 
排序 和 本 节 的 最 大 子 数 组 问题 ， 我 们 开始 对 分 治 方法 的 强大 能 力 有 了 一 些 了 解 。 有 时 ， 对 某 个 问 
题 ， 分 治 方法 能 给 出 渐 近 最 快 的 算法 ， 而 其 他 时 候 ， 我 们 (不 用 分 治 方法 ) 甚 至 能 做 得 更 好 。 如 练 
J 4. 1-5 所 示 ， 最 大 子 数 组 问题 实际 上 存在 一 个 线性 时 间 的 算法 ， 并 未 使 用 分 治 方法 。 


练习 

4.1-1 当 A 的 所 有 元 素 均 为 负数 时 ，FIND-MAXIMUM-SUBARRAY 返回 什么 ? 

4.1-2 对 最 大 子 数组 问题 ， 编 写 暴力 求解 方法 的 伪 代 码 ， 其 运行 时 间 应 该 为 O). 

4.1-3 在 你 的 计算 机 上 实现 最 大 子 数组 问题 的 暴力 算法 和 递归 算法 。 请 指出 多 大 的 问题 规模 n 
是 性 能 交叉 点 一 一 从 此 之 后 递归 算法 将 击败 暴力 算法 ? 然后 ， 修 改 递归 算法 的 基本 情 
况 一 一 当 问 题 规模 小 于 mm 时 采用 暴力 算法 。 修 改 后 ， 性 能 交叉 点 会 改变 吗 ? 

4.1-4 假定 修改 最 大 子 数组 问题 的 定义 ， 人 允许 结果 为 空子 数组 ， 其 和 为 0。 你 应 该 如 何 修改 现 有 
算法 ， 使 它们 能 允许 空子 数组 为 最 终结 果 ? 

4.1-5 使 用 如 下 思想 为 最 大 子 数 组 问题 设计 一 个 非 递归 的 、 线 性 时 间 的 算法 。 从 数组 的 左边 界 
开始 ， 由 左 至 右 处 理 ， 记 录 到 目前 为 止 已 经 处 理 过 的 最 大 子 数组 。 若 已 知 A[1. .站 的 最 
大 子 数 组 ， 基 于 如 下 性 质 将 解 扩 展 为 AL1. .7 十 菇 的 最 大 子 数组 : A[L1..j 十 1 的 最 大 子 数 
ARLE ALL . jj 的 最 大 子 数 组 ， 要 么 是 某 个 子 数 组 A[Li..j 十 1](1<i<j 十 1)。 在 已 知 
ALL. .7] 的 最 大 子 数组 的 情况 下 ， 可 以 在 线性 时 间 内 找 出 形 如 ALi. .7 十 1j 的 最 大 子 数组 。 
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4.2 ”矩阵 乘法 的 Strassen 算法 
如 果 你 以 前 曾经 接触 过 矩阵 ， 可 能 了 解 如 何 进行 矩阵 乘法 (和 否则， 请 阅读 D. 1 4). A= 
(ay) Al B= (6, FE nXn 的 方 阵 ， 则 对 i, 7 一 1，2，…，m， 定 义 乘积 C 一 A。B 中 的 元 素 cv 为: 
an Siaa © bij (4. 8) 


我 们 需要 计算 n 个 矩阵 元 素 ， 每 个 元 素 是 ”个 值 的 和 。 下 面 过程 接 收 nXn EEA AB, RAE 
们 的 乘积 一 一 nXn 和 矩阵 C。 假 设 每 个 矩阵 都 有 一 个 属性 rorws， 给 出 矩阵 的 行 数 。 


SQUARE-MATRIX-MULTIPLY(A, B) 





1 n= A. rows 
2 let C be a new nXn matrix 
3 for: = 1 ton 
4 for j = l ton 
5 c= 0 
6 fork = 1 ton 
7 cy= cyt an * by 

8 return C 

过 程 SQUARE-MATRIX-MULTIPLY 工作 过 程 如 下 。 第 3~7 行 的 for 循环 计算 每 行 中 的 元 
K, ERITH, B 4 一 7 HH for 循环 计算 每 列 中 的 每 个 元 素 cr 。 第 5 行将 cr 初始 化 为 0， 开 始 
公式 (4. 8) 中 的 求 和 计算 ， 第 6 一 7 行 的 for 循环 的 每 步 迭 代 将 公式 (4. 8) 中 的 一 项 累加 进来 。 

由 于 三 重 for 循环 的 每 一 重 都 恰好 执行 n 步 ， 而 第 7 行 每 次 执行 都 花费 常量 时 间 ， 因 此 过 程 
SQUARE-MATRIX-MULTIPLY 花费 @(wi) 时 间 。 

你 最 初 可 能 认为 任何 矩阵 乘法 都 要 花费 OG ) 时 间 ， 因 为 矩阵 乘法 的 自然 定义 就 需要 进行 这 
么 多 次 的 标量 乘法 。 但 这 是 错误 的 : 我 们 有 方法 在 ob) 时 间 内 完成 矩阵 乘法 。 在 本 节 中 ， 我 们 
将 看 到 Strassen 的 著名 nXn 和 矩阵 相 乘 的 递归 算法 。 我 们 将 在 4.5 节 证 明 其 运行 时 间 为 Oa), 
由 于 lg7 在 2.80 和 2.81 之 间 ， 因 此 ，Strassen 算 法 的 运行 时 间 为 OC(w*)， 渐 近 复 杂 性 优 于 简单 
的 SQUARE-MATRIX-MULTIPLY 过 程 。 

一 个 简单 的 分 治 算法 

为 简单 起 见 ， 当 使 用 分 治 算法 计算 矩阵 积 C=A。B 时 ,假定 三 个 矩阵 均 为 naXn 矩阵， 其 中 
ny 2 的 究 。 我 们 做 出 这 个 假设 是 因为 在 每 个 分 解 步 骤 中 ，nXn 和 矩阵 都 被 划分 为 4 个 n/2Xn/2 
KTERE, WREE n 是 2 FE, WM AB n 宇 2 即 可 保证 子 矩 阵 规模 n/2 为 整数 。 

假定 将 A、B AIC 均 分 解 为 4 个 n/2Xn/2 的 子 矩 阵 : 


Am We oe B= m a. g= Fa = (4. 9) 
An Az Ba Bz Ca Cy 

因此 可 以 将 公式 C=A e 也 改写 为 : 

由 2] te ma. ie ed (4. 10) 
Ca Cr An An Ba Bz 
公式 (4. 10) 等 价 于 如 下 4 个 公式 : 

Ci = An ° By Anp + Ba (4.11) 
Cz = An * Bez +A + Bz (4. 12) 
Cy = An ° By Az À Ba (4. 13) 
Cy = An * By +Az ° Bz (4. 14) 


每 个 公式 对 应 两 对 0/2 X n/2 矩阵 的 乘法 及 n/2Xn/2 积 的 加 法 。 我 们 可 以 利用 这 些 公式 设计 一 个 
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直接 的 递归 分 治 算法 : 
SQUARE-MATRIX-MULTIPLY-RECURSIVE(A, B) 
1 n = A. rows 
let C be a new nXn matrix 


if n==1 


else partition A, B, and C as in equations (4. 9) 

Cu =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A n, Bu) 

+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A,,, Ba) 

7 C2 =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A ; Biz) 

+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A,,» Bz) 

8 Cy =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A;,, Bu) 

+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(Ay , Ba) 

9 Cz =SQUARE-MATRIX-MULTIPLY-RECURSIVE(A;, , Bx) 

+ SQUARE-MATRIX-MULTIPLY-RECURSIVE(A,,, Bz) 
10 return C 


这 段 伪 代码 掩盖 了 一 个 微妙 但 重要 的 实现 细节 。 在 第 5 行 应 该 如 何 分 解 矩阵 ”如 果 我 们 真 的 
创建 12 个 新 的 n/2Xn/2 矩阵 ， 将 会 花费 OG’ ) 时 间 复 制 矩阵 元 素 。 实 际 上 ， 我 们 可 以 不 必 复 制 
元 素 就 能 完成 矩阵 分 解 ， 其 中 的 诀窍 是 使 用 下 标 计算 。 我 们 可 以 通过 原 矩 阵 的 一 组 行 下 标 和 一 
组 列 下 标 来 指明 一 个 子 矩 阵 。 最 终 表示 子 和 矩阵 的 方法 与 表示 原 矩 阵 的 方法 略 有 不 同 ， 这 就 是 我 
们 省 略 的 细节 。 这 种 表示 方法 的 好 处 是 ， 通 过 下 标 计 算 指明 子 矩 阵 ， 执 行 第 5 行 只 需 9(1) 的 时 
间 ( 虽 然 我 们 将 看 到 是 否 通过 复制 元 素来 分 解 矩 阵 对 总 渐 近 运行 时 间 并 无 影响 ) 。 

现在 ， 我 们 推导 出 一 个 递归 式 来 刻画 SQUARE-MATRIXMULTIPLY-RECURSIVE 的 运行 
时 间 。 令 T(n) 表 示 用 此 过 程 计 算 两 个 nXn 甜 阵 乘积 的 时 间 。 对 n= 1 的 基本 情况 ， 我 们 只 需 进 
行 一 次 标量 乘法 (第 4 行 )， 因 此 


2 
3 
4 cu=an ° buy 
5 
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Ta) = 013 (4. 15) 
4 n> 1 时 是 递归 情况 。 如 前 文 所 讨论 ， 在 第 5 行使 用 下 标 计算 来 分 解 矩 阵 花 费 9(1) 时 间 。 
第 6~9 行 ， 我 们 共 8 次 递归 调用 SQUARE_MATRIX-MULTIPLY-RECURSIVE。 由 于 每 次 递归 
调用 完成 两 个 n/2Xn/2 矩阵 的 乘法 ， 因 此 花费 时 间 为 T(rm/2)，8 次 递归 调用 总 时 间 为 8T(n/2). 
我 们 还 需要 计算 第 6~9 行 的 4 次 矩阵 加 法 。 每 个 矩阵 包含 n/A 个 元 素 ， 因 此 ， 每 次 矩阵 加 法 花 
HOG? ) 时 间 。 由 于 和 矩阵 加 法 的 次 数 是 常数 ， 第 6 一 9 行进 行 矩阵 加 法 的 总 时 间 为 OG?) (这 里 我 
们 仍然 使 用 下 标 计算 方法 将 矩阵 加 法 的 结果 放置 于 矩阵 C 的 正确 位 置 ， 由 此 带 来 的 额外 开销 为 
每 个 元 素 @(1) 时 间 )。 因 此 ， 递归 情况 的 总 时 间 为 分 解 时 间 、 递 归 调 用 时 间 及 和 矩阵 加 法 时 间 
之 和 : 
T(r) = OC) + 8T(n/2) + OC’) = 8T(n/2) + O(n) (4. 16) 
注意 ， 如 果 通 过 复制 元 素来 实现 矩阵 分 解 ， 额 外 开销 为 B(2 ) ， 递 归 式 不 会 发 生 改 变 ， 只 是 总 运 
行 时 间 将 会 提高 常数 倍 。 
组 合 公 式 (4. 15) 和 公式 (4. 16) ， 我 们 得 到 SQUARE-MATRIX-MULTIPLY-RECURSIVE 运 
行 时 间 的 递归 式 : 
QU) #n=1 
PO TDO #n>1 ioi 
我 们 在 4. 5 节 将 会 看 到 利用 主 方法 求解 递归 式 (4. 17) ， 得 到 的 解 为 To) =0G"). Auk, HAK 
分 治 算法 并 不 优 于 直接 的 SQUARE-MATRIXMULTIPLY 过 程 。 
在 继续 介绍 Strassen 算法 之 前 ， 让 我 们 先 回顾 一 下 公式 (4. 16) 的 几 个 组 成 部 分 都 是 从 何 而 来 
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的 。 用 下 标 计算 方法 分 解 每 个 nXn 和 矩阵 花费 8(1) 时 间 ， 但 有 两 个 矩阵 需要 分 解 。 虽 然 你 可 能 认 
为 分 解 两 个 矩阵 需要 8@(2) 时 间 ， 但 实际 上 @ 符 号 中 已 经 包含 常数 2 在 内 了 。 假 定 每 个 矩阵 包含 
& 个 元 素 ， 则 两 个 矩阵 相 加 需 花费 9(A) 时间。 由 于 每 个 矩阵 包含 n/t 个 元 素 ， 每 次 加 法 花费 
@(m/4) 时 间 。 但 是 同样 ，8 符号 已 经 包含 常数 因子 1/4， 因 此 ， 两 个 n/2Xn/2 矩阵 相 加 花费 
@(m) 时 间 。 我 们 需要 进行 4 次 矩阵 加 法 ， 再 次 ， 我 们 并 不 说 花费 了 B(4mw ) 时 间 ， 而 是 O) 
间 。( 当 然 ， 你 可 能 发 现 我 们 可 以 说 4 次 矩阵 加 法 花费 了 8(472/4) 时 间 ， 而 4n?/4—=n’, {AAD 
的 要 点 是 9 符号 已 经 包含 了 常数 因子 ， 无 论 怎 样 的 常数 因子 均 可 省 略 .) 因 此 ， 我 们 最 终 得 到 两 
项 @(w)， 可 以 将 它们 合 二 为 一 。 

但 是 ， 当 分 析 8 次 递归 调用 时 ， 就 不 能 简单 省 略 常数 因子 8 了 。 换 句 话 说， 我 们 必须 说 递归 
调用 共 花 费 8T(n/2) 时 间 ， 而 不 是 TC(n/2) 时 间 。 至 于 这 是 为 什么 ,你 可 以 回顾 一 下 图 2-5 中 的 递 
归 树 ， 它 对 应 递归 式 (2. 1) (与 递归 式 (4.7) 相 同 )， 其 递归 情况 为 TCn) 二 2T(n/2) 十 BQ(n)。 因 子 2 
决定 了 树 中 每 个 结 点 有 几 个 孩子 结 点 ， 进 而 决定 了 树 的 每 一 层 为 总 和 贡献 了 多 少 项 。 如 果 省 略 
公式 (4. 16) 中 的 因子 8 或 递归 式 (4. 1) 中 的 因子 2， 递归 树 就 变 为 线性 结构 ， 而 不 是 “茂盛 的 ”了 ， 
树 的 每 一 层 只 为 总 和 贡献 了 一 项 。 

因此 ， 切 记 ， 虽 然 渐 近 符 号 包含 了 常数 因子 ， 但 递归 符号 (如 TGxYV2)) 并 不 包含 。 

Strassen 方法 

Strassen 算法 的 核心 思想 是 令 递归 树 稍微 不 那么 茂盛 一 点 儿 ， 即 只 递归 进行 7 次 而 不 是 8 
次 n/2Xn/2 矩阵 的 乘法 。 减 少 一 次 矩阵 乘法 带 来 的 代价 可 能 是 额外 几 次 n/2X n/2 E RE BY HT 
法 ， 但 只 是 常数 次 。 与 前 文 一 样 ， 当 建立 递归 式 刻 画 运 行 时 间 时 ， 常 数 次 矩阵 加 法 被 @ 符号 包 
含 在 内 。 

Strassen 算法 不 是 那么 直观 (这 可 能 是 本 书 陈述 最 不 充分 的 地 方 了 ) 。 它 包含 4 个 步骤 : 

1. RARA. 9) 将 输入 矩阵 A、B 和 输出 矩阵 C 分 解 为 n/2Xn/2 的 子 矩阵 。 采 用 下 标 计算 方 
法 ， 此 步骤 花费 9(1) 时 间 ， 与 SQUARE-MATRIX-MULTIPLY-RECURSIVE 相同 。 

2. 创建 10 dù n/2Xn/2 的 矩阵 Sis Sz ts Sios 每 个 矩阵 保存 步骤 1 中 创建 的 两 个 子 和 矩阵 
的 和 或 差 。 花 费时 间 为 OO). 

3. 用 步骤 1 中 创建 的 子 和 矩阵 和 步骤 2 中 创建 的 10 个 矩阵 ， 递 归 地 计算 7 个 矩阵 积 PL, Pr oo, 
P, ENERE P, 都 是 x/2Xn/2 的 。 

4. 通过 P: 矩阵 的 不 同 组 合 进行 加 减 运算 ， 计 算出 结果 矩阵 C TERE Cu, Cor Crs Cr. 
花费 时 间 OC). 

我 们 稍 后 会 看 到 步骤 2~4 的 细节 ， 但 现在 可 以 建立 Strassen 算法 的 运行 时 间 递 归 式 。 假 定 
一 旦 矩阵 规模 从 n 变 为 1， 就 进行 简单 的 标量 乘法 计算 ， 正 如 SQUARE-MATRIX-MULTIPLY- 
RECURSIVE 的 第 4 行 那样 。 当 之 1 时 ， 步 又 1、2 和 4 共 花 费 9(Cz) 时 间 ， 步 又 3 要 求 进行 7 
次 n/2Xn/2 矩阵 的 乘法 。 因 此 ， 我 们 得 到 如 下 描述 Strassen 算法 运行 时 间 TO) 的 递归 式 : 

©) #n=1 
T(n) = (4. 18) 
7T(n/2) +O’) #n>1 
我 们 用 常数 次 矩阵 乘法 的 代价 减少 了 一 次 矩阵 乘法 。 一 旦 我 们 理解 了 递归 式 及 其 解 ， 就 会 看 到 
这 种 交换 确实 能 带 来 更 低 的 渐 近 运行 时 间 。 利 用 4. 5 节 的 主 方法 ， 可 以 求 出 递归 式 (4. 18) 的 解 为 
T(n) = O(n"), 
我 们 现在 来 介绍 Strassen 算法 的 细节 。 在 步骤 2 中 ， 创 建 如 下 10 个 矩阵: 
Sı = By — By 
S, 一 Ai 十 Ai 
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S = An + Az 
S = Ba — Bu 
S; = Ay +A 
Ss = By + Bz 
S, = Ay — An 
Ss = By + By 
S, = Ay — An 
So = Bu + By 


由 于 必须 进行 10 次 n/2Xn/2 矩阵 的 加 减法 ， 因 此 ， 该 步骤 花费 9(Cz ) 时 间 。 
在 步骤 3 中 ， 递 归 地 计算 7 次 n/2Xn/2 和 矩阵 的 乘法 ， 如 下 所 示 : 
P, = Ay * S$ = An * Be —An ° Bz 
P, = S, + By = Ay * By A * Bz 
P, = S; * By = An * Bu +Ax * Bu 
P, = Az + S, = Az * By — Ax * Bn 
P; = S;* S& = An * By +An ° Bz +Az * By + Az * Bz 
P; = S, + S = Ay * By A * Bz — Az » Ba — Ax * Bz 
P, = Sy * So = An * Ba +An * Be —An * Bu — Aa * Bz 
注意 ， 上 述 公 式 中 ， 只 有 中 间 一 列 的 乘法 是 真正 需要 计算 的 。 右 边 这 列 只 是 用 来 说 明 这 些 乘积 与 
步 又 1 创建 的 原始 子 矩 阵 之 间 的 关系 。 
步 又 4 对 步骤 3 创建 的 P; 矩阵 进行 加 减法 运算 , 计算 出 C 的 4 个 mn/2Xn/2 HFK, 
首先 ， 


[ 80] Cn = P; + P, — P + P: 





利用 每 个 P; 的 展开 式 展开 等 式 右 部 ， 每 个 P; 的 展开 式 位 于 单独 一 行 ， 并 将 可 以 消去 的 项 垂直 对 
齐 ， 我 们 可 以 看 到 Cu 等 于 
An * By +An * Bz 十 A2。Bi +Az * Bz 
— Az * By +A * By 
— An * By —Ay + By 
— Ax * Bz — Az * Ba +A * Bz +A, * By 


An Ns Bn + Aj = Bu 
与 公式 (4. 11) 相 同 。 类 似 地 ， 令 





Ca = P, +P, 
则 CFF 
Ay * By — An ° By 
+An ° Bz +Ay + By 


An * By - +A, * By 
与 公式 (4. 12) 相 同 。 令 
Ca = P; +P, 
使 Cn 等 于 
An * By + Az ° By 
— Az * By +Az * Ba 


An © Bu +A s Bz 








与 公式 (4. 13) 相 同 。 最 后 ， 令 
Cr = P;+P,—P;—P, 
WW CEF 
Aun s Bu +An e Bz + Az bd Bu + Az 3 By 
一 An e Bz 十 Al e By 
— Ax * Bu — Ay e Bu 
=A ad By —An = By +An 2 Bu + An Ly By 
Az e By +An s By 


与 公式 (4. 14) 相 同 。 在 步骤 4 中 ， 共 进行 了 8 次 n/2Xn/2 和 矩阵 的 加 减法 ， 因 此 花费 Bx) 时间。 

因此 , 我 们 看 到 由 4 个 步骤 构成 的 Strassen 算法 ， 确 实生 成 了 正确 的 矩阵 乘积 ， 递 归 
式 (4. 18) 刻 画 了 它 的 运行 时 间 。 由 于 我 们 将 在 4.5 节 看 到 此 递归 式 的 解 为 了 (z) 王 8(Cze )， 
Strassen 方法 的 渐 近 复杂 性 低 于 直接 的 SQUARE-MATRIXMULTIPLY 过 程 。 本 章 注 记 会 讨论 
Strassen 算法 实际 应 用 方面 的 一 些 问 题 。 


练习 

注意 : 虽然 练习 4. 2-3、4. 2-4 和 4. 2-5 是 关于 Strassen 算法 的 变形 的 ， 但 你 应 该 先 阅读 4.5 
节 ， 然 后 再 尝试 求解 这 几 个 问题 。 
4.2-1 使 用 Strassen 算法 计算 如 下 和 矩阵 乘法 : 


给 出 计算 过 程 。 

4.2-2 为 Strassen 算法 编写 伪 代 码 。 

4.2-3 ”如 何 修改 Strassen 算法 ,使 之 适应 和 矩阵 规模 不 是 2 OAT? 证 明 : 算法 的 运行 时 
EA On), 

4.2-4 如 果 可 以 用 下 次 乘法 操作 (假定 乘法 的 交换 律 不 成 立 ) 完 成 两 个 3X3 和 矩阵 相 乘 ， 那 么 你 可 
以 在 on TA] ASE ae nX n 矩阵 相 乘 ， 满 足 这 一 条 件 的 最 大 的 & 是 多 少 ? 此 算法 的 运行 
时 间 是 怎样 的 ? 

4.2-5 V. Pan 发 现 一 种 方法 ， 可 以 用 132 464 次 乘法 操作 完成 68X68 的 矩阵 相 乘 ， 发 现 另 一 种 
方法 ， 可 以 用 143 640 次 乘法 操作 完成 70X70 的 矩阵 相 乘 ， 还 发 现 一 种 方法 ， 可 以 用 
155 424 次 乘法 操作 完成 72X72 的 矩阵 相 乘 。 当 用 于 和 矩阵 相 乘 的 分 治 算法 时 ， 上 述 哪 种 方 
法 会 得 到 最 佳 的 渐 近 运行 时 间 ? 与 Strassen 算法 相 比 ， 性 能 如 何 ? 

4.2-6 用 Strassen 算法 作为 子 进程 来 进行 一 个 kn X n 矩阵 和 一 个 2 X hn 抢 阵 相 乘 ， 最 快 需要 花 
费 多 长 时 间 ? 对 两 个 输入 矩阵 规模 互 换 的 情况 ， 回 答 相 同 的 问题 。 

4.2-7 ”设计 算法 ， 仅 使 用 三 次 实数 乘法 即 可 完成 复数 a 十 bi 和 c 十 di 相 乘 。 算 法 需 接收 a、6b、c 
Ald 为 输入 ， 分 别 生 成 实 部 ac 一 bd 和 虚 部 ad 十 bc。 


4.3 用 代入 法 求解 递归 式 


我 们 已 经 看 到 如 何 用 递归 式 刻画 分 治 算法 的 运行 时 间 ， 下 面 将 学 习 如 何 求解 递归 式 。 我 们 
从 “代入 ?法 开始 。 
代入 法 求解 递归 式 分 为 两 步 : 
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1. 猜测 解 的 形式 。 
2. 用 数学 归纳 法 求 出 解 中 的 常数 ， 并 证 明 解 是 正确 的 。 
当 将 归纳 假设 应 用 于 较 小 的 值 时 ， 我 们 将 猜测 的 解 代入 函数 ， 因 此 得 名 “代入 法 ”。 这 种 方法 很 强 
大 ， 但 我 们 必须 能 猜 出 解 的 形式 ， 以 便 将 其 代入 。 
我 们 可 以 用 代入 法 为 递归 式 建立 上 界 或 下 界 。 例 如 ， 我 们 确定 下 面 递归 式 的 上 界 : 
T(n) = 2T(Ln/2D)+n (4. 19) 
该 递归 式 与 递归 式 (4. 3) 和 (4.4) 相 似 。 我 们 猜测 其 解 为 (nm) 二 Onlgn)。 代 入 法 要 求证 明 ， 恰当 
选择 常数 C0, WA T(n) 二 cn lgn。 首 先 假定 此 上 界 对 所 有 正 数 mn 都 成 立 ， 特 别 是 对 于 m= 
Ln/2J， 有 TC(Ln/2D<c Ln/2jlg(Ln/2D。 将 其 代入 递归 式 ， 得 到 
T(n) < 2c |n/2J Ig(Ln/2))) +n< cn lg(n/2) +n 
=cnlgn—cnlg2+n 





= cnlgn— cn +n < cn lgn 
其 中 ， 只 要 c 宇 1， 最 后 一 步 都 会 成 立 。 

数学 归纳 法 要 求 我 们 证 明 解 在 边界 条 件 下 也 成 立 。 为 证 明 这 一 点 ， 我 们 通常 证 明 对 于 归纳 
证 明 ， 边 界 条 件 适合 作为 基本 情况 。 对 递归 式 (4. 19) ， 我 们 必须 证 明 ， 通 过 选择 足够 大 的 常数 
c， 可 以 使 得 上 界 Tn) <cn lgn 对 边界 条 件 也 成 立 。 这 一 要 求 有 时 可 能 引起 问题 。 例 如 ， 为 了 方 
便 讨 论 ， 假 设 TO) =1 是 递归 式 唯一 的 边界 条 件 。 对 n 二 1， 边 界 条 件 T(n) 二 cn lgn 推导 出 TO 
cllgl=0， 与 TG) 王 1 矛盾 。 因 此 ， 我 们 的 归纳 证 明 的 基本 情况 不 成 立 。 

我 们 稍微 多 付出 一 点 努力 ， 就 可 以 克服 这 个 障碍 ， 对 特定 的 边界 条 件 证 明 归 纳 假设 成 立 。 例 
如 ， 在 递归 式 (4. 19) 中 ， 渐 近 符 号 仅 要 求 我 们 对 nn 证明 TC(n) 过 cn len, HP m 是 我 们 可 以 自 
己 选择 的 常数 ， 我 们 可 以 充分 利用 这 一 点 。 我 们 保留 麻烦 的 边界 条 件 T(1) 王 1， 但 将 其 从 归纳 证 
明 中 移 除 。 为 了 做 到 这 一 点 ， 首 先 观察 到 对 于 xz 之 3， 递 归 式 并 不 直接 依赖 T(1)。 因 此 ， 将 归纳 
证 明 中 的 基本 情况 T(1) 替 换 为 T(2) 和 T(3)， 并 今 mm 三 2。 注 意 ， 我 们 将 递归 式 的 基本 情况 = 
1) 和 归纳 证 明 的 基本 情况 (一 2 和 zx 一 3) 区 分 开 来 了 。 由 了 (1) 王 1， 从 递归 式 推导 出 T(2) 二 4 和 
T(3) 王 5。 现 在 可 以 完成 归纳 证 明 : 对 某 个 常数 c 宇 1，T(n) 二 cn lgn， 方法 是 选择 足够 大 的 c<， 满 
Æ T(2)<c2 lg2 Al T(3)<c31g3, BL, 任何 c 宇 2 都 能 保证 4 二 2 Al n=3 的 基本 情况 成 立 。 对 
于 我 们 所 要 讨论 的 大 多 数 弟 归 式 来 说 ， 扩 展 边界 条 件 使 归纳 假设 对 较 小 的 成立， 是 一 种 简单 直 
接 的 方法 ， 我 们 将 不 再 总 是 显 式 说 明 这 方面 的 细节 。 

做 出 好 的 猜测 

遗憾 的 是 ， 并 不 存在 通用 的 方法 来 猜测 递归 式 的 正确 解 。 猜 测 解 要 靠 经 验 ， 偶 尔 还 需要 创造 
力 。 幸 和 运 的 是 ， 你 可 以 使 用 一 些 启发 式 方法 帮助 你 成 为 一 个 好 的 猜测 者 。 你 也 可 以 使 用 递归 树 来 
做 出 好 的 猜测 ， 我 们 将 在 4. 4 节 看 到 这 一 方法 。 

如 果 要 求解 的 递归 式 与 你 曾 见 过 的 递归 式 相似 ， 那 么 猜测 一 个 类 似 的 解 是 合理 的 。 例 如 ， 考 
虑 如 下 递归 式 : 

Tn) = 2T(Ln/2J+17) +n 
看 起 来 很 困难 ， 因 为 在 等 式 右边 工 的 参数 中 增加 了 ”17”。 但 直观 上 ， 增 加 的 这 一 项 不 会 显著 影 
响 递 归 式 的 解 。 当 nn 较 大 时 ，[Ln/2j 和 Ln/2J4 十 17 的 差距 不 大 : 都 是 接近 的 一 半 。 因 此 ， 我 们 猜 
WM Tm) 二 Onlgn)， 你 可 以 使 用 代入 法 验证 这 个 猜测 是 正确 的 ( 见 练习 4. 3-6)。 

另 一 种 做 出 好 的 猜测 的 方法 是 先 证 明 递 归 式 较 松 的 上 界 和 下 界 ， 然 后 缩小 不 确定 的 范围 。 
例如 ， 对 递归 式 (4. 19) ， 我 们 可 以 从 下 界 T(n) =O 开始 ， 因 为 递归 式 中 包含 2 这 一 项 ， 还 可 
以 证 明 一 个 初始 上 界 T(n) 二 Ow)。 然 后 ， 我 们 可 以 逐渐 降低 上 界 ， 提 升 下 界 ， 直 至 收敛 到 渐 近 
紧 确 界 T(n)=O(nlgn). 
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微妙 的 细节 

有 时 你 可 能 正确 猜 出 了 递归 式 解 的 渐 近 界 ， 但 莫名 其 妙 地 在 归纳 证 明 时 失败 了 。 问 题 常 常 
出 在 归纳 假设 不 够 强 ， 无 法 证 出 准确 的 界 。 当 遇 到 这 种 障碍 时 ， 如 果 修 改 猜测 ， 将 它 减 去 一 个 低 
阶 的 项 ， 数 学 证 明 常 常 能 顺利 进行 。 

考虑 如 下 递归 式 : 

T = T(Ln/2)) + T([n/2) +1 
RTM Tn) 王 O(z) ， 并 尝试 证 明 对 某 个 恰当 选 出 的 常数 c，T(za) 委 cz 成 立 。 将 我 们 的 猜 
测 代 入 递归 式 ， 得 到 
Tin) <cln/2j+c[n/2|+1=cn+1 
这 并 不 意味 着 对 任意 c BA TCD) 和 cz。 我 们 可 能 忍 不 住 尝试 猜测 一 个 更 大 的 界 ， 比 如 TOSO). 
虽然 从 这 个 猜测 也 能 推出 结果 ,但 原来 的 猜测 T(n) 王 O(Cz) 是 正确 的 。 然 而 为 了 证 明 它 是 正确 
的 ， 我 们 必须 做 出 更 强 的 归纳 假设 。 

直觉 上 ， 我 们 的 猜测 是 接近 正确 的 : 只 差 一 个 常数 1， 一 个 低 阶 项 。 但 是 ， 除 非 我 们 证 明 与 
归纳 假设 严格 一 致 的 形式 ， 否 则 数学 归纳 法 还 是 会 失败 。 克 服 这 个 困难 的 方法 是 从 先前 的 猜测 
中 减 去 一 个 低 阶 项 。 新 的 猜测 为 T(n) 志 cn 一 4，4 是 大 于 等 于 0 的 一 个 常数 。 我 们 现在 有 

T(n) < (ce |n/2]—d) + Cc [n/2]—d) +1 
=éen—2d+lsen—d 
只 要 d 宇 1， 此 式 就 成 立 。 与 以 前 一 样 ， 我 们 必须 选择 足够 大 的 < 来 处 理 边界 条 件 。 

你 可 能 发 现 减 去 一 个 低 阶 项 的 想法 与 直觉 是 相悖 的 。 毕 竟 ， 如 果 证 明 上 界 失 败 了 ， 就 应 该 将 
猜测 增加 而 不 是 减少 ， 更 松 的 界 难道 不 是 更 容易 证 明 吗 ? 不 一 定 ! 当 利 用 归纳 法 证 明 一 个 上 界 
时 ， 实 际 上 证 明 一 个 更 弱 的 上 界 可 能 会 更 困难 一 些 ， 因 为 为 了 证 明 一 个 更 弱 的 上 界 ， 我 们 在 归纳 
证 明 中 也 必须 使 用 同样 更 弱 的 界 。 在 当前 的 例子 中 ， 当 递归 式 包含 超过 一 个 递归 项 时 ， 将 猜测 的 
界 减 去 一 个 低 阶 项 意味 着 每 次 对 每 个 递归 项 都 减 去 一 个 低 阶 项 。 在 上 例 中 ， 我 们 减 去 常数 4 两 
次 ,一 次 是 对 T(Ln/2D 项 ， 另 一 次 是 对 T([ 2 项 。 我 们 以 不 等 式 Tin)<cn—2d+1 结束 ， 可 
以 很 容易 地 找到 一 个 4 值 ， 使 得 cn 一 24 十 1 小 于 等 于 cn 一 d。 

避免 陷阱 

使 用 渐 近 符号 很 容易 出 错 。 例 如 ， 在 递归 式 (4. 19) 中 ,我 们 可 能 错误 地 “证 明 ”T(n) 二 O(n): 
猜测 T(Go) 委 cz" ， 并 论证 

Tin) < 2c |n/2)) +n < cn +n = Oln) 二 错误 11 
因为 c 是 常数 。 错 误 在 于 我 们 并 未 证 出 与 归纳 假设 严格 一 致 的 形式 ， 即 T(n) 过 cn。 因 此 ， 当 要 
证 明 T(n) 二 O(n) 时 ， 需 要 显 式 地 证 出 T(n)<cn. 

改变 变量 

有 时 ， 一 个 小 的 代数 运算 可 以 将 一 个 未 知 的 递归 式 变 成 你 所 熟悉 的 形式 。 例 如 ， 考 虑 如 下 递 
JAK: 

T(r) = 2T vn) 十 lgz 
它 看 起 来 很 困难 。 但 我 们 可 以 通过 改变 变量 来 简化 它 。 为 方便 起 见 ， 我 们 不 必 担 心 值 的 舍 人 误差 
问题 ， 只 考虑 Vn 是 整数 的 情形 即 可 。 令 m= lgn， 得 到 

T(2”) = 2T(2”2) +m 
现在 重 命名 SMST"), Ba HBIAX: 

Sm) = 2S(m/2) +m 
它 与 递归 式 (4. 19) 非 常 像 。 这 个 新 的 递归 式 确实 与 (4 19) 具 有 相同 的 解 : SCm) 二 OCmlgm)。 再 
从 Slm) 转 换 回 TC(n)， 我 们 得 到 Tn) =T”) =SCm) =OCn lgm) = OU gn lg lgn)。 
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练习 


4.3-1 WEH: Ta) =T(n—1) +n WHA OC’). 

4.3-2 证明: Tin) =TC[n/2)+1 KWEA Ogn). 

4.33 ”我们 看 到 To) =2TCn/2)) +n 的 解 为 Olnlgn)。 证 明 Qnlgn) 也 是 这 个 递归 式 的 解 。 从 

而 得 出 结论 : 解 为 @(nlgn)。 

4.3-4 证明: 通过 做 出 不 同 的 归纳 假设 ， 我 们 不 必 调 整 归纳 证 明 中 的 边界 条 件 ， 即 可 克服 递归 
RU. 19) PRA TO) = 1 带 来 的 困难 。 

4.3-5 证 明 : 归并 排序 的 “严格 ”递归 式 (4. 3) 的 解 为 @(nlgn)。 

4.3-6 证明: T(n)=2T(Ln/2J+17) +n 的 解 为 O(nlgn)。 

4.3-7 使 用 4.5 节 中 的 主 方法 ， 可 以 证 明 T(n) 二 4T(n/3) 十 n 的 解 为 T(n) 二 BCn*s*)。 说 明基 
于 假设 T(m) 志 cn*** 的 代入 法 不 能 证 明 这 一 结论 。 然 后 说 明 如 何 通过 减 去 一 个 低 阶 项 完 
成 代入 法 证 明 。 

4.3-8 ”使 用 4.5 节 中 的 主 方法 ， 可 以 证 明 TT(n)= 二 4T(n/2) 十 n BRR Tn) = Or’). PHAZE FIR 
BE T(n)<cn? 的 代入 法 不 能 证 明 这 一 结论 。 然 后 说 明 如 何 通过 减 去 一 个 低 阶 项 完成 代入 

[87] 法 证 明 。 

4.3-9 利用 改变 变量 的 方法 求解 递归 式 To) = 二 3TWn) 十 logn。 你 的 解 应 该 是 渐 近 紧 确 的 。 不 必 

担心 数值 是 否 是 整数 。 


4.4 用 递归 树 方法 求解 递归 式 

虽然 你 可 以 用 代入 法 简洁 地 证 明 一 个 解 确 是 递归 式 的 正确 解 ， 但 想 出 一 个 好 的 猜测 可 能 会 
很 困难 。 画 出 递归 树 ， 如 我 们 在 2. 3. 2 节 分 析 归 并 排序 的 递归 式 时 所 做 的 那样 ， 是 设计 好 的 猜测 
的 一 种 简单 而 直接 的 方法 。 在 递归 树 中 ， 每 个 结 点 表示 一 个 单一 子 问 题 的 代价 ， 子 问题 对 应 某 次 
递归 函数 调用 。 我 们 将 树 中 每 层 中 的 代价 求 和 ， 得 到 每 层 代 价 ， 然 后 将 所 有 层 的 代价 求 和 ， 得 到 
所 有 层次 的 递归 调用 的 总 代价 。 

递归 树 最 适合 用 来 生成 好 的 猜测 ， 然 后 即 可 用 代入 法 来 验证 猜测 是 否 正确 。 当 使 用 递归 
树 来 生成 好 的 猜测 时 ， 常 常 需要 忍受 一 点 儿 “ 不 精确 ”， 因 为 稍 后 才 会 验证 猜测 是 否 正 确 。 但 
如 果 在 画 递 归 树 和 代价 求 和 时 非常 仔细 ， 就 可 以 用 递归 树 直 接 证 明 解 是 否 正确 。 在 本 节 中 ， 
我 们 将 使 用 递归 树 生 成 好 的 猜测 ， 并 且 在 4.6 节 中 ， 我们 将 使 用 递归 树 直 接 证 明 主 方法 的 基 
础 定理 。 

我 们 以 递归 式 T(n) 二 3T(Ln/4]) 十 BCm) 为 例 来 看 一 下 如 何 用 递归 树 生成 一 个 好 的 猜测 。 首 
先 关 注 如何 寻 找 解 的 一 个 上 界 。 因 为 我 们 知道 伟人 对 求解 递归 式 通常 没有 影响 (此 处 即 是 我 们 需 
要 忍受 不 精确 的 一 个 例子 )， 因 此 可 以 为 递归 式 T(n) 二 3T(Ln/4D) 十 cn? 创建 一 棵 递归 树 ， 其 中 已 
将 渐 近 符号 改写 为 隐 含 的 常数 系数 c 二 0。 

图 4-5 显示 了 如 何 从 递归 式 Tin) =3T(Ln/4)) +n? 构造 出 递归 树 。 为 方便 起 见 ， 我 们 假定 n 
是 4 的 寡 ( 忍 受 不 精确 的 另 一 个 例子 ) ， 这 样 所 有 子 问 题 的 规模 均 为 正 数 。 图 4-5(a) 显 示 了 T), 
它 在 图 4-5(b) 中 扩展 为 一 棵 等 价 的 递归 树 。 根 结 点 中 的 cn? 项 表示 递归 调用 顶层 的 代价 ， 根 的 三 
棵 子 树 表 示 规 模 为 n/4 的 子 问题 所 产生 的 代价 。 图 4-50 显示 了 进一步 构造 递归 树 的 过 程 ， 将 
图 4-5(b) 中 代价 为 T(n/4) 的 结 点 逐一 扩展 。 我 们 继续 扩展 树 中 每 个 结 点 ， 根 据 递 归 式 确定 的 关 

系 将 其 分 解 为 几 个 组 成 部 分 (孩子 结 点 )。 
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图 4-5 为 递归 式 TGoo) 王 3Td7zV4) 十 cz” 构造 递归 树 。(a) 显 示 了 T(z)， 在 (b) 一 (d) 中 逐步 扩展 为 
递归 树 的 形式 。(d) 中 显示 了 扩展 完毕 的 递归 树 ， 其 高 度 为 log4z( 有 log4n 十 1 层 ) 


因为 子 问题 的 规模 每 一 步 减少 为 上 一 步 的 1/4， 所 以 最 终 必然 会 达到 边界 条 件 。 那 么 根 结 点 与 
距离 为 1 的 子 问题 距离 多 远 呢 ? 深度 为 i 的 结 点 对 应 规模 为 n/A 的 子 问题 。 因 此 ， 当 4 三 1， 或 
等 价 地 i 二 logsn 时 ， 子 问题 规模 变 为 1。 因 此 ， 弟 归 树 有 logsn 十 1 ARREKO, 1, 2, ++, logn). 

接 下 来 确定 树 的 每 一 层 的 代价 。 每 层 的 结 点 数 都 是 上 一 层 的 3 倍 ， 因 此 深度 为 i 的 结 点 数 为 
3 因为 每 一 层 子 问题 规模 都 是 上 一 层 的 1/4， 所 以 对 ;三 0，1，2，…， log,n—1, 深度 为 i 的 每 
个 结 点 的 代价 为 eC(n/4')?”。 做 一 下 乘法 可 得 ， 对 i 二 0，1，2，…，log,n 一 1， 深 度 为 i 的 所 有 结 
点 的 总 代价 为 3c Cn/4)? 二 (3/16)'cn?。 树 的 最 底层 深度 为 log,n， 有 3" "= ni hee, ENG 
点 的 代价 为 T(1)， 总 代价 为 n TA), I On), AAR TORRE. 

现在 我 们 求 所 有 层次 的 代价 之 和 ， 确 定 整 棵 树 的 代价 : 


2 1 4ml 
T) = en + Sent 十 (Š) cn? 十 … 十 (5) F cn? + @(n'**) 


logy m= 
3 


= 2 (3) en? +o) 
=, (3/16) "—1 
(3/16) —1 





cn? +00) (根据 公式 (A. 5)) 
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最 后 的 这 个 公式 看 起 来 有 些 凌 乱 ， 但 我 们 可 以 再 次 充分 利用 一 定 程度 的 不 精确 ， 并 利用 无 限 弟 
减 几何 级 数 作为 上 界 。 回 退 一 步 ， 应 用 公式 (A. 6)， 我 们 得 到 


log, ml 


Tin) = (XJ en? + oct) < D(H) en? + On) 


i=0 


Tn aie” + O(n?) 


= Éen’ +O?) 


= 0O) 
RE, ARRE Tn) =3T(1Ln/4) HO), 我们 推导 出 了 一 个 猜测 TSO), FEA 


BP, cn? 的 系数 形成 了 一 个 递减 几何 级 数 ， 利 用 公式 (A.6)， 得 出 这 些 系数 的 和 的 一 个 上 





界 常数 16/13。 由 于 根 结 点 对 总 代价 的 贡献 为 cn*， 所 以 根 结 点 的 代价 占 总 代价 的 一 个 常数 
比例 。 换 名 话说 ， 根 结 点 的 代价 支配 了 整 棵 树 的 总 代价 。 
实际 上 ， 如 果 Ow ) 确 实 是 递归 式 的 上 界 ( 稍 后 就 会 证 明 这 一 点 )， 那 么 它 必 然 是 一 个 紧 确 
界 。 为 什么 ? 因为 第 一 次 递归 调用 的 代价 为 O), RE QC ) 必 然 是 递归 式 的 一 个 下 界 。 
现在 用 代入 法 验证 猜测 是 正确 的 ， 即 T(n) 二 OC ) 是 递归 式 Tin) =3T(Ln/4) + OG?) y — 
个 上 界 。 我 们 希望 证 明 T(n) 二 dn? 对 某 个 常数 d>0 成 立 。 与 之 前 一 样 ， 使 用 常数 OO, RNA 
Tin) < 3T(Ln/4) +cn? < 3d |n/4)? + cn? < 3d(n/4)? + cn? 


= 3 n? 十 ca < dn? 


16 
4 d>(16/13)cht, 最 后 一 步 推导 成 立 。 nn je a 
在 另 一 个 更 复杂 的 例子 中 ， 图 4-6 显示 了 ER 
如 下 递归 式 的 递归 树 : e(2) aP) venns fees a 
Tn) = T(n/3) + T(2n/3) +O™) 
(为 简单 起 见 ， 再 次 忽略 了 伟人 问题 .) 与 之 前 been /  \ a 





一 样 ， 令 < 表 示 OC TP HBA. XP c(§) (P) (和 和 
显示 出 的 递归 树 的 每 个 层次 ， 当 求 代 价 之 和 ee a oe 





时 ， 我 们 发 现 每 层 的 代价 均 为 cz。 从 根 到 叶 的 

最 长 简单 路 径 是 n> (2/3) n> (2/3)? n> 1, 

由 于 当 k=log,,.n 时 ，(2/3) 知 二 1， 因 此 树 高 Bit: O(n log n) 
FY 108 5270 图 4-6 递归 式 Tn) =T(n/3)+T(2n/3) +en 


直觉 上 ， 我 们 期 望 递归 式 的 解 最 多 是 层 数 乘 以 每 层 的 代价 ， 即 On log,.n)=O™mlgn). 但 
图 4-6 仅 显 示 了 递归 树 的 顶部 几 层 ， 并 不 是 递归 树 中 每 个 层次 的 代价 都 是 cx。 考虑 叶 结 点 的 代 
价 。 如 果 递 归 树 是 一 棵 高 度 为 logn 的 完全 二 叉 树 ， 则 叶 结 点 的 数量 应 为 2 "一 ?ae 。 由 于 
每 个 叶 结 点 的 代价 为 常数 ， 因 此 所 有 叶 结 点 的 总 代价 为 O), HH log, .n 是 严格 大 于 1 的 
常数 ， 因 此 叶 结 点 代价 总 和 为 QCzlgz) 。 但 递归 树 并 不 是 完全 二 叉 树 ， 因 此 叶 结 点 数量 小 于 
ns? 。 而 且 ， 当 从 根 结 点 逐步 向 下 走时 ， 越 来 越 多 的 内 结 点 是 缺失 的 。 因 此 ， 递 归 树 中 靠 下 的 
层次 对 总 代价 的 贡献 小 于 cn。 我 们 可 以 计算 出 所 有 代价 的 准确 值 ， 但 记 住 我 们 只 是 希望 得 到 一 
个 猜测 ， 用 于 代入 法 。 我 们 还 是 忍受 一 些 不 精确 ， 尝 试 证 明 猜 测 的 上 界 O(n ign) IEA 

我 们 确实 可 以 用 代入 法 验证 O(nlg) 是 递归 式 解 的 一 个 上 界 。 我 们 来 证 明 T(n) 过 dn lgn， 其 
中 4 是 一 个 适当 的 正常 数 。 我 们 有 

TO < T(n/3) + T(2n/3) + en 
< d(n/3) lg (n/3) + d(2n/3) lg (2n/3) +n 
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= (d(n/3) lgn— d(n/3) lg3) + (d(2n/3) lgn— ad(2n/3) lg (3/2)) 十 cm 
= dn |lgn— d((n/3) lg3 + (2n/3) lg (3/2)) + cn 
= dn lgn— d((n/3) lg3 + (2n/3) lg3— (2n/3) lg2) 十 cm 
= dn lgn—dn(lg3 — 2/3) + cn 
<dnlgn 
只 要 de/dg3 一 (2/3))。 因 此 ， 无 需 对 递归 树 的 代价 进行 更 精确 的 计算 。 
练习 
4.4-1 对 递归 式 Tin) 三 3TCLzx2) 十 2， 利 用 递归 树 确 定 一 个 好 的 渐 近 上 界 ， 用 代 人 法 进行 
验证 。 
4.4-2 ”对 递归 式 TCD) 三 TOxV2) 十 巡 ， 利 用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代 人 法 进行 验证 。 


4.4-3 对 递归 式 Ta) =4T(n/2+2)+n, 利用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 
验证 。 

4. 4-4 对 递归 式 T(n) 二 Tl(n 一 1) 十 1， 利 用 递归 树 确 定 一 个 好 的 渐 近 上 界 ， 用 代入 法 进行 验证 。 

4.4-5 ”对 递归 式 T(n) 二 Tn 一 1) 十 T(n/2) 十 wn， 利用 递归 树 确定 一 个 好 的 渐 近 上 界 ， 用 代入 法 

4.4-6 ”对 递归 式 T(n) 二 TC(n/3) 十 T(2n/3) 十 cn， 利用 递归 树 论证 其 解 为 Algan), HP cH 
常数 。 

4.4-7 ”对 递归 式 T(n) 二 4T(Ln/2]) 十 cn(c 为 常数 )， 画 出 递归 树 ， 并 给 出 其 解 的 一 个 渐 近 紧 确 
界 。 用 代入 法 进行 验证 。 

4.4-8 ”对 递归 式 T(n)= 二 Tn 一 a) 十 T(a) 十 cn， 利 用 递归 树 给 出 一 个 渐 近 紧 确 解 ， 其 中 a 宇 1 和 
c 二 0 是 常数 。 

4. 4-9 ”对 递归 式 T(n)= 二 TCan) 十 T((1 一 a)n) 十 cn， 利 用 递归 树 给 出 一 个 渐 近 紧 确 解 ， 其 中 0 二 
a 二 1 和 c>0 是 常数 。 


4.5 用 主 方法 求解 递归 式 
主 方法 为 如 下 形式 的 递归 式 提供 了 一 种 “菜谱 ? 式 的 求解 方法 
T(n) = aT(n/b) + f) (4. 20) 
其 中 aS] 和 bL 是 常数 ，f(n) 是 渐 近 正 函 数 。 为 了 使 用 主 方法 ， 需 要 牢记 三 种 情况 ， 但 随后 你 
就 可 以 很 容易 地 求解 很 多 递归 式 ， 通常 不 需要 纸 和 笔 的 帮助 。 
递归 式 (4. 20) 描 述 的 是 这 样 一 种 算法 的 运行 时 间 : 它 将 规模 为 n 的 问题 分 解 为 a 个 子 问题 ， 
每 个 子 问题 规模 为 n/b, HP a 和 4。 都 是 正常 数 。a 个 子 问题 递归 地 进行 求解 ， 每 个 花费 时 间 
T(n/b). PRK f(n) 包 含 了 问题 分 解 和 子 问题 解 合 并 的 人 代价。 例如， 描述 Strassen 算法 的 递归 式 
HH, a=7, b=2, f(n)=O(”’). 
从 技术 的 正确 性 方面 看 ， 此 递归 式 实 际 上 并 不 是 良好 定义 的 ， 因 为 nb 可 能 不 是 整数 。 但 将 a 
项 T/D RA TCGLwy gb) 或 TV2oD 并 不 会 影响 递归 式 的 渐 近 性 质 (我 们 将 在 下 一 节 证 明 这 个 断 
A). AE, 我们 通常 发 现 当 写 下 这 种 形式 的 分 治 算法 的 递归 式 时 ， 和 忽略 舍 入 问题 是 很 方便 的 。 
主 定理 
主 方法 依赖 于 下 面 的 定理 。 
定理 4.1( 主 定理 ) 令 a>>1 和 18>1 是 常数 ，F(m) 是 一 个 函数 ，T(ma) 是 定义 在 非 负 整数 上 的 
递归 式 : 
T(n) = aT(n/b) + f(n) 
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其 中 我 们 将 n/b 解释 为 Ln/5| 或 [n/51。 那 么 TMA FHER: 
1. 若 对 某 个 常数 E>0 有 f(r) =OM™**), W Tn) =O(n'"), 
2. Æ fn) =O(n"™*), BY Tin) =O" Ign). 
3. SME EK EHO 有 fM =A"), AMEN EK c<1 HHARBRA n F afb 
cit), I) TC(n) 二 @(f(n))。 a 
在 使 用 主 定理 之 前 ,我 们 花 一 点 儿 时 间 尝 试 理解 一 下 它 的 含义 。 对 于 三 种 情况 的 每 一 
种 ,我 们 将 函数 f(n) 与 函数 zw% "进行 比较 。 直 觉 上 ， 两 个 函数 较 大 者 决定 了 递归 式 的 解 。 
AP "BK, WL, WHA To) =O"), ARM f(n) 更 大 ， 如 情况 3， 则 解 为 TH) 三 
@(f(n))。 若 两 个 函数 大 小 相当 ， 如 情况 2， 则 乘 上 一 个 对 数 因 子 ， 解 为 Tin) =O(r'™* Ign) 一 
@Cf(™) lgn). 
在 此 直觉 之 外 ， 我 们 需要 了 解 一 些 技术 细节 。 在 第 一 种 情况 中 ,不 是 f(n) 小 于 e RE T, 
而 是 要 多 项 式 意 义 上 的 小 于 。 也 就 是 说 ，f(n) 必 须 渐 近 小 于 mn**%**， 要 相差 一 个 因子 r, He 
大 于 0 的 常数 。 在 第 三 种 情况 中 ， 不 是 f(n) 大 于 n*%“ 就 够 了 ， 而 是 要 多 项 式 意义 上 的 大 于 ,而 且 
还 要 满足 “正则 ”条 件 af(n/5b) 二 cf(n)。 我 们 将 会 遇 到 的 多 项 式 界 的 函数 中 ， 多 数 都 满足 此 条 件 。 
注意 ， 这 三 种 情况 并 未 覆盖 f(n) 的 所 有 可 能 性 。 情 况 1 和 情况 2 之 间 有 一 定 间 际 ，f(n) 可 
能 小 于 n*%“ 但 不 是 多 项 式 意 义 上 的 小 于 。 类 似 地 ， 情 况 2 和 情况 3 之 间 也 有 一 定 间 际 ，f(n) 可 
能 大 于 "但 不 是 多 项 式 意义 上 的 大 于 。 如 果 函 数 f(n) 落 在 这 两 个 间隙 中 ,或 者 情况 3 中 要 求 
的 正则 条 件 不 成 立 ， 就 不 能 使 用 主 方 法 来 求解 递归 式 。 
使 用 主 方法 
使 用 主 方法 很 简单 ， 我 们 只 需 确 定 主 定理 的 哪 种 情况 成 立 ， 即 可 得 到 解 。 
我 们 先 看 下 面 这 个 例子 
T(n) = 9T(n/3)+n 
对 于 这 个 递归 式 , RNA a=9, b=3, fn)=n, 因此 n =n% =O’). HF f(n) =O 
(m3*“)， 其 中 e 二 1， 因 此 可 以 应 用 主 定理 的 情况 1， 从 而 得 到 解 Tin) =@(r’). 
现在 考虑 
T(n) = T(2n/3) +1 
其 中 a=1, 6=3/2, fi=1, Alt nt =n =n =1, AF f() =O(n"*)=00), Alby 
用 情况 2， 从 而 得 到 解 Tin) =O gn). 
对 于 递归 式 
Ti) = 3T(n/4) +nlgn 
我 们 有 a=3, b=4, fd=nlign, Auth n% =n? =O), HF fd) =O), Fer eao. 2, 
因此 ， 如 果 可 以 证 明正 则 条 件 成 立 ， 即 可 应 用 情况 3。 当 nn 足够 大 时 ， 对 于 cH3/4, af(n/d)= 
3(n/4)lg(n/4) 二 (3/4)nlgn 二 cf(n)。 因 此 ， 由 情况 3, ŽARKA Tin) =O(rign). 
主 方法 不 能 用 于 如 下 递归 式 : 
T(n) = 2T(n/2) +nlgn 
虽然 这 个 递归 式 看 起 来 有 恰当 的 形式 : a=2, b=2, fld=nign, UR ne 二 x。 你 可 能 错误 地 
认为 应 该 应 用 情况 3， 因 为 Fa) 王 ”lg2 渐 近 大 于 mw" 一 2。 问 题 出 在 它 并 不 是 多 项 式 意义 上 的 大 
于 。 对 任意 正常 数 e， 比 值 f(n)/n* = (nlgn)/n= len 都 渐 近 小 于 下 。 因 此 ， 递 归 式 落 入 了 情况 
2 和 情况 3 之 间 的 间隙 (此 递归 式 的 解 参 见 练 习 4. 6-2) 。 
我 们 利用 主 方法 求解 在 4.1 节 和 4. 2 节 中 曾 见 过 的 递归 式 (4.7)， 
T) = 2T(n/2) + O(n) 
它 刻 画 了 最 大 子 数组 问题 和 归并 排序 的 分 治 算法 的 运行 时 间 ( 按 照 通常 的 做 法 ， 我 们 忽略 了 递归 
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式 中 基本 情况 的 描述 ) 。 这 里 ， 我 们 有 a=2, b=2, fin) =O(n), Alt n =n? =n, HF 
f(r) =O(n), MARR 2, TEEI To) =Omlgn). 
递归 式 (4. 17), 
Tn) = 8T(n/2) + OC?) 
它 描 述 了 矩阵 乘法 问题 第 一 个 分 治 算法 的 运行 时 间 。 我 们 有 a=8, b=2, fm=O7’), Alt 
n =ne =, AF A 多 项 式 意义 上 大 于 mM (Bt e=1, f(r) =OG'**)), MATL 1, f 
H Tin) =0(7). 
最 后 ， 我 们 考虑 递归 式 (4. 18), 
Tin) = 7T(n/2) +0) 
CHRT Strassen 算法 的 运行 时 间 。 这 里 ， 我 们 有 a=7, b=2, fn) =OC"’), Alt n= 
moez7。 将 log,7 改写 为 jg7， 由 于 2. 80<<lg7<2. 81， 我 们 知道 对 se 一 0.8， 有 f(n)=OM""*), H 
次 应 用 情况 1， 我 们 得 到 解 T(n) 二 8@(n* )。 


练习 

4.5-1 对 下 列 递归 式 ， 使 用 主 方法 求 出 渐 近 紧 确 界 。 
a. T(n) =2T(n/4) +1 
b. T(n) =2T(n/4) +n 
c T(n) =2T(n/4) +n 
d. T(n) =2T(n/4) +r? 

4.5-2 Caesar 教授 想 设 计 一 个 渐 近 快 于 Strassen 算法 的 矩阵 相 乘 算法 。 他 的 算法 使 用 分 治 方法 ， 
将 每 个 矩阵 分 解 为 wW4Xzxy4 的 子 和 矩阵， 分 解 和 合并 步骤 共 花费 OG? ) 时 间 。 他 需要 确定 ， 
他 的 算法 需要 创建 多 少 个 子 问题 ， 才 能 击败 Strassen 算法 。 如 果 他 的 算法 创建 a 个 子 问 
题 ， 则 描述 运行 时 间 TORRA Tn) =aT(n/4) +O’), Caesar 教授 的 算法 如 果 
要 渐 近 快 于 Strassen 算法 ，a 的 最 大 整数 值 应 是 多 少 ? 

4.5-3 ”使 用 主 方法 证 明 : 二 分 查找 递归 式 T(n) 二 Tl(n/2) 十 8(1) 的 解 是 Tn) 二 B@(lgn)。( 二 分 查 
找 的 描述 见 练习 2. 3-5) 。 

4. 5-4” 主 方法 能 应 用 于 递归 式 Tn) =4T(n/2)+r Ign 吗 ? 请 说 明 为 什么 可 以 或 者 为 什么 不 可 
以 。 给 出 这 个 递归 式 的 一 个 渐 近 上 界 。 

*4. 5-5 ”考虑 主 定 理 情 况 3 的 一 部 分 : 对 某 个 常数 <1, EMA af(n/D<cfiMEAMIL. Ait 

一 个 例子 ， 其 中 常数 all, b> ARR f(n) 满 足 主 定理 情况 3 中 除 正则 条 件 外 的 所 有 
条 件 。 


“4.6 证明 主 定理 


本 节 给 出 主 定理 (定理 4.1) 的 证 明 。 但 如 果 只 是 为 了 使 用 主 定 理 ， 你 不 必 理 解 这 个 证 明 。 

证 明 分 为 两 部 分 。 第 一 部 分 分 析 主 递归 式 (4. 20)， 为 简单 起 见 ， 假 定 Tn) 仅 定义 在 b>) 
War, BAX z 一 1，2， 上 多，… 定 义 。 这 一 部 分 给 出 了 为 理解 主 定理 是 正确 的 所 需 的 所 有 直觉 
知识 。 第 二 部 分 显示 了 如 何 将 分 析 扩 展 到 所 有 正 整数 n; 这 一 部 分 应 用 了 处 理 向 下 和 向 上 取 整 问 
题 的 数学 技巧 。 

在 本 节 中 ， 我 们 有 时 会 稍微 滥用 渐 近 符号 ， 用 来 描述 仅仅 定义 在 65 的 和 上 的 函数 的 行为 。 回 
忆 一 下 ， 渐 近 符号 的 定义 要 求 对 所 有 足够 大 的 数 都 证 明 函 数 的 界 ， 而 不 是 仅仅 对 5 ME. AAT 
以 定义 出 仅仅 应 用 于 集合 {8 : i 二 0，1，2，…} 上 而 不 是 所 有 非 负 数 上 新 的 渐 近 符号 ， 所 以 这 种 
滥用 问题 不 大 。 
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然而 ， 当 我 们 在 一 个 局 限 的 值 域 上 使 用 渐 近 符号 时 ， 必 须 时 刻 小 心 ， 避 免得 到 错误 的 结论 。 
例如 ， 对 是 2 的 寡 的 情况 证 明 TO) =O) IFAMRIE Tn) =O. PR TCn) 可 能 是 这 样 定义 的 : 
n #n=1,2,4,8,°° 
n 其 他 
此 例 中 适用 于 所 有 n 值 的 最 佳 上 界 为 Tln)= 二 OC ) 。 由 于 可 能 导致 这 种 严重 后 果 ， 在 并 不 绝对 清 
楚 应 用 环境 的 情况 下 ， 永 远 也 不 要 在 一 个 有 限 的 值 域 上 使 用 渐 近 符号 。 


4.6.1 W b KRERET 

主 定理 证 明 的 第 一 部 分 分 析 主 定理 的 递归 式 (4. 20): 

T(n) = aT(n/b) + f) 

假定 ”是 2(2>1) 的 需 ，2 不 一 定 是 一 个 整数 。 我 们 将 分 析 过 程 分 解 为 三 个 引 理 。 第 一 个 引 理 将 
求解 主 递归 式 的 问题 归 约 为 一 个 求 和 表达 式 的 求 值 问 题 。 第 二 个 引 理 确定 这 个 和 式 的 界 。 第 三 
个 引 理 将 前 两 个 引 理 合 二 为 一 ,证 明 n 为 6 的 宕 的 情况 下 的 主 定 理 。 

引 理 4.2 Salle orl 是 常数 ，f(n) 是 一 个 定义 在 6 的 种 上 的 非 负 函数 。T(n) 是 定义 在 
b RE 4 i aX: 


Tn) = 


@(1) #n=1 
Tin) = s 
al (n/b) + fin) #n=6 
其 中 i 是 正 整 数 。 那 么 
log, n—1 
Tn) = On") + Da f nb) (4. 21) 


证 明 使 用 图 4-7 中 的 递归 树 。 树 的 根 结 点 的 代价 为 f(n)， 它 有 a 个 孩子 结 点 ， 每 个 的 代价 
为 f(n/5)。( 将 a 看 做 一 个 整数 非常 方便 ， 当 可 视 化 递归 树 时 尤其 如 此 ， 但 从 数学 角度 并 不 要 求 
这 一 点 )。 每 个 孩子 结 点 又 有 a 个 孩子 ， 使 得 在 深度 为 2 的 层次 上 有 d 个 结 点 ， 每 个 的 代价 为 
fnb), — ish, RER j WARK LAG 个 结 点 ， 每 个 的 代价 为 f(n/5)。 每 个 叶 结 点 的 代价 为 
TOA)=00), REX logn, AA wps" 一 1。 树 中 共有 a" =n "个 叶 结 点 。 








MM) cece ip. fn) 

A 
a 
hn/b) An/b) i Ain/b) een mw- aftn/b) 
a a a 
log,n 
n/p’) Rnb?) Rnb) Kalb’) finlb*) :fn/b’) An/b’) finib?) Rnb) ete afn/b’) 
el) @(1) @(1) @(1) @(1) @(1) oa) @(1) @(1) (1) se @(1) @(1) @(1) le (nso) 
mgpe 


log, n-1 
Bit: O(n'2)+ > aifin/b/) 
jD 


图 4-7 T(n)=aT(n/b)+ fo) RBA. AERE a MY, BEX log,n, FEA nAi 
结 点 。 每 层 结 点 的 代价 显示 在 右 侧 ， 代 价 和 如 公式 (4. 21) 所 示 
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我 们 将 图 4-7 所 示 的 递归 树 中 的 每 层 结 点 的 代价 求 和 ， 得 到 公式 (4. 21)。 深 度 为 7 的 所 有 内 
部 结 点 的 代价 为 aif Cn/5)， 所 以 内 部 结 点 的 总 代价 为 : 


log, n=l 
2; a’ f (n/b’) 
在 分 治 算法 中 ， 这 个 和 表示 分 解 子 问题 与 合并 子 问 题解 的 代价 。 所 有 叶 结 点 的 代价 (表示 完成 所 
有 mw% “个 规模 为 1 的 子 问题 的 代价 ) 为 OC"), 图 


从 递归 树 看 ， 主 定理 的 三 种 情况 分 别 对 应 以 下 三 种 情况 : (1) 树 的 总 代价 由 叶 结 点 的 代价 决 
定 ;(2) 树 的 总 代价 均匀 分 布 在 树 的 所 有 层次 上 ; (3) 树 的 总 代价 由 根 结 点 的 代价 决定 。 

公式 (4. 21) 中 的 和 式 描述 了 分 治 算法 中 分 解 与 合并 步骤 的 代价 。 下 一 个 定理 则 给 出 了 这 个 和 
式 增 长 速度 的 渐 近 界 。 

引 理 4.3 令 a>>1 和 0>>1 是 常数 ， 丰 (0 是 一 个 定义 在 的 圭 上 的 非 负 函数 。g(z) 是 定义 在 
b 的 办 上 的 函数 : 


log, n=] 


gin) = >) wf n/b) (4. 22) 


FoR, gn) Ado FILE: 

1. 车 对 某 个 常数 OO 有 f(r) =O"), DW g(r) =O") 。 

2. 若 f(n) =n), R] g(n) =O" lgn)。 

3. 若 对 某 个 常数 c 二 1 和 所 有 足够 大 的 n 有 af(n/D) 过 cf(n)， 则 g(n) 二 B@(f(n))。 

证 明 对 情况 1， 我 们 有 f(n) 二 Oln*%"“)， 这 意味 着 fl(n/5) 二 O(n/5)%w*“*)。 代 入 公 
式 (4. 22) 得 








g(n) = o( Sa (4)"") (4. 23) 
对 于 O 符 号 内 的 和 式 ， 通 过 提取 因子 并 化 简 来 求 它 的 界 ， 得 到 一 个 递增 的 几何 级 数 : 
log, n= ae logy, m= er logy n= 
5 alaj” = pa > (fa) 一 peeve z yi 
-人 m 


由 于 5 和 e 是 常数 ， 因 此 可 以 将 最 后 一 个 表达 式 重 写 为 nOn) =n) 。 用 这 个 表达 式 代 
HARA. 23) 中 的 和 式 ， 得 到 g(n) 二 O(n")， 因 此 情况 1 得 证 。 
由 于 情况 2 假定 SMSA), AA n/H), RAAR. 22) 得 


log, 1 ae 
g(n) = @( > a (4) ) (4. 24) 


j=0 


采用 与 情况 1 相同 的 方式 , 求 出 @ 符号 内 和 式 的 界 ， 但 这 次 并 未 得 到 一 个 几何 级 数 ， 而 是 发 现 
和 式 的 每 一 项 都 是 相同 的 : 


bog, log, logy m1 j beye 
D a(S) ”一 nge Sp (l =a y= n" logn 
用 这 个 表达 式 替 换 公式 (4. 24) 中 的 和 式 ， 我 们 得 到 
g(n) = On" logn) = On Ign) 

情况 2 得 证 。 

情况 3 的 证 明 类 似 。 由 于 Fo 出 现在 g(n) 的 定义 (4.22) 中 ， 且 g(n) 的 所 有 项 都 是 非 负 的 ， 
因此 可 以 得 出 结论 : 对 5 的 短 ，g(n) 二 QCfCn))。 假 定 在 这 个 引 理 中 ， 对 某 个 常数 .二 1 ATA E 
够 大 的 n 有 af《n/5b) 二 cf(n)。 将 这 个 假设 改写 为 MND 7 并 和 迭代 7 次 , 得 到 fa 
(c/a)’'f(n)， 或 等 价 地 ，a’f ln/5) 过 cf(n)， 其 中 假设 进行 迭代 的 值 足够 大 。 由 于 最 后 一 个 ， 也 
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就 是 最 小 的 值 为 wx  ， 因 此 假定 wz “足够 大 就 够 了 。 
代入 公式 (4. 22) 并 化 简 ， 我 们 得 到 一 个 几何 级 数 ， 但 与 情况 1 证 明 中 的 几何 级 数 不 同 ， 这 次 


得 到 的 是 递减 的 几何 级 数 。 使 用 一 个 O(1) 项 来 表示 n 足够 大 这 个 假设 未 覆盖 的 项 : 


log, n—1 log, "一 1 se 


gin) = DY df n/H >) df +00) < f@ De +00) 
j=0 j=0 


= fm (7+ )+00 = 0f) 


AA c 是 一 个 常数 。 因 此 可 以 得 到 结论 : X oR OSS). A 3 得 证 ， 引 理 证 毕 。 国 

现在 我 们 来 证 明 Ab 的 寡 的 情况 下 的 主 定理 。 

引 理 4.4 Fall HP orlztHK, fMA-FELEDHRLHAR BRK. THREE 
b RL 6 ih 3X: 
@(1) n= 1 
aT(n/b)+ fin) #n=F6' 
其 中 i 是 正 整 数 。 那 么 对 5 的 寄 ， TMA FHER: 

1. 车 对 某 个 常数 e>0 有 f(n) =O"), N] TMSA), 

2. Æ fi) =O(n™), N Tin) =A" Ign). 

3. 若 对 某 个 常数 EHO, ASMAN), HAMEP EK c 二 1 和 所 有 足够 大 的 n， 有 
af(n/bD<cf(n), A) Tin) =O f(n)). 

证 明 利用 引 理 4. 3 中 的 界 对 引 理 4. 2 中 的 和 式 (4. 21) 进 行 求 值 。 对 情况 1， 我 们 有 

T(n) = O(n?) + O(n) = O(n") 


Tin) = | 


对 于 情况 2， 
T(n) = Oln) + On Ign) = @(n** Ign) 
对 于 情况 3， 
T(n) = O(n?) + @C f(n)) = OC f(n)) 
AA FMS Anet) m 


4.6.2 向 下 取 整 和 向 上 取 整 


为 了 完成 主 定理 的 证 明 ， 我 们 必须 将 上 述 分 析 扩 展 到 主 递 归 式 中 使 用 向 下 取 整 和 向 上 取 整 
的 情况 ， 这 样 递 归 式 就 定义 在 所 有 整数 上 ， 而 非 仅 仅 针对 5 的 竹 。 很 容易 获得 如 下 递归 式 的 
下 界 : 
Tn) = aT([n/b) + fm) (4, 25) 
以 及 如 下 递归 式 的 上 界 ， 
T(n) = aT(Ln/b) + fln) (4, 26) 
AARATI AREER FR o/b nn/b EAS BI AR, KAS PALE FL n/dI< 
n/b。 可 以 使 用 几乎 一 样 的 技术 来 处 理 递归 式 (4. 26) 的 下 界 和 递归 式 (4.25) 的 上 界 ， 因 此 我 们 只 
给 出 后 一 个 界 的 证 明 。 
对 图 4-7 中 的 递归 树 进 行 修改 ， 得 到 图 4-8 中 的 递归 树 。 当 沿 着 递归 树 向 下 时 ， 我 们 得 到 如 
下 递归 调用 的 参数 序列 : 
n 
[n/b] 
[a/b] /b] 
Ma/51/61/6] 
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Hn 表示 序列 中 第 7 个 元 素 ， 其 中 











n #j=0 
n= ; (4. 27) 
[n /b] #j >0 
我 们 的 第 一 个 目标 是 确定 m 是 常数 时 的 深度 &。 利 用 不 等 式 [z| 委 z 十 1， 可 得 
MW <n 
mse +l 
1 
m < r Fari 
Taol 
n S a + 7 + T 41 
j= oo 
n 1 n Le b 
eS 直立 ee ÞE so Tel 
令 j=llog,n], 可 得 
n xe b n ce Aoa Be 
和 
= We 
=b} = OD 
因此 我 们 可 以 看 到 在 深度 Llog,zj， 问 题 规模 至 多 是 常数 。 
fin) 和 HTS Jin) 
| WE ae 
Kn) Kn) ame An) meeen jh afin) 
a a a 
Llog, nl 
fn) fm) 1 fxn) fn) fim) = fm) fna) firm) fna) eime afin.) 
| @(1) @(1) ei) a1) @(1) (1) ea) @(1) ei) a1) oe @(1) ei) (1) wie (718) 
O(n85) 
llog n |=1 
总 计 : @(Caegoo)+ ¥ afin) 
图 4-8 Tin)=aTn/bD+ fm KB. BIFBR n 的 定义 见 公式 (4. 27) 
从 图 4-8 可 以 看 出 ， 
Logsn 上 1 
T(n) = O(n") + D, ad fC) (4. 28) 


除了 ”为 任意 整数 ， 未 局 限 为 5 ORES SP, PSR AG ASR. 21) 几 乎 一 样 。 
我 们 现在 可 以 对 公式 (4. 28) 中 的 和 式 进行 求 值 


104 
l 
105 
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Llog,n J+ 
gin) = >) af (ny) (4. 29) 


方法 与 引 理 4. 3 的 证 明 类 似 。 我 们 从 情况 3 开始 ， 如 果 对 n>b+6/(b6—-1), af ([n/b)<cf(n) mh 
立 ， 其 中 c<1 是 常数 ， 则 有 df <cf@. 。 因 此 ， 我 们 可 以 像 引 理 4. 3 的 证 明 一 样 来 对 公式 
(4. 29) 的 和 式 进 行 求 值 。 对 于 情况 2， 我 们 有 f(n) =O"), WR AB WEA fy) =OCr'%* /a’ ) 
=0( (n/B), ME 2 的 证 明 直 接 使 用 引 理 4. 3 证 明 的 方法 即 可 。 观 察 到 jl logn | 意味 着 
b/n, FH f(n) 二 On") 意 味 着 存在 常数 >, 使 得 对 所 有 足够 大 的 n, 


T E R 


= (52) (14 (2 t) 


<2) (1454) = 08) 


AA c+6/(o—1))* ae et. Atk, feeb 2 得 证 。 情 况 1 的 证 明 几 乎 是 一 样 的 。 关 键 是 证 明 
FE fn, =OCn/ ) 吕 "一 )， 这 部 分 与 情况 2 证明 中 的 对 应 部 分 相似 ， 尽 管 使 用 的 代数 方法 更 复杂 些 。 
现在 我 们 已 经 对 所 有 整数 证 明了 主 定 理 的 上 界 。 下 界 的 证 明 类 似 。 


练习 








*4. 6-1 
*4. 6-2 


*4. 6-3 


对 2 是 正 整数 而 非 任 意 实数 的 情况 ， 给 出 公式 (4. 27) 中 的 简单 而 准确 的 表达 式 。 

证 明 : 如 果 f(n) =O" Ign), HEP A>0， 那 么 主 递归 式 的 解 为 TM= 0a" Ign), 
为 简 音 起见， 假定 nn 是 6 WR. 

TER: 主 定理 中 的 情况 3 被 过 分 强调 了 ， 从 某 种 意义 上 来 说 ， 对 某 个 常数 c 二 1， 正 则 条 
taf (n/b)<cf (n) BILAL A RRA EE BR 0, 使 得 fr) = OC") , 


思考 题 


4-1 (递归 式 例子 ) 对 下 列 每 个 递归 式 ， 给 出 TC(n) 的 渐 近 上 界 和 下 界 。 假 定 n<2 时 T(n) 是 常 
数 。 给 出 尽量 紧 确 的 界 ， 并 验证 其 正确 性 。 
a. T(n) =2T(n/2) +n! 
b. T(n) =T(7n/10)-+n 
c. T(n) =16T(n/4) +n? 
d. T(n) =7T(n/3) +n? 
e. Tin) =7T(n/2) +r? 
f. T(n) =2T(n/4) +n 
g. Tin) =T(n—2) +r? 
42 (参数 传递 代价 ) ”我 们 有 一 个 贯穿 本 书 的 假设 一 一 过 程 调用 中 的 参数 传递 花费 常量 时 间 ， 
即使 传递 一 个 六 个 元 素 的 数组 也 是 如 此 。 在 大 多 数 系统 中 ， 这 个 假设 是 成 立 的 ， 因 为 传递 
的 是 指向 数组 的 指针 ， 而 非 数 组 本 身 。 本 题 讨论 三 种 参数 传递 策略 : 
1. 数组 通过 指针 来 传递 。 时 间 二 8(1)。 
2. 数组 通过 元 素 复制 来 传递 。 时 间 王 BCN)， 其 中 N 是 数组 的 规模 。 
3. 传递 数组 时 ， 只 复制 过 程 可 能 访问 的 子 区 域 。 若 子 数组 A[p. . gj 被 传递 ， 则 时 间 二 8@(g 一 
PFDs 
a. 考虑 在 有 序数 组 中 查找 元 素 的 递归 二 分 查找 算法 (参见 练习 2. 3-5) 。 分 别 给 出 上 述 三 种 
参数 传递 策略 下 ， 二 分 查找 最 坏 情 况 运 行 时 间 的 递归 式 ， 并 给 出 递归 式 解 的 好 的 上 界 。 
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S NN 为 原 问题 的 规模 ，n 为 子 问题 的 规模 。 
b. 对 2. 3.1 节 的 MERGE-SORT 算法 重 做 (a) 。 107 
(更 多 的 递归 式 例 子 ) 对 下 列 每 个 递归 式 ， 给 出 TC(n) 的 渐 近 上 界 和 下 界 。 假 定 对 足够 小 的 
n，T(n) 是 常数 。 给 出 尽量 紧 确 的 界 ， 并 验证 其 正确 性 。 
a. T(n) =4T(n/3) +nlgn 
b. T(n) =3T(n/3)+n/ lgn 
c T(n)=4T(n/2) +n? Vn 
d. T(n) =3T(n/3—2) +n/2 
e. T(n) =2T(n/2)+n/ lgn 
f£. T(n) =T(n/2) + T(n/4) + T(n/8) +0 
g. Tin) =Tin—1) + 1/n 
h. T(n) =T(n—1)+ lgn 
i. Tin) =T(n— 2) +1/ lgn 
j. Tin) =VnT Wn) +0 
(ER AB SH) 本 题 讨 论 递归 式 (3. 22) 定 义 的 斐 波 那 契 数 的 性 质 。 我 们 将 使 用 生成 函数 技 
术 来 求解 斐 波 那 契 递归 式 。 生 成 函数 (又 称 为 形式 需 级 数 ) 外 定义 为 


F(z) = Vip = Ofte 242224321 +52? +825 +1327 十 21zs 十 … 
其 中 F; 为 第 i 个 斐 波 那 契 数 。 








a. WEH: F(z)= 二 z 十 z 了 了 (z) 十 之 F(z). 108 
b. 证 明 : 
= 2 = z 1 1 te 
es I—z—-¥ (1—#2)0 —gz) rates ied 
其 中 
p= itv - 1. 618 03+ 
$=1 -一 0.618 03.… 
c. TEAR: 


F(z) = 3 pe-p 
d. 利用 (c) 的 结果 证 明 : Mi>0, FEEN, GREADREEHBA. GT: 观察 到 
|¢|<1.) 
(芯片 检测 ) Diogenes HHA n 片 可 能 完全 一 样 的 集成 电路 芯片 ， 原 理 上 可 以 用 来 相互 检 
测 。 教 授 的 测试 夹具 同时 只 能 容纳 两 块 蕊 片 。 当 夹具 装载 上 时 ， 每 块 芯 片 都 检测 另 一 块 ， 
并 报告 它 是 好 是 坏 。 一 块 好 的 芯片 总 能 准确 报告 另 一 块 芯片 的 好 坏 ， 但 教授 不 能 信任 坏 芯 
片 报告 的 结果 。 因 此 ，4 种 可 能 的 测试 结果 如 下 : 








芯片 A 的 结果 芯片 B 的 结果 m e 
B 是 好 的 A 是 好 的 两 片 都 是 好 的 ， 或 都 是 坏 的 
B 是 好 的 A ERK 至 少 一 块 是 坏 的 
B 是 坏 的 和 A 是 好 的 至 少 一 块 是 坏 的 


BERN A 是 坏 的 至 少 一 块 是 坏 的 
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a. TERA: 如 果 超 过 n/2 块 芯片 是 坏 的 ， 使 用 任何 基于 这 种 逐 对 检测 操作 的 策略 ， 教 授 都 不 
能 确定 哪些 芯片 是 好 的 。 假 定 坏 芯片 可 以 合谋 坎 骗 教授 。 
b. 考虑 从 nn 块 芯片 中 寻找 一 块 好 芯片 的 问题 ,假定 超过 n/2 块 芯片 是 好 的 。 证 明 : 进行 Ln/2] 
次 逐 对 检测 足以 将 问题 规模 减 半 。 
c. 假定 超过 n/2 RAR, TER: 可 以 用 8(n) 次 逐 对 检测 找 出 好 的 芯片 。 给 出 描述 检 
测 次 数 的 递归 式 ， 并 求解 它 。 
4-6 (Monge 阵列 ) ”对 一 个 mXn 的 实数 阵列 A， 若 对 所 有 满足 Kim 和 1lSj<l<n Hi, 
i RELA 
ALi j] +A[k, i] < ALi, i] + ALk, j] 
则 称 A 是 Monge 阵列 (Monge array) 。 换 句 话 说， 无 论 何 时 选 出 Monge 阵列 的 两 行 和 两 列 ， 
对 于 交叉 点 上 的 4 个 元 素 ， 左 上 和 右 下 两 个 元 素 之 和 总 是 小 于 等 于 左下 和 右上 元 素 之 和 。 
例如 ， 下 面 就 是 一 个 Monge 阵列 : 
10 17 13 28 23 
H 22 16 29 23 
24 28 22 34 24 
ll ‘Js 6 17 7 
45 44 32 37 23 
35 33 19 21 6 
75 66 51 53 34 
a. 证 明 : 一 个 数组 是 Monge 阵列 当 且 仅 当 对 所 有 i=1, 2, +, m—-1AJ=1, 2, «+, n=l, 
Alij] HAL +H lj HISA HHA] 
(提示 : 对 于 “ 当 ” 的 部 分 ， 分 别 对 行 和 列 使 用 归纳 法 。) 
b. 下 面 数组 不 是 Monge 阵列 。 改 变 一 个 元 素 使 其 变 成 Monge 阵列 。( 提 示 : 利用 (a) 的 
结果 。) 
37 23 2% 32 
21 6 7 10 
53 34 30 31 
32 13 9 
43 Zl 15, 8 
e 令 fQ) 表 示 第 i 行 的 最 左 最 小 元 素 的 列 下 标 。 证 明 : 对 任意 mXn 的 Monge FEF, FA 
FCIS reS fm). 
d 下 面 是 一 个 计算 mXn 的 Monge 阵列 A 每 一 行 最 左 最 小 元 素 的 分 治 算法 的 描述 : 
提取 A 的 偶数 行 构造 其 子 矩 阵 A' 。 递 归 地 确定 A' 每 行 的 最 左 最 小 元 素 。 
然后 计算 A 的 奇数 行 的 最 左 最 小 元 素 。 
解释 如 何在 OCm 十 n) 时 间 内 计算 A 的 奇数 行 的 最 左 最 小 元 素 ( 在 偶数 行 的 最 左 最 小 元 素 
已 知 的 情况 下 ) 。 
e 给 出 Cd) 中 描述 的 算法 的 运行 时 间 的 递归 式 。 证 明 其 解 为 OCm 十 nlogm)。 
本 章 注 记 


分 治 作为 一 种 算法 设计 技术 至 少 可 以 追溯 到 1962 年 Karatsuba 和 Ofman 的 一 篇 文章 [194]。 


但 是 在 这 之 前 ， 分 治 技术 已 经 有 很 好 的 应 用 ， 根 据 Heideman, Johnson 和 Burrus 的 论文 [163]， 
卡尔 。 弗 雷 德 里 希 。 高 斯 在 1805 年 设计 了 第 一 个 快速 傅 里 叶 变 换算 法 ， 而 高 斯 的 算法 就 是 将 问 
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题 分 解 为 更 小 的 子 问 题 ， 求 解 完 子 问题 后 将 它们 的 解 组 合 起 来 。 

4. 1 节 中 讨论 的 最 大 子 数组 问题 是 BentlyL43, 第 7 章 ] 研 究 的 问题 的 一 个 简单 变形 。 

Strassen 算法 [325] 发 表 于 1969 年 ， 它 的 出 现 引 起 了 很 大 的 友 动 。 在 此 之 前 ， 很 少 人 敢 设 想 
一 个 算法 能 渐 近 快 于 平凡 算法 SQUARE-MATRIXMULTIPLY。 和 矩阵 乘法 的 渐 近 上 界 自 此 被 改 
进 了 。 到 目前 为 止 ，zXz 矩阵 相 乘 的 渐 近 复杂 性 最 优 的 算法 是 Coppersmith 和 WinogradL78] 提 
出 的 ， 运 行 时 间 为 O(n*”)。 已 知 的 最 好 的 下 界 显然 是 Q(z2)( 这 是 显然 的 下 界 ， 因 为 我 们 必须 
填写 结果 矩阵 的 n 个 元 素 )。 

从 实用 的 角度 看 ，Strassen 算法 通常 并 不 是 解决 矩阵 乘法 的 最 好 选择 ， 原 因 有 4 个 : 

1. 隐藏 在 Strassen 算法 运行 时 间 @(n*) 中 的 常数 因子 比 过 程 SQUARE-MATRIX- 
MULTIPLY 的 OG ) 时 间 的 常数 因子 大 。 

2. 对 于 稀疏 矩阵 ， 专 用 算法 更 快 。 

3. Strassen 算法 的 数值 稳定 性 不 如 SQUARE-MATRIX-MULTIPLY 那么 好 。 换 句 话 说， 由 
于 计算 机 计算 非 整数 值 时 有 限 的 精度 ，Strassen 算法 累积 的 误差 比 SQUARE-MATRIX- 
MULTIPLY 大 。 

4. 递归 过 程 中 生成 的 子 矩 阵 消耗 存储 空间 。 
后 两 个 原因 在 1990 年 左右 得 到 了 缓解 。Higham[L167] 显 示 了 数值 稳定 性 上 的 差异 被 过 分 强调 了 ; 
虽然 Strassen 算法 对 某 些 应 用 来 说 数值 稳定 性 太 差 ， 但 对 其 他 应 用 来 说 ， 它 所 产生 的 数值 误差 还 
在 可 接受 的 范围 内 。Bailey、Lee 和 Simon 32] 讨 论 了 降低 Strassen 算法 内 存 需 求 的 技术 。 

在 实际 应 用 中 ， 稠 密 和 矩阵 的 快速 乘法 程序 在 矩阵 规模 超过 一 个 “交叉 点 ”时 使 用 Strassen 算 
法 ， 一 旦 子 问题 规模 降低 到 交叉 点 之 下 ， 就 切换 到 一 个 更 简单 的 方法 。 交 叉 点 的 确切 值 高 度 依赖 
于 具体 系统 。 有 一 些 分 析 统 计 操 作 次 数 ， 但 忽略 CPU 缓存 和 流水 线 的 影响 ， 得 出 的 交叉 点 低 至 
7 一 8(Higham[ 167]) 或 n=12( Huss-Lederman 等 人 [186])。D?Alberto 和 Nicolaul 81 1] 设计 了 一 个 
自 适应 方法 ， 在 软件 包 安 装 完毕 后 通过 基准 测试 确定 交叉 点 。 他 们 发 现 ， 在 不 同 的 系统 上 ， 交 叉 
点 的 值 从 n=400 到 n=2 150 变化 ， 而 在 几 个 系统 中 无 法 找到 交叉 点 。 

递归 式 的 研究 最 早 可 追溯 到 1202 年 李 奥 纳 多 。 斐 波 那 契 的 工作 ， 斐 波 那 契 数 就 是 以 他 命名 
的 。A. De Moivre 提出 了 用 生成 函数 (参见 思考 题 4-4) 求 解 递归 式 的 方法 。 主 方法 改 自 Bentley, 
Haken 和 Saxe[ 44] 的 方法 ， 这 篇 文章 提供 了 一 种 扩展 方法 ， 在 练习 4.62 中 已 经 得 到 验证 。 
KnuthL209] 和 LiuL237] 展 示 了 如 何 使 用 生成 函数 的 方法 求解 线性 递归 式 。Purdom 和 Brown Wit 
文 L287] 及 Graham, Knuth 和 Patashnik 的 论文 [152] 包 含 了 递归 式 求解 的 进一步 讨论 。 

相对 于 主 方法 可 求解 的 分 治 算法 递归 式 ， 多 名 研究 者 ， 包 括 Akra 和 Bazzi[13]、Roura 
[299], Verma[346]% YapL360]， 都 给 出 过 更 一 般 的 递归 式 的 求解 方法 。 我 们 介绍 一 下 Akra 和 
Bazzi 的 结果 ， 这 里 给 出 的 是 Leighton[ 228] 修 改 后 的 版 本 。Akra-Bazzi 方法 求解 如 下 形式 的 递 
归 式 : 


@(1) 若 1 委 二 委 而 
T(z) =4 < (4. 30) 
二 Faan 
i=l 
其 中 
© 221 是 一 个 实数 ， 
。 zo 是 一 个 常数 ， 满 足 对 i=l, 2, , k, 2221/6, A zo 之 1/(1 一 b.)， 


e 对 i=l, 2, «+, k, Qa; 是 一 个 正常 数 ， 
e 对 1 一 1，2，…， k, b; 是 一 个 常数 ， 范围 在 0<6;<1, 
。 k> 是 一 个 整数 常数 ， 且 
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。 f(z) 是 一 个 非 负 函数 ， 满 足 多 项 式 增长 条 件 : 存在 正常 数 mc 和 c ， 使 得 对 所 有 cl, 
i=1, 2, °°, RUPE br KUSKI Wu, 有 caf(z) 志 fC(w) 过 cof(z)。( 若 |f'(z)| 
的 上 界 是 xz 的 某 个 多 项 式 ， 则 f(z) 满 足 多 项 式 增长 条 件 。 例 如 ， 对 任意 实 常 数 a 和 8p， 
f(r) ==" lg4z 满足 此 条 件 。) 

虽然 主 定理 不 能 应 用 于 Tn) =TCLn/3)) + TCL2n/3) 十 O(0o) 这 样 的 递归 式 ， 但 Akra-Bazzi Fy 


法 可 以 。 为 了 求解 递归 式 (4. 30) ， 我 们 首先 寻找 满足 Dd ab? = 1 的 实数 p( 这 样 的 p 总 是 存在 
的 )。 那 么 递归 式 的 解 为 
Tn) = @(z(1+| Lan) ) 


Akra-Bazzi 方 法 可 能 有 点 儿 难 用 ， 但 它 可 以 求解 那些 子 问题 划分 不 均衡 的 算法 的 递归 式 。 主 方法 
113] 很 容易 使 用 ， 但 只 能 用 于 子 问 题 规模 相等 的 情况 。 
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概率 分 析 和 随机 算法 


本 章 介绍 概率 分 析 和 随机 算法 。 如 果 你 不 熟悉 概率 论 的 基本 知识 ， 应 先 阅读 附录 C， 复 习 这 
部 分 材料 。 我 们 将 在 本 书 中 多 次 提 到 概率 分 析 和 随机 算法 。 


5. 1 雇用 问题 

假如 你 要 雇用 一 名 新 的 办 公 助 理 。 你 先前 的 雇用 尝试 都 失败 了 ， 于 是 你 决定 找 一 个 雇用 代 
理 。 雇 用 代理 每 天 给 你 推荐 一 个 应 聘 者 。 你 面试 这 个 人 ， 然 后 决定 是 否 雇用 他 。 你 必须 付 给 雇用 
代理 一 小 笔 费 用 ， 以 便 面 试 应 聘 者 。 然 而 要 真 的 雇用 一 个 应 聘 者 需要 花 更 多 的 钱 ， 因 为 你 必须 辞 
掉 目 前 的 办 公 助 理 ， 还 要 付 一 大 笔 中 介 费 给 雇用 代理 。 你 承诺 在 任何 时 候 ， 都 要 找 最 适合 的 人 来 
担任 这 项 职务 。 因 此 ， 你 决定 在 面试 完 每 个 应 聘 者 后 ， 如 果 该 应 聘 者 比 目 前 的 办 公 助 理 更 合适 ， 
就 会 辞 掉 当 前 的 办 公 助 理 ， 然 后 聘用 新 的 。 你 愿意 为 该 策略 付费 ,但 希望 能 够 估算 该 费用 会 是 
多 少 。 

下 面 给 出 的 HIRE-ASSISTANT 过 程 以 伪 代 码 表示 该 雇用 策略 。 假 设 应 聘 办 公 助 理 的 候选 人 
编号 为 1 到 n。 该 过 程 中 假设 你 能 在 面试 完 应 聘 者 i 后， 决定 应 聘 者 i 是否 是 你 目前 见 过 的 最 佳 
人 选 。 初 始 化 时 ， 该 过 程 创 建 一 个 虚拟 的 应 聘 者 ， 编 号 为 0， 他 比 其 他 所 有 应 聘 者 都 差 。 

HIRE-ASSISTANT(n) 


l best=0 // candidate 0 is a least-qualified dummy candidate 





2 fori = lton 

3 interview candidate i 
4 if candidate i is better than candidate best 
5 best = i 
6 


hire candidate i 


这 个 问题 的 费用 模型 与 第 2 章 中 描述 的 模型 不 同 。 我 们 关注 的 不 是 HIRE-ASSISTANT 的 执 
行 时 间 ， 而 是 面试 和 雇用 所 产生 的 费用 。 表 面 上 看 起 来 ， 分 析 这 个 算法 的 费用 与 分 析 归 并 排序 等 
的 运行 时 间 有 很 大 不 同 。 然 而 ， 我 们 在 分 析 费 用 或 者 分 析 运 行 时 间 时 ， 所 采用 的 分 析 技术 却 是 相 
同 的 。 在 任何 情形 中 ， 我 们 都 是 在 计算 特定 基本 操作 的 执行 次 数 。 

面试 的 费用 较 低 ， 比 如 为 c:， 然 而 雇用 的 费用 较 高 ， 设 为 c,。 假 设 m 是 雇用 的 人 数 ， 那 么 该 
算法 的 总 费用 就 是 OCcn 十 cwm)。 不 管 雇用 多 少 人 ， 我们 总 会 面试 n 个 应聘 者 ， 于 是 面试 产生 的 
费用 总 是 cmx。 因 此， 我 们 只 关注 于 分 析 cx ， 即 雇用 的 费用 。 这 个 量 在 该 算法 的 每 次 执行 中 都 
不 同 。 

这 个 场景 用 来 作为 一 般 计 算 范 式 的 模型 。 我 们 通常 通过 检查 序列 中 的 每 个 成 员 ， 并 且 维 护 
一 个 当前 的 “获胜 者 ”， 来 找 出 序列 中 的 最 大 值 或 最 小 值 。 这 个 雇用 问题 对 当前 获胜 成 员 的 更 新 频 
率 建立 模型 。 

最 坏 情形 分 析 

在 最 坏 情况 下 ， 我 们 实际 上 雇用 了 每 个 面试 的 应 聘 者 。 当 应 聘 者 质量 按 出 现 的 次 序 严格 递 
增 时 ， 这 种 情况 就 会 出 现 ， 此 时 雇用 了 ?次 ， 总 的 费用 是 On). 

当然 ， 应 聘 者 并 非 总 以 质量 递增 的 次 序 出 现 。 事 实 上 ， 我 们 既 不 知道 他 们 出 现 的 次 序 ， 也 不 
能 控制 这 个 次 序 。 因 此 ， 很 自然 地 会 问 在 一 种 典型 或 者 平均 的 情形 下 ， 会 有 什么 发 生 。 


66 


第 一 部 分 基础 知识 


概率 分 析 
概率 分 析 是 在 问题 分 析 中 应 用 概率 的 理念 。 大 多 数 情况 下 ， 我 们 采用 概率 分 析 来 分 析 一 个 


算法 的 运行 时 间 ， 有 时 也 用 它 来 分 析 其 他 的 量 , 例如， 过程 HIRE-ASSISTANT 中 的 雇用 费用 。 


为 了 进行 概率 分 析 ， 我 们 必须 使 用 或 者 假设 关于 输入 的 分 布 。 然 后 分 析 该 算法 ， 计 算出 一 个 平均 
情形 下 的 运行 时 间 ， 其 中 我 们 对 所 有 可 能 的 输入 分 布 取 平 均值 。 因 此 ， 实 际 上 ， 我 们 对 所 有 可 能 
输入 产生 的 运行 时 间 取 平均 。 当 报告 此 种 类 型 的 运行 时 间 时 ， 我 们 称 其 为 平均 情况 运行 时 间 。 

我 们 在 确定 输入 分 布 时 必须 非常 小 心 。 对 于 某 些 问题 ， 我 们 可 以 对 所 有 可 能 的 输入 集合 做 
某 种 假定 ， 然 后 采用 概率 分 析 来 设计 一 个 高 效 算 法 ， 并 加 深 对 问题 的 认识 。 对 于 其 他 一 些 问 题 ， 
我 们 不 能 描述 一 个 合理 的 输入 分 布 ， 此 时 就 不 能 采用 概率 分 析 。 

在 雇用 问题 中 ， 我 们 可 以 假设 应 聘 者 以 随机 顺序 出 现 。 这 一 假设 意味 着 什么 ? 假定 可 以 对 任 
何 两 个 应 聘 者 进行 比较 ， 并 决定 哪 一 个 更 有 资格 ;也 就 是 说 ， 所 有 应 聘 者 存在 一 个 全 序 关系 (全 
序 的 定义 可 参见 附录 B) 。 因 此 ， 可 以 使 用 从 1 到 ?的 唯一 号 码 对 应 聘 者 排列 名 次 ， 用 rank (i) 表 
示 应 聘 者 i 的 名 次 ， 并 照常 约定 一 个 较 高 名 次 对 应 一 个 更 好 的 应 聘 者 。 有 序 序列 (rank (1)， 
rank(2)，…，rank(n)) 是 序列 (1，2，…，n) 的 一 个 排列 。 称 应 聘 者 以 随机 顺序 出 现 ， 等 价 于 称 
这 个 排名 列表 是 数字 1 Bln Kn! 种 排列 表 中 的 任 一 个 。 或 者 ， 我 们 也 称 这 些 排名 构成 一 个 均匀 
随机 排列 ;也 就 是 说 ， 在 n! 种 可 能 的 排列 中 ， 每 一 种 以 等 概率 出 现 。 

5. 2 节 包 含 这 个 雇用 问题 的 一 个 概率 分 析 。 

随机 算法 

为 了 利用 概率 分 析 ， 我 们 需要 了 解 关 于 输入 分 布 的 一 些 信 息 。 在 许多 情况 下 ， 我 们 对 输入 分 
布 了 解 很 少 。 即 使 知道 输入 分 布 的 某 些 信息 ， 也 可 能 无 法 从 计算 上 对 该 分 布 知 识 建立 模型 。 然 
而 ， 我 们 通过 使 一 个 算法 中 某 部 分 的 行为 随机 化 ， 常 可 以 利用 概率 和 随机 性 作为 算法 设计 和 分 
析 的 工具 。 

在 雇用 问题 中 ， 看 起 来 应 聘 者 好 像 以 随机 顺序 出 现 ， 但 我 们 无 法 知道 是 否 的 确 如 此 。 因 此 ， 
为 了 设计 雇用 问题 的 一 个 随机 算法 ， 我 们 必须 对 面试 应 聘 者 的 次 序 有 更 大 的 控制 。 所 以 ， 稍 稍 改 
变 这 个 模型 。 假 设 雇用 代理 有 7 个 应 聘 者 ， 而 且 他 们 事先 给 我 们 一 份 应 聘 者 名 单 。 每 天 随机 选择 
某 个 应 聘 者 来 面试 。 尽 管 除了 应 聘 者 的 名 字 外 对 其 他 信息 一 无 所 知 ， 但 我 们 已 经 做 了 一 个 显著 
的 改变 。 不 是 像 以 前 依赖 于 猜测 应 聘 者 以 随机 次 序 出 现 ， 取 而 代 之 ， 我 们 获得 了 对 流程 的 控制 并 
且 加 强 了 随机 次 序 。 

更 一 般 地 ， 如 果 一 个 算法 的 行为 不 仅 由 输入 决定 ， 而 且 也 由 随机 数 生 成 器 (random-number 
generator) 产 生 的 数值 决定 ， 则 称 这 个 算法 是 随机 的 (randomized) 。 我 们 将 假设 有 一 个 可 以 自由 
使 用 的 随机 数 生 成 器 RANDOM。 调用 RANDOM(a， 刀 将 返回 一 个 介 于 a 和 2 之 间 的 整数 ， 并 
且 每 个 整数 以 等 概率 出 现 。 例 如 ，RANDOM(0，1) 产 生 0 的 概率 是 1/2， 产 生 1 的 概率 也 是 1/2。 
调用 RANDOM(3，7) 将 返回 3、4、5、6 或 7， 每 个 出 现 的 概率 都 是 1/5。 每 次 RANDOM 返回 
的 整数 独立 于 前 面 调用 的 返回 值 。 可 以 将 RANDOM MS MRP —th (O—-at+D MWR, HY 
现 的 点 数 。( 在 实践 中 ， 大 多 数 编程 环境 会 提供 一 个 伪 随 机 数 生成 器 ， 它 是 一 个 确定 性 算法 ， 返 
回 值 在 统计 上 看 起 来 是 随机 的 。) 

当 分 析 一 个 随机 算法 的 运行 时 间 时 ， 我 们 以 运行 时 间 的 期 望 值 衡 量 ， 其 中 输入 值 由 随机 数 
生成 器 产生 。 我 们 将 一 个 随机 算法 的 运行 时 间 称 为 期 望 运行 时 间 ， 以 此 来 区 分 这 类 算法 和 那些 
输入 是 随机 的 算法 。 一 般 而 言 ， 当 概率 分 布 是 在 算法 的 输入 上 时 ， 我 们 讨论 的 是 平均 情况 运行 时 
间 ; 当 算 法 本 身 做 出 随机 选择 时 ， 我 们 讨论 其 期 望 运行 时 间 。 


练习 
5.1-1 WH: 假设 在 过 程 HIRE-ASSISTANT 的 第 4 行 中 ， 我 们 总 能 决定 哪 一 个 应 聘 者 最 佳 ， 
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则 意味 着 我 们 知道 应 聘 者 排名 的 全 部 次 序 。 

«5.1-2 ”请 描述 RANDOM(a， 亿 过 程 的 一 种 实现 ， 它 只 调用 RANDOM(0，1)。 作 为 a 和 6 WA 
数 ， 你 的 过 程 的 期 望 运行 时 间 是 多 少 ? 

*5.1-3 假设 你 希望 以 1/2 的 概率 输出 0 与 1。 你 可 以 自由 使 用 一 个 输出 0 或 1 的 过 程 BIASED- 
RANDOM., 它 以 某 概率 pp 输出 1， 概 率 1 一 p 输 出 0， 其 中 0<p<=1, 但 是 zp 的 值 未 知 。 
请 给 出 一 个 利用 BIASED-RANDOM 作为 子 程序 的 算法 ， 返 回 一 个 无 偏 的 结果 ， 能 以 概 
率 1/2 返回 0， 以 概率 1/2 返回 1。 作 为 p 的 函数 ， 你 的 算法 的 期 望 运行 时 间 是 多 少 ? 


5.2 指示 器 随机 变量 
为 了 分 析 雇 用 问题 在 内 的 许多 算法 ， 我 们 采用 指示 器 随机 变量 (indicator random variable) 。 
它 为 概率 与 期 望 之 间 的 转换 提供 了 一 个 便利 的 方法 。 给 定 一 个 样本 空间 S 和 一 个 事件 A， 那 么 事 
件 A 对 应 的 指示 器 随机 变量 {A} ELH: 
1 如 果 A 发 生 
KA = 10 如 果 A 不 发 生 GD 
举 一 个 简单 的 例子 ， 我 们 来 确定 抛掷 一 枚 标准 硬币 时 正面 朝 上 的 期 望 次 数 。 样 本 空间 为 S= 
{H, T), 其 中 Pr{H}=Pr{T}=1/2. BP RENL—MEA SMES Xa ， 对 应 于 硬币 正面 朝 
上 的 事件 互 。 这 个 变量 计数 抛 硬 币 时 正面 朝 上 的 次 数 ， 如 果 正 面 朝 上 则 值 为 1， 和 否则 为 0。 我 们 
WR: 
1 WR HRE 
0 WATE 
在 一 次 抛掷 硬币 时 ， 正 面 朝 上 的 期 望 次 数 就 是 指示 器 变量 Xn 的 期 望 值 : 
E[X,] = E[I{H}] = 1+ Pr{H}+0- Pr{T} 
= 1 + (1/2) +0 (1/2) = 1/2 
因此 抛掷 一 枚 标准 硬币 时 ， 正 面 朝 上 的 期 望 次 数 是 1/2。 如 下 面 引 理 所 示 ， 一 个 事件 A 对 应 的 指 
示 器 随机 变量 的 期 望 值 等 于 事件 A 发 生 的 概率 。 
引 理 5. 1 给 定 一 个 样本 空间 S 和 S 中 的 一 个 事件 A， 设 X 王 I(A)， 那 么 ELXA] 王 Pr(A) 。 
证 明 由 等 式 (5. 1) 指 示 器 随机 变量 的 定义 ， 以 及 期 望 值 的 定义 ， 我 们 有 
ELX, ] = E[I{A}] = 1+ Pr{A}+0 + Pr{A} = Pr{A} 
ith A#ARS—A, MA 的 补 。 a 
虽然 指示 器 随机 变量 看 起 来 很 麻烦 ， 比 如 在 计算 单 枚 硬币 一 次 投掷 的 正面 次 数 期 望 时 ， 但 
是 它 在 分 析 重 复 随机 试验 时 是 有 用 的 。 例 如 ， 指 示 器 随机 变量 为 我 们 求 等 式 (C. 37) 的 结果 提供 
了 一 个 简单 方法 。 在 这 个 等 式 中 ， 我 们 分 别 考虑 出 现 0 个 、1 个 、2 个 … 正 面 朝 上 的 概率 ， 以 计 
算 抛 nn 次 硬币 时 正面 朝 上 的 次 数 。 等 式 (C. 38) 中 给 出 了 简单 方法 ， 隐 含 使 用 了 指示 器 随机 变量 。 
为 使 讨论 更 清楚 ， 我 们 设 指示 器 随机 变量 X; 对 应 第 i 次 抛 硬币 时 正面 朝 上 的 事件 : X; 二 I{ 第 i 次 
抛掷 时 出 现 事件 互 } 。 设 随机 变量 XER n 次 抛 硬币 中 出 现 正面 的 总 次 数 ， 于 是 


x= 31x, 
我 们 希望 计算 正面 朝 上 次 数 的 期 望 ， 所 以 对 上 面 等 式 两 边 取 期 望 ， 得 到 
ELX] = EL x, 
上 面 等 式 给 出 了 ”个 指示 器 随机 变量 总 和 的 期 望 值 。 由 引 理 5. 1， 我 们 容易 计算 出 每 个 随机 变量 


的 期 望 值 。 根 据 反 映 期 望 线性 性 质 的 等 式 (C. 21) ， 容 易 计 算出 总 和 的 期 望 值 : CSF n PBA 
变量 期 望 值 的 总 和 。 期 望 的 线性 性 质 利用 指示 器 随机 变量 作为 一 种 强大 的 分 析 技 术 ; 当 随 机 变量 


Xa = I{ H} = 
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之 间 存 在 依赖 关系 时 也 成 立 。 现 在 我 们 可 以 轻松 地 计算 正面 出 现 次 数 的 期 望 : 
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ELX] = FLX] = YELX = 1/2 = 0/2 

因此 ， 和 等 式 (C. 37) 中 用 到 的 方法 相 比 ， 指 示 器 随机 变量 极 大 地 简化 了 计算 过 程 。 我 们 将 在 本 
书 中 一 直 采 用 指示 器 随机 变量 。 

用 指示 器 随机 变量 分 析 雇 用 问题 

返回 到 雇用 问题 上 来 。 我 们 希望 计算 雇用 一 个 新 的 办 公 助 理 的 期 望 次 数 。 为 了 利用 概率 分 
析 ， 假 设 应聘 者 以 随机 顺序 出 现 ， 如 前 一 节 所 述 。( 我 们 将 看 到 在 5. 3 节 如 何 去 除 这 个 假设 。) 设 
X 是 一 个 随机 变量 ， 其 值 等 于 我 们 雇用 一 个 新 办 公 助 理 的 次 数 。 然 后 ， 应 用 等 式 (C. 20) 中 期 望 
值 的 定义 ， 得 到 


EX] = Sob =) 


但 是 这 种 计算 会 很 麻烦 。 取 而 代 之 ， 我 们 将 采用 指示 器 随机 变量 来 大 大 简化 计算 。 

为 了 利用 指示 器 随机 变量 ， 我 们 不 是 通过 定义 与 雇用 一 个 新 办 公 助 理 所 需 次 数 对 应 的 一 个 
变量 来 计算 ELX]， 而 是 定义 ”个 变量 ， 与 每 个 应 聘 者 是 否 被 雇用 对 应 。 特 别 地 ， 假 设 X: 对 应 于 
第 ;个 应 聘 者 被 雇用 该 事件 的 指示 器 随机 变量 。 因 而 ， 

1 如 果 应 聘 者 i 被 雇用 
一 
以 及 
yoke eos x (5. 2) 
根据 引 理 5.1， 我 们 有 
ELX;] = Pri MBH i REA} 
因此 必须 计算 HIRE-ASSISTANT 中 第 5 一 6 行 被 执行 的 概率 。 

在 第 6 行 中 ,应聘 者 i 被 雇用 ， 正 好 应 聘 者 i 比 从 1 到 i 一 1 的 每 一 个 应 聘 者 优秀 。 因 为 我 们 
已 经 假设 应 聘 者 以 随机 顺序 出 现 ， 所 以 前 i 个 应 聘 者 也 以 随机 次 序 出 现 。 这 些 前 i 个 应 聘 者 中 的 
任意 一 个 都 等 可 能 地 是 目前 最 有 资格 的 。 应 聘 者 i 比 应 聘 者 1 到 i 一 1 更 有 资格 的 概率 是 1/i， 因 
而 也 以 1/i 的 概率 被 雇用 。 由 引 理 5.1， 可 得 

ELX;] = 1/i (5. 3) 
现在 可 以 计算 ELX]: 


到 六 | 一 到 六 | (根据 等 式 (5. 2)) (5. 4) 
一 PEX] (根据 期 望 的 线性 性 质 ) 


二 六 1/ (根据 等 式 (5.3)) 


=Inn+O0) (根据 等 式 (A.7)) (5. 5) 

尽管 我 们 面试 了 个人， 但 平均 起 来 ,实际 上 大 约 只 雇用 他 们 之 中 的 lnn 个 人 。 我 们 用 下 面 的 引 
理 来 总 结 这 个 结果 。 

引 理 5.2 假设 应 聘 者 以 随机 次 序 出 现 ， 算 法 HIRE-ASSISTANT 总 的 雇用 费用 平均 情形 下 
A Olc, Inn). 

证 明 根据 雇用 费用 的 定义 和 等 式 (5. 5) ， 可 以 立即 推出 这 个 界 ， 说 明 雇 用 的 人 数 期 望 值 大 
约 是 lgn。 ] 

平均 情形 下 的 雇用 费用 比 最 坏 情 况 下 的 雇用 费用 Ocim A TRR. 
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练习 

5.2-1 在 HIRE-ASSISTANT 中 ,假设 应 聘 者 以 随机 顺序 出 现 ， 你 正好 雇用 一 次 的 概率 是 多 少 ? 
正好 雇用 nn 次 的 概率 是 多 少 ? 

5.2-2 在 HIRE-ASSISTANT 中 ,假设 应 聘 者 以 随机 顺序 出 现 ， 你 正好 雇用 两 次 的 概率 是 多 少 ? 

5.2-3 ”利用 指示 器 随机 变量 来 计算 掷 ”个 他 子 之 和 的 期 望 值 。 

5.2-4 利用 指示 器 随机 变量 来 解 如 下 的 帽子 核对 问题 (hatheck problem): n 位 顾客 ， 他 们 每 个 
人 给 餐厅 核对 帽子 的 服务 生 一 项 帽子 。 服 务 生 以 随机 顺序 将 帽子 归还 给 顾客 。 请 问 拿 到 
自己 帽子 的 客户 的 期 望 数 是 多 少 ? 

5.2-5 设 ALl..nj] 是 由 个 不 同 数 构成 的 数列 。 如 果 ;< HALSALL], WEG, 站 对 为 A 的 
一 个 逆序 对 (inversion) 。( 参 看 思考 题 2-4 中 更 多 关于 逆序 对 的 例子 。) 假 设 A 的 元 素 构成 
《人 1，2，…， 好 上 的 一 个 均匀 随机 排列 。 请 用 指示 器 随机 变量 来 计算 其 中 逆序 对 的 数目 
期 望 。 


5.3 随机 算法 


在 前 面 一 节 中 ， 我 们 已 说 明了 输入 的 分 布 是 如 何 有 助 于 分 析 一 个 算法 的 平均 情况 行为 。 许 
多 时 候 ， 我 们 无 法 得 知 输入 分 布 的 信息 ， 因 而 阻碍 了 平均 情况 分 析 。 如 5. 1 节 中 所 提 及 ， 我 们 也 
许可 以 采用 一 个 随机 算法 。 

对 于 诸如 雇用 问题 之 类 的 问题 ， 其 中 假设 输入 的 所 有 排列 等 可 能 出 现 往往 有 益 ， 通 过 概率 
分 析 可 以 指导 设计 一 个 随机 算法 。 我 们 不 是 假设 输入 的 一 个 分 布 ， 而 是 设 定 一 个 分 布 。 特 别 地 ， 
在 算法 运行 前 ， 先 随机 地 排列 应 聘 者 ， 以 加 强 所 有 排列 都 是 等 可 能 出 现 的 性 质 。 尽 管 已 经 修改 了 
这 个 算法 ， 我 们 仍 希 望 雇用 一 个 新 的 办 公 助 理 大 约 需要 Inn 次 期 望 值 。 但 是 现在 我 们 期 望 对 于 所 
有 的 输入 它 都 是 这 种 情况 ， 而 不 是 对 于 一 个 具有 特别 分 布 的 输入 。 

我 们 来 进一步 探索 概率 分 析 和 随机 算法 之 间 的 区 别 。 在 5. 2 节 中 ， 我们 断言 如果 应 聘 者 以 
随机 顺序 出 现 ， 则 聘用 一 个 新 办 公 助 理 的 期 望 次 数 大 约 是 lnn。 注 意 ， 这 个 算法 是 确定 性 的 ; 对 
于 任何 特定 输入 ， 雇 用 一 个 新 办 公 助 理 的 次 数 始终 相同 。 此 外 ， 我 们 雇用 一 个 新 办 公 助 理 的 次 数 
将 因 输入 的 不 同 而 不 同 ， 而 且 依 赖 于 各 个 应 聘 者 的 排名 。 既 然 次 数 仅 依赖 于 应 聘 者 的 排名 ， 我 们 
可 以 使 用 应 聘 者 的 有 序 排名 列表 来 代表 一 个 特定 的 输入 ， 例 如 《rank(1)，rank(2)，…，rank(n))。 给 
定 排名 列表 A=, 2, 3, 4, 5, 6, 7, 8, 9, 10), 一 个 新 的 办 公 助 理会 雇用 10 次 ， 因 为 每 
一 个 后 来 应 聘 者 都 优 于 前 一 个 ， 在 算法 的 每 次 迭代 中 ,第 5 一 6 行 都 要 被 执行 。 给 定 排名 列表 
A,=(10, 9, 8, 7, 6, 5, 4, 3, 2, 1), 一 个 新 的 办 公 助 理 只 雇用 一 次 ， 在 第 一 次 迭代 中 。 给 
定 排名 序列 As =(5, 2, 1, 8, 4, 7, 10, 9, 3, 6), 一 个 新 的 办 公 助 理会 雇用 三 次 ， 即 面试 排 
名 为 5、8 和 10 的 3 位 应 聘 者 。 回 顾 一 下 ， 算 法 的 费用 依赖 于 雇用 一 个 新 办 公 助 理 的 次 数 。 我 们 
可 以 看 到 ， 有 昂贵 的 输入 (如 A) 、 不 贵 的 输入 (如 A;)， 以 及 适中 贵 的 输入 (如 A). 

另外 ， 考 虑 先 对 应 聘 者 进行 排列 ， 然 后 确定 最 佳 应 聘 者 的 随机 算法 。 此 时 ， 我 们 证 随机 发 生 
在 算法 上 ， 而 不 是 在 输入 分 布 上 。 给 定 一 个 输入 ， 如 上 面 的 A; ， 我 们 无 法 说 出 最 大 值 会 被 更 新 
多 少 次 ， 因 为 此 变量 在 每 次 运行 该 算法 时 都 不 同 。 第 一 次 在 A; 上 运行 这 个 算法 时 ， 可 能 会 产生 
排列 A, 并 执行 10 次 更 新 ; 但 第 二 次 运行 算法 时 ， 可 能 会 产生 排列 A, 并 只 执行 1 次 更 新 。 第 三 
次 执行 时 ， 可 能 会 产生 其 他 次 数 的 更 新 。 每 次 运行 这 个 算法 时 ， 执 行 依赖 于 随机 选择 ， 而 且 很 可 
能 和 前 一 次 算法 的 执行 不 同 。 对 于 该 算法 及 许多 其 他 的 随机 算法 ， 没有 特别 的 输入 会 引出 它 的 
最 坏 情 况 行为 。 即 使 你 最 坏 的 敌人 也 无 法 产生 最 坏 的 输入 数组 ， 因 为 随机 排列 使 得 输入 次 序 不 
再 相关 。 只 有 在 随机 数 生成 器 产生 一 个 “不 走运 ”的 排列 时 ， 随 机 算法 才 会 运行 得 很 差 。 
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对 于 雇用 问题 ， 代 码 中 唯一 需要 改变 的 是 随机 地 变换 应 聘 者 序列 。 


RANDOMIZED-HIRE-ASSISTANT (x) 

1 randomly permute the list of candidates 

2 best = 0 // candidate 0 is a least-qualified dummy candidate 

3 fori = liton 

4 interview candidate i 

5 if candidate i is better than candidate best 

6 best = i 

7 hire candidate i 
通过 这 个 简单 改变 ， 我 们 已 经 建立 了 一 个 随机 算法 ， 其 性 能 和 假设 应 聘 者 以 随机 次 序 出 现 所 得 
结果 是 匹配 的 。 

引 理 5. 3 过 程 RANDOMIZED-HIRE-ASSISTANT 的 雇用 费用 期 望 是 OCcilnn)。 

证 明 对 输入 数组 进行 变换 后 ， 我 们 已 经 达到 了 和 HIRE-ASSISTANT 概率 分 析 时 相同 的 
情况 。 a 

比较 引 理 5. 2 和 引 理 5. 3 突出 了 概率 分 析 和 随机 算法 的 差别 。 在 引 理 5. 2 中 ， 我 们 在 输入 上 
做 了 一 个 假设 。 在 引 理 5. 3 中， 我 们 没有 做 这 种 假设 ， 尽 管 随机 化 输入 会 花费 一 些 额 外 时 间 。 为 
了 保持 术语 的 一 致 性 ， 我 们 用 平均 情形 下 的 雇用 费用 来 表达 引 理 5. 2， 而 用 期 望 雇用 费用 来 表达 
引 理 5. 3。 在 本 节余 下 部 分 里 ， 我 们 讨论 关于 随机 排列 输入 的 一 些 议题 。 

随机 排列 数组 

很 多 随机 算法 通过 对 给 定 的 输入 变换 排列 以 使 输入 随机 化 。( 还 有 其 他 使 用 随机 化 的 方法 。) 
这 里 ， 我 们 将 讨论 两 种 随机 化 方法 。 不 失 一 般 性 ， 假 设 给 定 一 个 数组 A， 包 含 元 素 1 到 n。 我 们 
的 目标 是 构造 这 个 数组 的 一 个 随机 排列 。 

一 个 通常 的 方法 是 为 数组 的 每 个 元 素 ALi] 赋 一 个 随机 的 优先 级 PLi]， 然 后 依据 优先 级 对 数 
组 A 中 的 元 素 进行 排序 。 例 如 ， 如 果 初 始 数组 A 二 (1，2，3，4);， 随 机 选择 的 优先 级 P 二 (36， 
3，62，19)， 则 将 产生 一 个 数组 B= 二 (2，4，1，3)， 因 为 第 2 个 优先 级 最 小 ， 接 下 来 是 第 4 个 ， 
然后 第 1 个 ， 最 后 第 3 个 。 我 们 称 这 个 过 程 为 PERMUTE-BY-SORTING: 


PERMUTE-BY-SORTING(A) 
1 n = A. length 
let P[1. .n] be a new array 


PLi] = RANDOM(1, n°) 


2 
3 fori = lton 
4 
5 sort A, using P as sort keys 


第 4 行 选取 一 个 在 on 之 间 的 随机 数 。 我 们 使 用 范围 o 是 为 了 让 P 中 所 有 优先 级 尽 可 能 唯 
一 。( 练 习 5. 3-5 要 求 读者 证 明 所 有 元 素 都 唯一 的 概率 至 少 是 1 一 1/n， 练习 5. 3-6 问 如 何在 两 个 
或 更 多 优先 级 相同 的 情况 下 ， 实 现 这 个 算法 。) 我 们 假设 所 有 的 优先 级 都 唯一 。 

这 个 过 程 中 耗 时 的 步骤 是 第 5 行 的 排序 。 正 如 我 们 将 在 第 8 章 看 到 的 那样 ， 如 果 使 用 比较 排 
序 ， 排 序 将 花费 Qlnlgn) 时 间 。 我 们 可 以 达到 这 个 下 界 ， 因 为 我 们 已 经 看 到 归并 排序 时 间 代 价 为 
enlgn)。( 我 们 将 在 第 二 部 分 看 到 ， 其 他 的 比较 排序 花费 时 间 代 价 为 8(nlgn)。 练 习 8. 3-4 要 求 
读者 解决 一 个 非常 类 似 的 问题 ， 在 O(n) 时间 内 对 O~ ne — 1 范围 之 内 的 整数 排序 。) 排 序 以 后 ， 如 
R PLi 是 第 7 个 最 小 的 优先 级 ， 那 么 A[ 引 将 出 现在 输出 位 置 ; 上 。 用 这 种 方式 ， 我 们 得 到 了 一 
个 排列 。 还 需要 证 明 这 个 过 程 能 产生 一 个 均匀 随机 排列 ， 即 该 过 程 等 可 能 地 产生 数字 ~~ 的 每 
一 种 排列 。 

引 理 5.4 假设 所 有 优先 级 都 不 同 ， 则 过 程 PERMUTE-BY-SORTING 产生 输入 的 均匀 随机 
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排列 。 

证 明 ”我 们 从 考虑 每 个 元 素 A[ 让 分 配 到 第 ; 个 最 小 优先 级 的 特殊 排列 开始 ， 并 说 明 这 个 排列 
正好 发 生 的 概率 是 1/n!。 对 i 二 1，2，…，n， 设 E RURAL ABR i 个 最 小 优先 级 的 事 
件 。 然 后 我 们 想 计算 对 所 有 的 i， 事件 E 发生 的 概率 ， 即 

Pr{E N E N Es fy N Bea N En? 

运用 练习 C. 2-5， 这 个 概率 等 于 

Pri Ey} » Pr{E, | Ey} + Pr{E; | 五 NE? » Pr{E, | E; 1&1 Er? 

“Pri kz; [Ex (E-a 1) = N Bape Prue, [Bua Mee NE? 

因为 Pr{E} 是 从 一 个 元素 的 集合 中 随机 选取 的 优先 级 最 小 的 概率 ， 所 以 有 Pr{E,}=1/n. F 
K, 我们 观察 到 Pr{E | EE ) 二 1/(n 一 1)， 因 为 假定 元 素 AL1] 有 最 小 的 优先 级 ,余下 来 的 n 一 1 个 
元 素 都 有 相等 的 可 能 成 为 第 二 小 的 优先 级 别 。 一 般 地 ， 对 i 二 2，3，…，n, RIJA Pr(E |E 站 
Ez 门 … 门 i) 二 1/(n 一 i 十 1)。 因 为 给 定 元 素 ALJA ALi 一 1]j( 按 顺序 ) 有 前 i 一 1 NCR, R 
下 的 n 一 (i 一 1) 个 元 素 中 ， 每 一 个 都 等 可 能 具有 第 i 小 优先 级 。 所 以 有 


P(E, N E NE NN En NED =(4+)(—4)--(4)(4) = 了 


n— 1 n! 

并 且 我 们 已 说 明 ， 获 得 等 同 排列 的 概率 是 1/z! 。 

我 们 可 以 扩展 这 个 证 明 ， 使 其 对 任何 优先 级 的 排列 都 有 效 。 考 虑 集合 {1，2，…，n} 的 任意 
一 个 确定 排列 o=), o2), =, on) RIH r 表示 赋予 元 素 ALij 优 先 级 的 排名 ， 其 中 优 
先 级 第 j 小 的 元 素 名 次 为 i WREN E: 为 元 素 A[ 引 分 配 到 优先 级 第 oC 让 小 的 事件 ,或 者 r= 
ol(i)， 则 同样 的 证 明 仍 适用 。 因 此 ， 如 果 要 计算 得 到 任何 特定 排列 的 概率 ， 该 计算 与 前 面 的 计算 
完全 相同 ， 于 是 得 到 此 排列 的 概率 也 是 1/n!。 = 

RARES, SEWER —-S FES EY BEL AR, RUE Fe foc ALi, CHEE 
位 置 7 的 概率 是 1/n。 练 习 5. 3-4 证 明 这 个 弱 条 件 实际 上 并 不 充分 。 

产生 随机 排列 的 一 个 更 好 方法 是 原址 排列 给 定数 组 。 过 程 RANDOMIZE-IN-PLACE 在 O(n) 
时 间 内 完成 。 在 进行 第 i KER, TR A[ 引 是 从 元 素 AJA A[Lnj 中 随机 选取 的 。 第 i 次 迭代 
以 后 ，A[i 不 再 改变 。 

RANDOMIZE-IN-PLACE(A) 

1 n = A. length 


2 fori = 1ton 
3 swap A[i] with A[RANDOM Ci, n)] 


我 们 将 使 用 循环 不 变 式 来 证 明 过 程 RANDOMIZE-IN-PLACE 能 产生 一 个 均匀 随机 排列 。 一 
个 具有 个 元 素 的 k 排列 (&-permutation) 是 包含 这 个 元 素 中 的 & 个 元 素 的 序列 ， 并 且 不 重复 ( 参 
见 附录 C)。 一 共有 nl /(n—k)! 种 可 能 的 排列 。 126 

引 理 5.5 过 程 RANDOMIZE-IN-PLACE 可 计算 出 一 个 均匀 随机 排列 。 

证 明 我们 使 用 下 面 的 循环 不 变 式 : 

在 第 2 一 3 行 for 循环 的 第 ;次 迭代 以 前 ， 对 每 个 可 能 的 (; 一 1) 排 列 ， 子 数组 A[1.. i 一 1] 

包含 这 个 (i 一 1) 排 列 的 概率 是 (n 一 i 十 1)!1 /zl 。 
我 们 需要 说 明 这 个 不 变 式 在 第 1 次 循环 迭代 以 前 为 真 ， 循 环 的 每 次 迭代 能 够 维持 此 不 变 式 ， 并 且 
当 循环 终止 时 ， 这 个 不 变 式 提供 一 个 有 用 的 性 质 来 说 明正 确 性 。 

初始 化 : 考虑 正好 在 第 1 次 循环 迭代 以 前 的 情况 ， 此 时 ;一 1。 由 循环 不 变 式 可 知 ， 对 每 个 可 
能 的 0 排列 ， 子 数组 AL1. . 0] 包 含 这 个 0 排列 的 概率 是 (一 ;十 1)1 /n! =n! /n! 二 1。 子 数组 
AL1. .0] 是 一 个 空 的 子 数组 ， 并 且 0 排列 也 没有 元 素 。 因 而 ，A[1..0] 包 含 任何 0 排列 的 概率 是 
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1， 在 第 1 次 循环 迭代 以 前 循环 不 变 式 成 立 。 

保持 : 我 们 假设 在 第 i 次 迭代 之 前 ， 每 种 可 能 的 (i 一 1) 排 列 出 现在 子 数组 ALL .i 一 1] 中 的 概 
率 是 (n 一 i 十 1)1 /n!， 我 们 要 说 明 在 第 i 次 迭代 以 后 ， 每 种 可 能 的 i 排列 出 现在 子 数 组 ALl. 7] 
中 的 概率 是 (n 一 户 ! /n!。 下 一 次 迭代 i 累加 后 ， 还 将 保持 这 个 循环 不 变 式 。 

我 们 来 检查 第 i 次 迭代 。 考 虑 一 个 特殊 的 i 排列 ， 并 以 (zl，xs，…，zi) 来 表示 其 中 的 元 素 。 
这 个 排列 中 包含 一 个 (i 一 1) 排 列 (zx1，xz:，…，Zi;-1)， 后 面 接着 算法 在 ALij] 里 放置 的 值 x;。 设 孔 
表示 前 i 一 1 次 迭代 已 经 在 A[1..i 一 1j 中 构造 了 特殊 (i 一 1) 排 列 的 事件 。 根 据 循环 不 变 式 ， 
Pr{E,}=(n—i+1)! /nl。 设 E: 表示 第 i 次 迭代 在 位 置 A[ij 放 置 c 的 事件 。 当 E 和 EE 恰好 都 
BAM, i 排列 《zi es co BRE ALL. iP, AI, 我们 希望 计算 PENNE}. WASH 
(C. 14) ， 我 们 有 

Pr{E, al E} = Pri{E, | E,}Pr{E,} 
概率 Pr{E | Fi) 等 于 1/(n 一 i 十 1)， 因 为 在 算法 第 3 行 ， 从 A[i..nj 的 n 一 i 十 1 个 值 中 随机 选取 
zo 因此， 我 们 有 
PHB, N E) = Pr(B |E Prie) = i t E -aa 

终止 : IER, i=n+1, FAHA ALL. .站 是 一 个 给 定 nn 排列 的 概率 为 (n 一 (xn 十 1) 十 1)/n! = 
O! /ml =1/n!. 

Alt, RANDOMIZE-IN-PLACE 产生 一 个 均匀 随机 排列 。 a 

一 个 随机 算法 通常 是 解决 一 个 问题 最 简单 、 最 有 效 的 方法 。 我 们 将 在 本 书 中 偶尔 用 到 随机 
算法 。 


练习 


5.3-1 Marceau 教授 不 同意 引 理 5. 5 证 明 中 使 用 的 循环 不 变 式 。 他 对 第 1 次 迭代 之 前 循环 不 变 式 
是 否 为 真 提 出 质疑 。 他 的 理由 是 ， 我 们 可 以 很 容易 宣称 一 个 空 数 组 不 包含 0 排列 。 因 此 ， 
一 个 空 的 子 数组 包含 一 个 0 排列 的 概率 应 是 0， 从 而 第 1 次 迭代 之 前 循环 不 变 式 无 效 。 请 
重 写 过程 RANDOMIZE-IN-PLACE， 使 得 相关 循环 不 变 式 适 用 于 第 1 次 迭代 之 前 的 非 空 
子 数 组 ， 并 为 你 的 过 程 修改 引 理 5. 5 的 证 明 。 

5.3-2 Kelp 教授 决定 写 一 个 过 程 来 随机 产生 除 恒 等 排 列 (identity permutation) 外 的 任意 排列 。 他 
提出 了 如 下 过 程 ， 
PERMUTE-WITHOUT-IDENTITY(A) 
1 n = A. length 
2 fori =l1ton— 1 
3 swap A[i] with ALRANDOMG + 1, n)] 


这 段 代 码 实现 了 Kelp 教授 的 意图 吗 ? 
5.3-3 ”假设 我 们 不 是 将 元 素 A[ 门 与 子 数组 ALi. .nj 中 的 一 个 随机 元 素 交 换 ， 而 是 将 它 与 数组 任 
何 位 置 上 的 随机 元 素 交 换 .: 
PERMUTE-WITH-ALL(A) 
l n = A. length 


2 fori = l1ton 
3 swap A[i] with A[RANDOM(1, n)] 


这 段 代码 会 产生 一 个 均匀 随机 排列 吗 ? 为 什么 会 或 为 什么 不 会 ? 
5.3-4 Armstrong 教授 建议 用 下 面 的 过 程 来 产生 一 个 均匀 随机 排列 
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PERMUTE-BY-CYCLIC(A) 

1 n = A. length 

2 let B[1..n] be a new array 
3 offset = RANDOM(1, n) 
4 fori = 1ton 

5 dest = i + offset 
6 if dest >n 

T dest = dest — n 
8 Bldest] = Ali] 

9 


return B 


请 说 明 每 个 元 素 ALC SE B 中 任何 特定 位 置 的 概率 是 1/n。 然 后 通过 说 明 排 列 结果 不 
是 均匀 随机 排列 ， 表 明 Armstrong 教授 错 了 ，。 
*5.3-5 证明 : 在 过 程 PERMUTE-BY-SORTING 的 数组 P 中 ， 所 有 元 素 都 唯一 的 概率 至 少 是 1 一 1/n。 
5.3-6 请 解释 如 何 实现 算法 PERMUTE-BY-SORTING， 以 处 理 两 个 或 更 多 优先 级 相同 的 情形 。 
也 就 是 说 ， 即 使 有 两 个 或 更 多 优先 级 相同 ， 你 的 算法 也 应 该 产生 一 个 均匀 随机 排列 。 
5.3-7 ”假设 我 们 希望 创建 集合 {1，2，3，…，n} 的 一 个 随机 样本 ， 即 一 个 具有 m 个 元 素 的 集合 
S， 其 中 0 二 mn， 使 得 每 个 m 集合 能 够 等 可 能 地 创建 。 一 种 方法 是 对 i 二 1，2, …, on 
设 A[ 本 =i,， 调 用 RANDOMIZE-IN-PLACE(A)， 然 后 取 最 前 面 的 m 个 数组 元 素 。 这 种 方 
法 会 对 RANDOM WHA nK. Wn tim KRE, 我 们 能 够 创建 一 个 随机 样本 ， 只 
对 RANDOM 调用 更 少 的 次 数 。 请 说 明 下 面 的 递归 过 程 返回 {1，2，3，…，n) 的 一 个 随 
机 m 子 集 S， 其 中 每 个 mm 子 集 是 等 可 能 的 ， 然 而 只 对 RANDOM HH mK. 
RANDOM-SAMPLE(m, n) 
1 ifm==0 
2 return Z 
3 else S = RANDOM-SAMPLE(m — 1, n— 1) 
4 i = RANDOM(1, n) 
5 ifi € S 
6 S=SU {n} 
7 else S = S U {i} 
8 


return S 


5.4 概率 分 析 和 指示 器 随机 变量 的 进一步 使 用 

本 节 通 过 4 个 例子 进一步 阐释 概率 分 析 。 第 1 个 例子 确定 在 一 个 有 个 人 的 屋子 中 ， 某 两 个 
人 生日 相同 的 概率 。 第 2 个 例子 讨论 把 球 随机 投入 箱子 的 问题 。 第 3 个 例子 探究 抛 硬币 时 连续 出 
现 正面 的 情况 。 最 后 一 个 例子 分 析 雇用 问题 的 一 个 变形 ， 其 中 你 必须 在 没有 面试 所 有 的 应 聘 者 
时 做 出 决定 。 


5.4.1 ÆA 


我 们 的 第 一 个 例子 是 生日 悖 论 。 一 个 屋子 里 人 数 必 须要 达到 多 少 人 ,才能 使 其 中 两 人 生日 
相同 的 机 会 达到 50%? 这 个 问题 的 答案 是 一 个 很 小 的 数值 ， 让 人 吃惊 。 下 面 我 们 将 看 到 ， 所 出 
现 的 悖 论 在 于 ， 这 个 数目 实际 上 远 小 于 一 年 中 的 天 数 ， 甚 至 不 足 一 年 天 数 的 一 半 。 

为 了 回答 这 个 问题 ， 我 们 用 整数 1，2，…, & 对 屋子 里 的 人 编号 ， 其 中 是 屋子 里 的 总 人 
数 。 另 外 ， 我 们 不 考虑 国 年 的 情况 ， 并 且 假 设 所 有 年 份 都 有 n 二 365 R. XF i=1, 2, =, k, 
wb; 表示 编号 为 i 的 人 的 生日 ， 其 中 1<6; 亿 n。 还 假设 生日 均匀 分 布 在 一 年 的 n 天 中 ， 因 此 对 
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i=1, 2, =, RAlr=1, 2, =, n, Pr{b=r}=1/n. 
DANA i 和 7 的 生日 正好 相同 的 概率 依赖 于 生日 的 随机 选择 是 否 独立 。 从 现在 开始 ， 假 设 生 
日 是 独立 的 ， 于 是 i 和 j 的 生日 都 落 在 同一 日 + 上 的 概率 是 
Pr{b, = r E b; = r} = Pri’, = r}Pr{b = r} = 1/7? 
这 样 ， 他 们 的 生日 落 在 同一 天 的 概率 是 


Pr{b; = b;} = yr =r Eb =r} = Gy?) =1/n (5. 6) 
r=1 


更 直观 地 说 ,一 旦 选 定 o,, b 被 选 在 同一 天 的 概率 是 1/n。 因 此 ，i 和 j 有 相同 生日 的 概率 与 他 们 
其 中 一 个 的 生日 落 在 给 定 一 天 的 概率 相同 。 然 而 需要 注意 ， 这 个 巧合 依赖 于 各 人 的 生日 是 独立 
的 这 个 假设 。 

我 们 可 以 通过 考察 一 个 事件 补 的 方法 ， 来 分 析 & 个 人 中 至 少 有 两 人 生日 相同 的 概率 。 至 少 有 
两 个 人 生日 相同 的 概率 等 于 1 减 去 所 有 人 生日 都 不 相同 的 概率 。& 个 人 生日 互 不 相同 的 事件 为 


B= [| A 
其 中 A; 是 指 对 所 有 7 <i, i 与 ) 生日 不 同 的 事件 。 既然 可 以 写成 B =A NBs HARC. 16) 
可 得 递归 式 
Pr{B,} = Pr{B, i}Pr{A, | Baa} (5.7) 

其 中 取 Pr{B,}=Pr{A,}=1 作为 初始 条 件 。 换 句 话 说 ， 对 i 二 1，2，…,，k 一 1， IRIE bis bzs oes 
b:-1 两 两 不 同 ， 那么 bis bzs sty b DG AAS Te] 1 BES b, bzs etts p_i 两 两 不 同 的 概率 乘 以 
i=l, 2, +, R-1N bb: 的 概率 。 

WR bs bo ots ba PATA], MP i= 1, 2, +, R-1, FO; 的 条 件 概率 是 Pr{A | B 1}= 
(n 一 k 十 1)/n， 这 是 因为 n 天 中 有 nn 一 (& 一 1) 天 没 被 占用 。 我 们 反复 应 用 递归 式 (5. 7) 得 到 

Pr(B,) = Pri Bea Pria |B} 
= Pr{ Bez }Pr{ Am | B,2}Pr{A, |B? 


2 Pr{B, }Pr{A,; | Bi}Pr{A; | B,}°*Pr(A, |B} 
Z (2—+) (2) (=H) 

1 2 = 
=I ae 


由 不 等 式 (3. 12) ，1 十 z 和 er ， 我 们 得 出 








Pr{ By} L eWeek/ 一 Ta" = eke Din < 1/2 
当 一 k(k 一 1)/2n 声 In(1/2) 时 成 立 。 当 有 (k 一 1) 宇 2n ln2, RH. OKIE, 4eSat 
V1+(8In2)n)/2 时， 所 有 个 生日 两 两 不 同 的 概率 至 多 是 1/2。 当 n= 二 365 时 ， 必 有 RS 23, A 
而 ， 如 果 至 少 有 23 个 人 在 一 间 屋 子 里 ， 那 么 至 少 有 两 个 人 生日 相同 的 概率 至 少 是 1/2。 在 火星 
上 ， 一 年 有 669 个 火星 日 ， 所 以 达到 相同 效果 须 有 31 个 火星 人 。 
采用 指示 器 随机 变量 的 一 个 分 析 
我 们 可 以 利用 指示 器 随机 变量 给 出 生日 悖 论 的 一 个 简单 而 近似 的 分 析 。 对 屋子 里 & 个 人 中 的 
每 一 对 (i，7)， 对 1 二 二 7 二 &， 定 义 指 示 器 随机 变量 X; 如 下 : 
Aree z 1 wR ify 生日 相同 
Xs 一 [人 和 了 生日 相同 ) 一 | 其 人 
根据 等 式 (5. 6) ， 两 个 人 生日 相同 的 概率 是 1/n， 因 此 据 引 理 5. 1， 我 们 有 
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ELX, ] = Pr(i 和 7 生日 相同 ) =1/n 
设 X 表 示 计 数 生 日 相同 两 人 对 数目 的 随机 变量 ， 我 们 有 


ELX] = e| Hix] ar i DELX,] sa (>) = 


i=1j G 


因此 ， 当 (一 1) 宇 2n 时 ， 生 日 相同 的 两 人 对 的 期 望 数 至 少 是 1。 因此， 若 屋 子 里 至 少 有 V2n 十 1 
个 人 ,我 们 可 以 期 望 至 少 有 两 人 生日 相同 。 对 于 n= 二 365,， 若 二 28， 生 日 相同 人 对 数目 的 期 望 值 
H28 © 27)/(2 + 365) 1.0356. Ak, WREDA 28 人 ， 我 们 可 以 期 望 找到 至 少 一 对 人 生日 
相同 。 在 火星 上 ， 一 年 有 669 个 火星 日 ， 我 们 至 少 需要 38 个 火星 人 。 

第 一 种 分 析 仅 用 了 概率 ， 确 定 了 为 使 存在 至 少 一 对 人 生日 相同 概率 大 于 1/2 所 需 的 人 数 ; 第 
二 种 分 析 使 用 了 指示 器 随机 变量 ， 给 出 了 相同 生日 期 望 数 为 1 时 的 人 数 。 虽 然 两 种 情形 下 人 的 准 
确 数目 不 同 ， 但 它们 在 渐 近 阶 数 上 是 相等 的 ， 都 为 BCVm) 。 


5.4.2 球 与 箱子 


现在 我 们 来 考虑 这 样 一 个 过 程 ， 即 把 相同 的 球 随机 投 到 5 个 箱子 里 ， 箱 子 编号 为 1，2，…， 
5。 每 次 投球 都 是 独立 的 ， 每 一 次 投球 ， 球 等 可 能 落 在 每 一 个 箱子 中 。 球 落 在任 一 个 箱子 中 的 概 
率 为 /5。 困 此， 投球 的 过 程 是 一 组 伯 努 利 试验 (参见 附录 C. 4)， 每 次 成 功 的 概率 是 1/5， 其 中 
成 功 是 指 球 落 人 指定 的 箱子 中 。 这 个 模型 对 分 析 散 列 ( 参 见 第 11 章 ) 特 别 有 用 ， 而 且 我 们 可 以 回 
答 关于 该 投球 过 程 的 各 种 有 趣 问 题 。( 思 考题 C-1 提出 了 另外 一 些 关 于 球 和 箱子 的 问题 。) 

有 多 少 球 落 在 给 定 的 箱子 里 ? 落 在 给 定 箱子 里 的 球 数 服从 二 项 分 布 Ck; n 1/0), MRB n 
个 球 ， 公 式 (C. 37) 告 诉 我 们 ， 落 在 给 定 箱子 里 的 球 数 期 望 值 是 /6。 

在 平均 意义 下 ， 我 们 必须 要 投 多 少 个 球 ， 才 能 在 给 定 的 箱子 里 投 中 一 个 球 ? 直至 给 定 箱子 收 到 一 
个 球 的 投球 次 数 服从 几何 分 布 ， 概 率 为 1/6， 根 据 等 式 (C. 32)， 成 功 的 投球 次 数 期 望 是 1/0/)=b, 

我 们 需要 投 多 少 次 球 ， 才 能 使 每 个 箱子 里 至 少 有 一 个 球 ? 一 次 投球 落 在 空 箱子 里 称 为 一 次 
“命中 ”。 我 们 想 知道 为 了 获得 5 次 命中 ， 所 需 的 投球 次 数 期 望 w。 

采用 命中 次 数 ， 可 以 把 次 投球 分 为 几 个 阶段 。 第 i 个 阶段 包括 从 第 i 一 1 次 命中 到 第 i 次 命 
中 之 间 的 投球 。 第 1 阶段 包含 第 1 次 投球 ， 因 为 我 们 可 以 保证 一 次 命中 ， 此 时 所 有 的 箱子 都 是 空 
的 。 对 第 i 阶段 的 每 一 次 投球 ， 有 i 一 1 个 箱子 有 球 ， 5 一 i 十 1 个 箱子 是 空 的 。 因 而 ， 对 第 ;阶段 
的 每 次 投球 ， 得 到 一 次 命中 的 概率 是 (5 一 i 十 1)/5。 

设 表示 第 ; 阶段 的 投球 次 数 。 因 而 ， 为 得 到 5 次 命中 所 需 的 投球 次 数 为 一 > 。 每 个 
随机 变量 服从 几何 分 布 ， 成 功 的 概率 是 (6 一 i 十 1)/6， 根 据 公式 (C. 32) ， 于 是 有 

T= ae 1 
根据 期 望 的 线性 性 质 ， 我 们 有 
Bln] = E| Sm] = En] Dt 


i=1 
A1 
= bd) = = 6Unb+00)) (根据 等 式 (A.7)) 


所 以 ， 在 我 们 期 望 每 个 箱子 里 都 有 一 个 球 之 前 ， 大 约 要 投 51nb 次 。 这 个 问题 也 称 为 礼券 收集 者 
问题 ， 意 思 是 一 个 人 如 果 想 要 收集 齐 5 种 不 同 礼券 中 的 每 一 种 ， 大 约 需 要 5 Ind 张 随 机 得 到 的 礼 
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券 才能 成 功 。 





5.4.3 特征 序列 

假设 抛 投 一 枚 标准 的 硬币 上 次 ， 最 长 连续 正面 的 序列 的 期 望 长 度 有 多 长 ? 答案 是 Ugn), 
如 以 下 分 析 所 示 。 

首先 证 明 最 长 的 连续 正面 的 特征 序列 的 长 度 期 望 是 O(lgn)。 每 次 抛 硬币 时 是 一 次 正面 的 概 
率 为 1/2。 设 Ax 为 这 样 的 事件 : 长 度 至 少 为 的 正面 特征 序列 开始 于 第 i 次 抛掷 ， 或 更 准确 地 
Di, k KEREMI i itl, e, itk—1 得 到 的 都 是 正面 ， 其 中 1<k<n, 1<i<n 一 k 十 1。 
因为 每 次 抛 硬币 是 互相 独立 的 ， 对 任何 给 定 事 件 Ax ， 所 有 次 抛掷 都 是 正面 的 概率 是 

Pr{Ax} = 1/2* (5. 8) 
对 于 k=2 [lgnl, 
Pr{Aj,erigit } = 1/24 < 1/22 = 1/7? 

因而 ， 长 度 至 少 为 2 [lgz|、 起 始 于 位 置 ; 的 一 个 正面 特征 序列 的 概率 是 很 小 的 。 这 种 序列 起 始 位 
置 至 多 有 "一 2 [lgz] 十 1 个 。 所 以 长 度 至 少 为 2 [lgz] 的 正面 特征 序列 开始 于 任 一 位 置 的 概率 是 


n—2] Ign H1 n—2[ len Hl n 
Prt LJ Anznen}< Ži Wat < 3 1/ = ln (5. 9) 


i= 


因为 根据 布尔 不 等 式 (C. 19) ， 一 组 事件 并 集 的 概率 至 多 是 各 个 事件 的 概率 之 和 。( 注 意 ， 即 使 这 
些 事件 不 独立 ， 布 尔 不 等 式 依然 成 立 。) 

我 们 现在 利用 不 等 式 (5. 9) 来 给 出 最 长 特征 序列 的 长 度 界 。 对 于 F=0, 1, 2, +, n SL, 
表示 最 长 连续 正面 的 特征 序列 长 度 正好 是 7 的 事件 ， 并 设 最 长 特征 序列 的 长 度 是 工 。 由 期 望 值 的 
EX, RIA 

ELL] = > 7PriL;} (5. 10) 

我 们 可 以 尝试 用 每 个 Pr{L} 的 上 界 来 估计 这 个 和 ， 就 像 不 等 式 (5.9) 所 计算 的 那样 。 遗 憾 的 
是 ， 这 种 方法 将 导致 弱 的 界 。 不 过 ， 我们 可 以 用 从 上 面 分 析 得 到 的 一 些 直 观 知 识 来 得 到 一 个 好 的 
界 。 然 而 非 正式 地 说 ， 我 们 观察 到 在 等 式 (5. 10) 的 总 和 中 ， 没 有 任何 一 项 同时 让 ; 和 Pr{L;) 因 子 
都 是 大 的 。 为 什么 呢 ? 当 j 宇 2『lgnI 时 ，Pr{L} 很 小 ; 当 j 二 2『lgn] 时 ，j; 相当 小 。 更 正式 地 说 ， 
我 们 注意 到 对 于 j 二 0，1，…，n， 事 件 L 是 不 相交 的 ， 因 此 长 度 至 少 为 2 [ljgz] 的 连续 正面 特征 


序列 起 始 于 任 一 位 置 的 概率 为 “> Pr(L,) 。 根 据 不 等 式 (5.9), 我 人 有 D Pr(L) < 1/n。 另 


n 2P ign} 
外 ， 注 意 到 Pr{L} 一 1， 我 们 有 2 Pr(L} 过 1。 因此 ,我 们 得 到 
n Ment 


ELL] = DjPr{L} = >) jPr{L;}+ > JPr(L,) 
j=0 j=2| len 


j=0 j= 


2[ Ign} n 
< >) (2[lgnDPr{L;}+ >) nPr{L;} 
j=0 i=2[ Ign] 


2[ ign H1 n 
= 2 [ign] >) Pr{L}+n >) Pr{L;} 
j=0 j=2[ lgn] 


<2|1lgnl. 1+n. (1/n) = OUgn) 
正面 特征 序列 长 度 超过 > [len 次 抛掷 的 概率 随 着 7 变 小 而 很 快 减少 。 对 r 宇 1， 正 面 特征 序列 
长 度 至 少 为 rflgnl， 起 始 于 位 置 i 的 概率 是 
Pr(As read = 1/2" se 1 
因此 ， 最 长 特征 序列 长 度 至 少 为 r+「lgn1] 的 概率 至 多 是 n/n = 二 1/n"!， 或 等 价 地 ， 最 长 特征 序列 长 
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度 小 于 [lgz] 的 概率 至 少 是 1 一 LI/z  。 

看 一 个 例子 ， 抛 掷 n=1000 次 硬币 ， 最 少 出 现 2 [lgen|=20 次 连续 正面 的 几率 至 多 是 1/“ 一 
1/1000。 长 度 超过 3 [lgn1=30 次 连续 正面 特征 序列 的 几率 至 多 是 1/n =1/1 000 000, 

现在 我 们 证 明 一 个 补充 的 下 界 : 在 ) 次 硬币 抛 手 中 ， 最 长 的 正面 特征 序列 的 长 度 期 望 为 
9Q(lgz) 。 为 证 明 这 个 界 ， 我 们 通过 把 次 抛掷 划分 成 大 约 zs 个 组 ， 每 组 s KAR, KEKEN 
s 的 特征 序列 。 如 果 选 择 s 二 [(lgn)/2]， 可 以 说 明 这 些 组 中 至 少 有 一 组 可 能 全 是 正面 ， 因 而 可 能 
最 长 特征 序列 的 长 度 至 少 是 ;二 Ql(lgn)。 然 后 将 表明 最 长 特征 序列 的 长 度 期 望 是 Q(lgn)。 

我 们 把 nn 次 硬币 抛 找 划 分 成 至 少 ln/l(lgn)/2 呈 个 组 ,每 组 L(lgn)/2j 次 连续 抛 拨 ， 然 后 对 没有 
组 全 是 正面 的 概率 求 界 。 根 据 等 式 (5.8)， 从 位 置 i 开始 都 是 正面 的 组 的 概率 是 

Pr{ Aig cigm/2t} = {jg 1/J/n 


PRU BEB len) /2 ATE EPA AE i FPR BA 1—1//n. BERR n/Lgn)/2 ls 
组 是 由 彼此 互 斥 、 独 立 的 抛掷 硬币 构成 ， 其 中 每 个 组 都 不 是 长 度 为 [lgzD72j 的 特征 序列 的 概率 至 多 是 
(1— 1/ Vn Lem 2 二 (1 一 ty n)” <a- 1/Vn) er 

< On dV — Oe") = O/a) 
关于 此 论证 ， 我 们 用 到 了 不 等 式 (3. 12) ， 即 1 十 x 二 ee， 还 用 到 了 你 可 能 想 验证 的 一 个 事实 : 对 
足够 大 的 n,， A (2n/lgn—1)//n= len. 
因此 ， 最 长 特征 序列 超过 [lgz)/2J 的 概率 为 


D Pr{L} >1—Od/n) (5.11) 
j=L(gn)/2] 


现在 我 们 可 以 计算 最 长 特征 序列 的 长 度 期 望 的 一 个 下 界 ， 从 等 式 (5. 10) 开 始 ， 采 用 类 似 于 我 们 上 
界 分 析 的 方式 : 


n Lagnan) /2}1 n 

ELL] = $ jPriL) = >) jPr{L}+ >) jPr{L,)} 
j=0 j=0 j=LUgn)/2] 
Lagn)/2}1 n 


> >) 0-Pr{L;}+ \gn)/2] Pr{L;} 
j=0 j=L (gm /2 
Ldgr)/2H1 n 


=0+ D>) PriL;}+ldgn)/2] >) PriL;} 


j=0 j=Ldgn)/2J 
> 0+ |dgn)/2]a —Od/n)) (根据 不 等 式 (5. 11)) 
= O(lgn) 
和 生日 悖 论 一 样 ， 可 以 采用 指示 器 随机 变量 来 得 到 一 个 简单 而 近似 的 分 析 。 设 Xi SHA) 
表示 对 应 于 特征 序列 长 度 至 少 为 k、 开 始 于 第 ;次 抛掷 硬币 的 指示 器 随机 变量 。 为 了 计数 这 些 特 
征 序列 的 总 数 ， 定 义 


x= =, 
两 边 取 期 望 并 利用 期 望 的 线性 性 质 ， 我 们 有 
ELX] = E| DX | = S ELX] = DPr(An) = 1/2 = Et! 
通过 代入 不 同 的 & 值 ， 可 以 计算 出 长 度 为 的 特征 序列 的 数目 期 望 。 如 果 这 个 数 大 (远大 于 
1)， 那 么 我 们 期 望 很 多 长 度 为 的 特征 序列 会 出 现 ， 而 且 出 现 一 个 的 概率 很 高 。 如 果 这 个 数 小 
( 远 小 于 1)， 那 么 我 们 期 望 很 少 的 长 度 为 的 特征 序列 会 出 现 ， 而 且 出 现 一 个 的 概率 很 低 。 如 果 
对 某 个 正常 数 c， 有 上 = 二 clgn， 那 么 可 以 得 到 
Hx) = n— clan) Wvewirli 1 (elgnm— Dim @(1/n 7) 
2clgn ne el no} 


n 


th 
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WER c RA, KEW clen 的 特征 序列 的 数目 期 望 将 很 小 ， 并 且 我 们 的 结论 是 它们 不 大 可 能 发 生 。 
另外 ， 如 果 c=1/2, 那么 ELX]=O0C0/n'?") =O"), F#ARNWBASAKEBKEAC/2) lgn 
的 特征 序列 。 所 以 ， 这 种 长 度 的 特征 序列 很 可 能 发 生 。 仅 通过 这 些 粗略 估计 ， 我 们 可 得 出 结论 : 
最 长 特征 序列 的 长 度 期 望 是 @(lgn)。 


5.4.4 在 线 雇用 问题 


作为 最 后 一 个 例子 ， 我 们 考虑 雇用 问题 的 一 个 变形 。 假 设 现在 我 们 不 希望 面试 所 有 的 应 聘 
者 以 找到 最 好 的 一 个 。 我 们 也 不 希望 因为 有 更 好 的 申请 者 出 现 ， 不 停 地 雇用 新 人 解雇 旧 人 。 取 而 
代 之 ， 我 们 愿意 雇用 接近 最 好 的 应 聘 者 ， 只 雇用 一 次 。 我 们 必须 遵守 公司 的 一 个 要 求 : 每 次 面试 
后 ， 或 者 我 们 必须 马上 提供 职位 给 应 聘 者 ， 或 者 马上 拒绝 该 应 聘 者 。 如 何在 最 小 化 面试 次 数 和 最 
大 化 所 雇用 应 聘 者 的 质量 两 方面 取得 平衡 ? 

我 们 可 以 通过 如 下 方式 对 该 问题 建 模 。 在 面试 一 个 应 聘 者 之 后 ， 我 们 能 够 给 每 人 一 个 分 数 ; 
令 score( 引 表示 给 第 :个 应 聘 者 的 分 数 ， 并 且 假 设 没 有 两 个 应 聘 者 得 到 同样 分 数 。 在 已 看 过 7 个 
应 聘 者 后 ， 我 们 知道 这 7 人 中 哪 一 个 分 数 最 高 ， 但 是 不 知道 在 剩余 的 ”一 7 个 应 聘 者 中 会 不 会 有 
更 高 分 数 的 应 聘 者 。 我 们 决定 采用 这 样 一 个 策略 : 选择 一 个 正 整 数 &e<”， 面 试 然后 拒绝 前 & 个 
应 聘 者 ， 再 雇用 其 后 比 前 面 的 应 聘 者 有 更 高 分 数 的 第 一 个 应 聘 者 。 如 果 最 好 的 应 聘 者 在 前 & 个 面 
试 之 中 ， 那 么 将 雇用 第 ”个 应 聘 者 。 我 们 形式 化 地 表达 该 策略 在 过 程 ONLINE-MAXIMUM(R，7 
中 ， 它 返回 的 是 我 们 希望 雇用 的 应 聘 者 下 标 。 


ON-LINE-MAXIMUM (k, n) 
1 bestscore = 一 ce 

2 fori = 1tok 

3 if score(i) > bestscore 

4 bestscore = score(i) 
5 fori =—k+1ton 

6 if score(i) > bestscore 

7 return i 

8 


return 7 


对 每 个 可 能 的 &， 我 们 希望 确定 能 雇用 最 好 应 聘 者 的 概率 。 然 后 选择 最 佳 的 & 值 ， 并 用 该 值 
来 实现 这 个 策略 。 暂 时 先 假设 & 是 固定 的 。 Üt MG) =max{ score) } RAN MAGA 1~j 中 的 最 高 分 
数 。 BLS 表示 成 功 选 择 最 好 应 聘 者 的 事件 ，S, 表示 最 好 的 应 聘 者 是 第 i 个 面试 者 时 成 功 的 事件 。 


既然 不 同 的 S; 不 相交 ， 我 们 有 Pr{S} = > Pr(S) 。 注意 到 ， 当 最 好 应 聘 者 是 前 & 个 应 聘 者 中 的 
一 个 时 ， 我 们 不 会 成 功 ， 于 是 对 =l, Zs 5, Rs 有 Pr{S;}=0. P 因而 得 到 
Pr{S} = > Pr{S;} (5. 12) 


现在 来 计算 Pr{S;}。 为 了 当 第 i 个 应 聘 者 是 最 好 时 成 功 ， 两 件 事 情 必须 发 生 。 第 一 ， 最 好 的 
应 聘 者 必须 在 位 置 i 上， 用 事件 B; 表示 。 第 二 ， 算 法 不 能 选择 从 位 置 十 1~i 一 1 中 任何 一 个 应 
聘 者 ， 而 这 个 选择 当 目 仅 当 满足 & 十 1 二 j 二 i 一 1 时 发 生 ， 在 程序 第 6 行 有 scorelj)<bestcore, (W 
为 分 数 是 唯一 的 ， 所 以 可 以 忽略 score(j) = bestcore 的 可 能 性 。) 换 句 话 说 ， 所 有 score(k 十 1) 到 
score(i 一 1) 的 值 都 必须 小 于 MCR); 如 果 其 中 有 大 于 MCA) 的 数 ， 则 将 返回 第 一 个 大 于 MCA) 的 数 
的 下 标 。 我 们 用 O 表示 从 位 置 十 1 到 i 一 1 中 没有 任何 应 聘 者 入 选 的 事件 。 幸 运 的 是 ， 两 个 事 
件 B: 和 0O; 是 独立 的 。 事件 O 仅 依赖 于 位 置 1 到 i 一 1 中 值 的 相对 次 序 ， 而 B: 仅 依赖 于 位 置 ; 的 
值 是 否 大 于 所 有 其 他 位 置 的 值 。 从 位 置 1 到 i 一 1 的 排序 并 不 应 影响 位 置 i 的 值 是 否 大 于 上 述 所 有 
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值 ， 并 且 位 置 i 的 值 也 不 会 影响 从 位 置 1 到 ;一 1 值 的 次 序 。 因 而 应 用 等 式 (C. 15) 得 到 140 
Pr{S;} = Pr{B; N O:} = Pr{B;}Pr{O;} 

Pr{B,} 的 概率 显然 是 1/n， 因 为 最 大 值 等 可 能 地 是 nn 个 位 置 中 的 任 一 个 。 若 事件 O; 要 发 生 ， 从 位 
置 1 到 i 一 1 的 最 大 值 必须 在 前 上 个 位 置 的 一 个 ， 并 且 最 大 值 等 可 能 地 在 这 i 一 1 个 位 置 中 的 任 一 
MN. FE, Pr{O,}=k/G—1), Pr{S;}=k/(nG—-1)). enar 12), RNA 

Pts PHS) = » et - ou ra =45) 7 
FRAP RIES RR AA ETE A 

i el Le 
求解 这 些 定 积 分 可 以 得 到 下 面 的 界 : 
Ë Gnn—Ink) < Pr{S} <= dn(a—1) — Ine—1)) 

这 提供 了 Pr{S} 的 一 个 相当 紧 确 的 界 。 因 为 我 们 希望 最 大 化 成 功 的 概率 ， 所 以 关注 如 何 选取 & 值 


使 Pr{S} 的 下 界 最 大 化 。( 此 外 ， 下 界 表 达 式 比 上 界 表达 式 更 容易 最 大 化 。) 以 上 为 变量 对 表达 式 
(k/n) (Inn 一 lnk) 求 导 ， 得 到 





1 na lnk— 1) 
n 


令 此 导数 为 0， 我 们 看 到 当 ljn& 王 Inz 一 1 二 In(ze) 或 等 价 地 ，A 一 ze 时 ， 概 率 下 界 最 大 化 。 因 而 ， 
MRA & 一 zx/e 来 实现 我 们 的 策略 ， 那 么 将 以 至 少 1/e 的 概率 成 功 雇 用 到 最 好 的 应 聘 者 。 141 


练习 

5.4-1 一 个 屋子 里 必须 要 有 多 少 人 ， 才 能 让 某 人 和 你 生日 相同 的 概率 至 少 为 1/2? 必须 要 有 多 少 
人 ， 才能 让 至 少 两 个 人 生日 为 7 月 4 日 的 概率 大 于 1/2? 

5.4-2 假设 我 们 将 球 投入 到 8 个 箱子 里 ， 直 到 某 个 箱子 中 有 两 个 球 。 每 一 次 投掷 都 是 独立 的 ， 
并 且 每 个 球 落 入 任何 箱子 的 机 会 均等 。 请 问 投球 次 数 期 望 是 多 少 ? 

*5.4-3 ”在 生日 悖 论 的 分 析 中 ， 要 求 各 人 生日 彼此 独立 是 否 很 重要 ? 或 者 ， 是 否 只 要 两 两 成 对 独 
立 就 足够 了 ? 证明 你 的 答案 。 

*5.4-4 ”一 次 聚会 需要 邀请 多 少 人 ， 才 能 让 其 中 3 人 的 生日 很 可 能 相同 ? 

*5.4-5 ”在 大 小 为 的 集合 中 ， 一 个 & 字 符 串 构成 一 个 & 排列 的 概率 是 多 少 ? 这 个 问题 和 生日 悖 
论 有 什么 关系 ? 

*5.4-6 ”假设 将 nn 个 球 投入 nn 个 箱子 里 ， 其 中 每 次 投球 独立 ， 并 且 每 个 球 等 可 能 落 入 任何 箱子 。 
空 箱子 的 数目 期 望 是 多 少 ? 正好 有 一 个 球 的 箱子 的 数目 期 望 是 多 少 ? 

*5.4-7 ”为 使 特征 序列 长 度 的 下 界 变 得 更 精确 ， 请 说 明 在 ”次 硬币 的 公平 抛掷 中 ， 不 出 现 比 jg” 一 
21lg lgn 更 长 的 连续 正面 特征 序列 的 概率 小 于 1/n。 142 


5-1 (概率 计数 ) 利用 一 个 2 位 的 计数 器 ， 我 们 一 般 只 能 计数 到 2 一 1。 而 用 R. Morris 的 概率 
计数 法 ， 我 们 可 以 计数 到 一 个 大 得 多 的 值 ， 代 价 是 精度 有 所 损失 。 

对 ;二 0，1，…，2 一 1， 令 计数 器 值 i 表示 nn; 的 计数 ， 其 中 n 构成 了 一 个 非 负 的 递增 

序列 。 假 设计 数 器 初 值 为 0， 表示 计数 m 二 0。INCREMENT 运算 单元 工作 在 一 个 计数 器 

上 ， 它 以 概率 的 方式 包含 值 i。 如 果 ;一 2 一 1， 则 该 运算 单元 报告 溢出 错误 ;否则 ， 

INCREMENT 运算 单元 以 概率 1/(z 一 五 ) 把 计数 器 增加 1， 以 概率 1—1/ Cai — 0, RIT 
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数 器 不 变 。 
对 所 有 的 0, FRE ”一 ?， 此 计数 器 就 是 一 个 普通 的 计数 器 。 若 选择 ,=2"'G>0), 或 
者 n= 二 F,( 第 i 个 斐 波 那 契 数 ， 参 见 3. 2 节 )， 则 会 出 现 更 多 有 趣 的 情形 。 
对 于 这 个 问题 ,假设 zz- 已 足够 大 ， 发 生 一 个 溢出 错误 的 概率 可 以 忽略 。 
a. 请 说 明 在 执行 n 次 INCREMENT 操作 后 ， 计 数 器 所 表示 的 数 期 望 值 正好 是 n。 
b. 分 析 计数 器 表示 的 计数 的 方差 依赖 于 n; 序列 。 我 们 来 看 一 个 简单 情形 : 对 所 有 ;之 0， 
到 一 100i。 在 执行 了 7 次 INCREMENT 操作 后 ， 请 估计 计数 器 所 表示 数 的 方差 。 
5-2 (查找 一 个 无 序数 组 ) ”本 题 将 分 析 三 个 算法 ， 它 们 在 一 个 包含 ”个 元 素 的 无 序数 组 A PH 
RME r. 
考虑 如 下 的 随机 策略 : 随机 挑选 A 中 的 一 个 下 标 i。 如 果 ALi] Sr, WAIE; 否则 ， 继 
续 挑选 A 中 一 个 新 的 随机 下 标 。 重 复 随 机 挑选 下 标 ， 直 到 找到 一 个 下 标 j,， EA], 或 
者 直到 我 们 已 检查 过 A 中 的 每 一 个 元 素 。 注 意 ， 我们 每 次 都 是 从 全 部 下 标的 集合 中 挑选 ， 
于 是 可 能 会 不 止 一 次 地 检查 某 个 元 素 。 
a. 请 写 出 过 程 RANDOM-SEARCH 的 伪 代 码 来 实现 上 述 策 略 。 确 保 当 A 中 所 有 下 标 都 被 
143 挑选 过 时 ， 你 的 算法 应 停止 。 
假定 恰好 有 一 个 下 标 i 使 得 ALij 二 x。 在 我 们 找到 xz 和 RANDOM-SEARCH 结束 之 前 ， 
必须 挑选 A 下 标的 数目 期 望 是 多 少 ? 
. BRA k>1 个 下 标 i 使 得 AL 可 =z， 推 广 你 对 (b) 部 分 的 解答 。 在 找到 x BK RANDOM- 
SEARCH 结束 之 前 ， 必 须 挑 选 A 的 下 标的 数目 期 望 是 多 少 ? 你 的 答案 应 该 是 nn 和 上 的 函数 。 
d. 假设 没有 下 标 i EALLi] Sr EREK A 的 所 有 元 素 或 RANDOM-SEARCH 结束 之 
前 ,我们 必须 挑选 A 的 下 标的 数目 期 望 是 多 少 ? 
现在 考虑 一 个 确定 性 的 线性 查找 算法 ， 我 们 称 之 为 DETERMINISTIC-SEARCH。 具 体 
地 说 ， 这 个 算法 在 A 中 顺序 查找 z， 考 虑 AL1]，A[2]，AL3]，…，A[nj， 直 到 找到 AL 让 一 
Z， 或 者 到 达 数 组 的 末尾 。 假 设 输入 数组 的 所 有 排列 都 是 等 可 能 的 。 
e BAU A + F tr i 849 ALi ]=2, DETERMINISTIC-SEARCH 平均 情形 的 运行 时 间 
是 多 少 ? DETERMINISTIC-SEARCH 最 坏 情形 的 运行 时 间 又 是 多 少 ? 
f. BERA k>1 个 下 标 i 使 得 A[ij] 二 x， 推 广 你 对 (e) 部 分 的 解答 。DETERMINISTIC- 
SEARCH 平均 情形 的 运行 时 间 是 多 少 ? DETERMINISTIC-SEARCH 最 坏 情形 的 运行 时 
间 又 是 多 少 ? 你 的 答案 应 是 n 与 & 的 函数 。 
g 假设 没有 下 标 i 使 得 A[i] 二 x。DETERMINISTIC-SEARCH 平均 情形 的 运行 时 间 是 多 
少 ? DETERMINISTIC-SEARCH 最 坏 情形 的 运行 时 间 又 是 多 少 ? 
最 后 ， 考 虑 一 个 随机 算法 SCRAMBLE-SEARCH, 它 先 将 输入 数组 随机 变换 排列 ， 然 
后 在 排列 变换 后 的 数组 上 ， 运 行 上 面 的 确定 性 线性 查找 算法 。 
h. KR MEAL Hc 的 下 标的 数目 ， 请 给 出 在 k= 二 0 和 R=1 情况 下 ， 算 法 SCRAMBLE- 
SEARCH 最 坏 情 形 的 运行 时 间 和 运行 时 间 期 望 。 推 广 你 的 解答 以 处 理 宇 1 的 情况 。 
144 i. 你 将 会 使 用 3 种 查找 算法 中 的 哪 一 个 ? 解释 你 的 答案 。 


本 章 注 记 
BollobasL 53]、HofriL174] 和 Spencer[321] 介 绍 了 大 量 高 等 概率 技术 。 随 机 算法 的 优点 在 Karp 
[L200] 和 RabinL288] 中 有 讨论 和 综述 。Motwani 和 Raghavan[262] 的 教材 中 大 量 论述 了 随机 算法 。 
雇用 问题 的 很 多 变形 已 经 得 到 广泛 研究 。 这 些 问题 通常 被 称 为 “秘书 问题 "?。Ajtai、Meggido 
和 WaartsL11] 中 给 出 了 该 领域 中 的 一 个 例子 。 
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这 一 部 分 介绍 了 几 种 解决 如 下 排序 问题 的 算法 : 

输入 : 一 个 n 个 数 的 序列 (a , Gay ey Wels 

输出 : 输入 序列 的 一 个 排列 ( 重 排 )《al，as，…，a,)， 使 得 a1 Ka, 
‘as 

输入 序列 通常 是 一 个 n 元 数组 ， 尽 管 它 可 以 用 链表 等 其 他 方式 描述 。 

数据 的 结构 

在 实际 中 ， 待 排序 的 数 很 少 是 单独 的 数值 ， 它 们 通常 是 称 为 记录 
(record) 的 数据 集 的 一 部 分 。 每 个 记录 包含 一 个 关键 字 (key) ， 就 是 排序 问 
题 中 要 重 排 的 值 。 记 录 的 剩余 部 分 由 卫星 数据 (satellite data) 组 成 ， 通常 
与 关键 字 是 一 同 存 取 的 。 在 实际 中 ， 当 一 个 排序 算法 重 排 关键 字 时 ， 也 必 
须要 重 排 卫星 数据 。 如 果 每 个 记录 包含 大 量 卫星 数据 ， 我 们 通常 重 排 记录 
旨 针 的 数组 ， 而 不 是 记录 本 身 ， 这 样 可 以 降低 数据 移动 量 。 

在 某 种 意义 上 ， 正 是 这 些 实现 细节 将 一 个 算法 与 成 熟 的 程序 区 分 开 
来 。 一 个 排序 算法 描述 确定 有 序 次 序 的 方法 (method) ， 而 不 管 我 们 是 在 排 
序 单 独 的 数 还 是 包含 很 多 卫星 数据 的 大 记录 。 因 此 ， 当 关注 排序 问题 时 ， 
我 们 通常 假定 输入 只 是 由 数组 成 。 将 一 个 对 数 进行 排序 的 算法 转换 为 一 个 
对 记录 进行 排序 的 程序 在 概念 上 是 很 直接 的 ， 当 然 在 具体 的 工程 情境 下 ， 
其 他 一 些 细节 问题 可 能 会 使 实际 的 编程 工作 遇 到 很 多 挑战 。 

为 什么 要 排序 

很 多 计算 机 科学 家 认为 排序 是 算法 研究 中 最 基础 的 问题 ， 其 原因 有 
很 多 : 

。 有 时 应 用 本 身 就 需要 对 信息 进行 排序 。 例 如 ， 为 了 准备 用 户 财 务 

报表 ， 银 行 需要 按 编号 对 支票 进行 排序 。 

。 很 多 算法 通常 把 排序 作为 关键 子 程序 。 例 如 ， 在 一 个 演 染 图 形 对 

象 的 程序 中 ， 图 形 对 象 是 分 层 登 在 一 起 的 ， 这 个 程序 可 能 就 需要 


IN 
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按 “ 上 层 ” 关 系 来 排序 对 象 ， 以 便 能 按 自 底 向 上 的 次 序 绘制 对 象 。 在 本 书 中 ,我 们 将 看 到 
大 量 的 算法 将 排序 作为 子 程序 来 使 用 。 

。 现 有 的 排序 算法 数量 非常 庞大 ， 其 中 所 使 用 的 技术 也 非常 丰富 。 实 际 上 ,很 多 重要 的 算 
法 设计 技术 都 体现 在 多 年 来 研究 者 所 设计 的 排序 算法 中 。 从 这 个 角度 看 ， 排 序 问题 还 有 
很 好 的 历史 价值 。 

。 我 们 可 以 证 明 排序 问题 的 一 个 非 平 凡 下 界 ( 在 第 8 章 中 ,我 们 会 给 出 这 个 证 明 )。 而 我 们 

的 最 佳 上 界 能 够 与 这 个 非 平 凡 下 界 渐 近 相 等 ， 这 就 意味 着 我 们 介绍 的 算法 是 新 近 最 优 

的 。 而 且 ， 我 们 可 以 利用 排序 问题 的 下 界 来 证 明 其 他 问题 的 下 界 。 

在 实现 排序 算法 时 会 出 现 很 多 工程 问题 。 基 个 特定 环境 下 的 最 快 的 排序 算法 可 能 依赖 很 

多 因素 ， 例 如 ， 关 于 关键 字 和 卫星 数据 的 先 验 知识 、 计 算 机 主机 的 内 存 层 次 (缓存 和 虚拟 

内 存 ) 和 软件 环境 。 很 多 这 类 问题 最 好 在 算法 层面 来 处 理 ， 而 不 是 通过 “代码 调 优 ”来 

解决 。 

排序 算法 

我 们 在 第 2 章 已 经 介绍 了 两 种 排序 算法 。 插 入 排序 最 坏 情况 下 可 以 在 O(n’ ) 时 间 内 将 个 数 
排 好 序 。 但 是 ， 由 于 其 内 层 循环 非常 紧凑 ， 对 于 小 规模 输入 ， 插 人 排序 是 一 种 非常 快 的 原址 排序 
算法 (回忆 一 下 ， 如 果 输 入 数组 中 仅 有 常数 个 元 素 需 要 在 排序 过 程 中 存储 在 数组 之 外 ， 则 称 排序 
算法 是 原址 的 (in place))。 归 并 排序 有 更 好 的 渐 近 运行 时 间 @(nlgn)， 但 它 所 使 用 的 MERGE 过 
程 并 不 是 原址 的 。 

在 这 一 部 分 中 ， 我们 将 介绍 两 种 新 的 排序 算法 ,它们 可 以 排序 任意 的 实数 。 第 6 章 将 介绍 堆 
排序 ， 这 是 一 种 O(n1lgn) 时 间 的 原址 排序 算法 。 它 使 用 了 一 种 被 称 为 堆 的 重要 数据 结构 ， 堆 还 可 
用 来 实现 优先 队列 。 

第 7 章 介 绍 快速 排序 ， 它 也 是 一 种 原址 排序 算法 ， 但 最 坏 情况 运行 时 间 为 O(n’). Mi EH 
期 望 运行 时 间 为 @(nlgn)， 而 且 在 实际 应 用 中 通常 比 堆 排 序 快 。 与 插入 排序 类 似 ， 快 速 排序 的 代 
码 也 很 紧 竣 ， 因 此 运行 时 间 中 隐 含 的 常数 系数 很 小 。 快 速 排序 是 排序 大 数组 的 最 常用 算法 。 

插入 排序 、 归 并 排序 、 堆 排序 及 快速 排序 都 是 比较 排序 算法 : 它们 都 是 通过 对 元 素 进 行 比较 

操作 来 确定 输入 数组 的 有 序 次 序 。 第 8 章 首先 介绍 了 决策 树 模型 ， 可 用 来 研究 比较 排序 算法 的 性 

能 局 限 。 使 用 决策 树 模型 ， 我 们 可 以 证 明 任 意 比 较 排序 算法 排序 x 个 元 素 的 最 坏 情况 运行 时 间 的 

FRA Q(nlgn)， 从 而 证 明 堆 排序 和 归并 排序 是 渐 近 最 优 的 比较 排序 算法 。 

第 8 章 接 下 来 展示 了 : 如 果 通 过 比较 操作 之 外 的 方法 来 获得 输入 序列 有 序 次 序 的 信息 ， 就 有 
可 能 打破 Q(nlgn) 的 下 界 。 例 如 ， 计数 排 序 算法 假定 输入 元 素 的 值 均 在 集合 {0，1，…，k| 内 。 
通过 使 用 数组 索引 作为 确定 相对 次 序 的 工具 ,计数 排序 可 以 在 @(k 十 n) 的 时 间 内 将 ”个 数 排 好 
序 。 因 此 ， 当 一 O(2) 时 ， 计 数 排序 算法 的 运行 时 间 与 输入 数组 的 规模 呈 线 性 关系 。 另 外 一 种 相 
关 的 排序 算法 一 一 基数 排序 ， 可 以 用 来 扩展 计数 排序 的 适用 范围 。 如 果 有 个 整数 要 进行 排序 ， 
每 个 整数 有 d 位 数字 ， 并 且 每 个 数字 可 能 取 & 个 值 ， 那 么 基数 排序 就 可 以 在 @(d(n Tk) IN TAA 
完成 排序 工作 。 当 a 是 常数 且 k 王 O(n) 时， 基数 排序 的 运行 时 间 就 是 线性 的 。 第 8 章 介绍 的 第 三 
种 算法 是 桶 排序 算法 ， 它 需要 了 解 输 入 数组 中 数据 的 概率 分 布 。 对 于 半 开 区 间 [0，1) 内 服从 均 勾 
分 布 的 n 个 实数 ， 桶 排序 的 平均 情况 运行 时 间 为 O(n)。 

下 表 总 结 了 第 2 章 和 第 6 一 8 章 介 绍 的 排序 算法 的 运行 时 间 ， 其 中 n 表示 要 排序 的 数据 项 数 
量 。 对 于 计数 排序 ， 数 据 项 均 在 集合 10，1，…，k| 内 。 对 于 基数 排序 ， 每 个 数据 项 都 是 d 位 数 
字 的 整数 ， 每 位 数字 可 能 取 % 个 值 。 对 于 桶 排序 ,假定 关键 字 是 半 开 区 | 间 [0，1) 内 服从 均匀 分 布 
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的 个 实数。 表 的 最 右 一列 给 出 了 平均 情况 或 期 望 运行 时 间 ， 可 能 与 最 坏 情 况 运行 时 间 不 同 。 我 
们 忽略 了 堆 排 序 的 平均 情况 运行 时 间 ， 因 为 本 书 中 并 未 对 其 进行 分 析 。 
算 法 最 坏 情况 运行 时 间 平均 情况 /期 望 运行 时 间 

插入 排序 O(n?) Oln?) 

归并 排序 O(nign) @(nlgn) 

堆 排 序 O(nlgn) = 

快速 排序 O(n?) O(nlgn) GHA) 

计数 排序 @(k+n) @(k+n) 

基数 排序 @(d(n+k)) @(d(n+k)) 

桶 排序 O2) O(n) (平均 情况 ) 

顺序 统计 量 


一 个 nn 个 数 的 集合 的 第 i 个 顺序 统计 量 就 是 集合 
集合 排序 ， 取 输出 的 第 i 个 元 素来 选择 第 i 个 顺序 统计 
法 的 运行 时 间 为 Q(nlgn)， 即 第 8 章 中 所 证 明 的 比较 排 

















在 第 9 章 中 ， 我 们 展示 了 即 




















! 第 i 小 的 数 。 


当然 ， 我 们 可 以 通过 将 输入 





量 。 当 不 知道 输入 数据 的 分 布 时 ， 这 种 方 














序 算 法 的 下 界 。 


宣 输 入 数据 是 任意 实数 ， 也 可 以 在 O(n) 时 间 内 找到 第 i 小 的 元 














素 。 我 们 提出 了 一 种 随机 算法 ， 
































伪 代 码 非 常 察 竣 ， 它 的 最 坏 情况 运行 时 间 为 6(w*)， 但 期 望 运 


行 时 间 为 O(n)。 我 们 还 给 出 了 一 种 更 复杂 的 算法 ， 最 坏 情 况 运 行 时 间 为 O(n). 


背景 











虽然 这 一 部 分 的 大 部 分 内 容 并 不 依赖 高 深 的 数学 知识 ， 
的 数学 知识 。 特 别 地 ， 快 速 排序 、 桶 排序 和 顺序 统计 量 算法 的 分 析 要 用 到 概率 知识 (附录 C 中 回 
顾 了 概率 知识 ) 以 及 第 5 章 中 介绍 的 概率 分 析 和 随机 算法 。 顺 序 统计 量 算法 的 最 坏 情况 线性 时 间 








分 析 涉 及 的 数学 知识 比 本 部 分 中 其 他 最 坏 情 况 分 析 要 更 复杂 些 。 





但 一 些 章 性 还 是 需要 一 些 稍微 复杂 
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在 本 章 中 ， 我 们 会 介绍 另 一 种 排序 算法 : 堆 排序 (heapsort)。 与 归并 排序 一 样 ， 但 不 同 于 插 
入 排序 的 是 ， 堆 排序 的 时 间 复 杂 度 是 OCzlg?) 。 而 与 插 和 人 排序 相同 ， 但 不 同 于 归并 排序 的 是 ， 堆 
排序 同样 具有 空间 原址 性 : 任何 时 候 都 只 需要 常数 个 额外 的 元 素 空间 存储 临时 数据 。 因 此 ， 堆 排 
序 是 集合 了 我 们 目前 已 经 讨论 的 两 种 排序 算法 优点 的 一 种 排序 算法 。 

堆 排序 引入 了 另 一 种 算法 设计 技巧 : 使 用 一 种 我 们 称 为 " 堆 ” 的 数据 结构 来 进行 信息 管理 。 堆 
不 仅 用 在 堆 排 序 中 ， 而 且 它 也 可 以 构造 一 种 有 效 的 优先 队列 。 在 后 续 的 章节 中 ， 我 们 还 将 多 次 在 
算法 中 引入 堆 。 

虽然 “ 堆 ” 这 一 词 源 自 堆 排序 ， 但 是 目前 它 已 经 被 引申 为 "垃圾 收集 存储 机 制 "， 例 如 在 Java 
和 Lisp 语言 中 所 定义 的 。 强 调 一 下 ， 我 们 使 用 的 堆 不 是 垃圾 收集 存储 ， 并 且 在 本 书 的 任何 部 分 ， 
只 要 涉及 堆 ， 指 的 都 是 堆 数据 结构 ， 而 不 是 垃圾 收集 存储 。 


6.1 # 

如 图 6-1 所 示 ，( 二 叉 ) 堆 是 一 个 数组 ， 它 可 以 被 看 成 一 个 近似 的 完全 二 叉 树 ( 见 B. 5. 3 节 )。 
树 上 的 每 一 个 结 点 对 应 数组 中 的 一 个 元 素 。 除 了 最 底层 外 ， 该 树 是 完全 充满 的 ， 而 且 是 从 左 向 右 
填充 。 表 示 堆 的 数组 A 包括 两 个 属性 : A. length( 通 常 ) 给 出 数组 元 素 的 个 数 ，A. heap-size 表示 
有 多 少 个 堆 元 素 存储 在 该 数组 中 。 也 就 是 说 ,虽然 A[1.. A. length] 可 能 都 存 有 数据 ， 但 只 有 
ALl.. A.heap-size] 中 存放 的 是 堆 的 有 效 元 素 ， 这 里 ，0 二 A. heap-size 二 A. length。 树 的 根 结 点 是 

[51] All], 这 样 给 定 一 个 结 点 的 下 标 i， 我 们 很 容易 计算 得 到 它 的 父 结 点 、 左 孩子 和 右 孩 子 的 下 标 : 
PARENT (i) 
1 return | i/2| 





LEFT (i) 


1 return 27 


RIGHT (i) 
1 return 2:+1 





图 6-1 以 (a) 二 叉 树 和 (b) 数 组 形式 展现 的 一 个 最 大 堆 。 每 个 结 点 圆圈 内 部 的 数字 
是 它 所 存储 的 数据 。 结 点 上 方 的 数字 是 它 在 数组 中 相应 的 下 标 。 数 组 上 方 
和 下 方 的 连 线 显示 的 是 父 - 子 关 系 : 父 结 点 总 是 在 它 的 孩子 结 点 的 左边 。 
该 树 的 高 度 为 3， 下 标 为 4( 值 为 8) 的 结 点 的 高 度 为 1 
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在 大 多 数 计算 机 上 ， 通 过 将 i 的 值 左 移 一 位 ，LEFT 过 程 可 以 在 一 条 指令 内 计算 出 2i。 采 用 
类 似 方 法 ， 在 RIGHT 过 程 中 也 可 以 通过 将 i 的 值 左 移 1 位 并 在 低位 加 1， 快 速 计算 得 到 2i 十 1。 
至 于 PARENT 过 程 ， 则 可 以 通过 把 i 的 值 右 移 1 位 计算 得 到 Li/2]。 在 堆 排序 的 好 的 实现 中 ， 这 
三 个 函数 通常 是 以 “ 宏 ” 或 者 “内 联 函 数 ” 的 方式 实现 的 。 

二 叉 堆 可 以 分 为 两 种 形式 : 最 大 堆 和 最 小 堆 。 在 这 两 种 堆 中 ， 结 点 的 值 都 要 满足 堆 的 性 质 ， 
但 一 些 细节 定义 则 有 所 差异 。 在 最 大 堆 中 ， 最 大 堆 性 质 是 指 除 了 根 以 外 的 所 有 结 点 i 都 要 满足 : 

A[PARENT(i) ] 三 Ar] 
也 就 是 说 ， 某 个 结 点 的 值 至 多 与 其 父 结 点 一 样 大 。 因 此 ， 堆 中 的 最 大 元 素 存放 在 根 结 点 中 ; 并 
且 ， 在 任 一 子 树 中 ， 该 子 树 所 包含 的 所 有 结 点 的 值 都 不 大 于 该 子 树 根 结 点 的 值 。 最 小 堆 的 组 织 方 
式 正 好 相反 : 最 小 堆 性 质 是 指 除 了 根 以 外 的 所 有 结 点 i 都 有 

A[PARENT(i) ] < A[i] 
最 小 堆 中 的 最 小 元 素 存放 在 根 结 点 中 。 

在 堆 排序 算法 中 ， 我 们 使 用 的 是 最 大 堆 。 最 小 堆 通常 用 于 构造 优先 队列 ， 在 6. 5 节 中 ， 我 们 
会 再 具体 讨论 。 对 于 某 个 特定 的 应 用 来 说 ， 我 们 必须 明确 需要 的 是 最 大 堆 还 是 最 小 堆 ; 而 当 某 一 
属性 既 适 合 于 最 大 堆 也 适合 于 最 小 堆 的 时 候 ， 我 们 就 只 使 用 “ 堆 ” 这 一 名 词 。 

如 果 把 堆 看 成 是 一 棵 树 ， 我 们 定义 一 个 堆 中 的 结 点 的 高 度 就 为 该 结 点 到 叶 结 点 最 长 简单 路 
径 上 边 的 数目 ; 进而 我 们 可 以 把 堆 的 高 度 定义 为 根 结 点 的 高 度 。 既 然 一 个 包含 n 个 元 素 的 队 可 以 
看 做 一 棵 完全 二 又 树 ， 那 么 该 堆 的 高 度 是 (lgn) WAY 6. 1-2)。 我 们 会 发 现 ， 堆 结构 上 的 一 些 
基本 操作 的 运行 时 间 至 多 与 树 的 高 度 成 正比 ， 即 时 间 复 杂 度 为 O(lgz) 。 在 本 章 的 剩余 部 分 中 ， 
我 们 将 介绍 一 些 基本 过 程 ， 并 说 明 如 何在 排序 算法 和 优先 队列 中 应 用 它们 。 

。 MAX-HEAPIFY 过 程 : 其 时 间 复 杂 度 为 O(lgz) ， 它 是 维护 最 大 堆 性 质 的 关键 。 

e BUILD-MAX-HEAP 过 程 : 具有 线性 时 间 复 杂 度 ， 功 能 是 从 无 序 的 输入 数据 数组 中 构造 
一 个 最 大 堆 。 

HEAPSORT 过 程 : 其 时 间 复 杂 度 为 O(nlgn)， 功 能 是 对 一 个 数组 进行 原址 排序 。 
。 MAX-HEAP-INSERT, HEAP-EXTRACT-MAX, HEAP-INCREASE-KEY 和 HEAP-MAXIMUM 
WE: 时 间 复 杂 度 为 O(lgn)， 功 能 是 利用 堆 实 现 一 个 优先 队列 。 


SH 


习 

.1-1 在 高 度 为 h 的 堆 中 ， 元素 个 数 最 多 和 最 少 分 别 是 多 少 ? 

1-2 EH: 含 ” 个 元 素 的 堆 的 高 度 为 [lg 对 。 

1-3 证 明 : 在 最 大 堆 的 任 一 子 树 中 ， 该 子 树 所 包含 的 最 大 元 素 在 该 子 树 的 根 结 点 上 。 

1-4 假设 一 个 最 大 堆 的 所 有 元 素 都 不 相同 ， 那 么 该 堆 的 最 小 元 素 应 该 位 于 哪里 ? 

1-5 一 个 已 排 好 序 的 数组 是 一 个 最 小 堆 吗 ? 

1-6 值 为 (23，17，14，6，13，10，1，5，7，12) 的 数组 是 一 个 最 大 堆 吗 ? 

1-7 证 明 : 当 用 数组 表示 存储 个 元 素 的 堆 时 ， 叶 结 点 下 标 分 别 是 Ln/2] 十 1，Ln/2]4 二 2，…，n。 


6.2 维护 堆 的 性 质 


MAX-HEAPIFY 是 用 于 维护 最 大 堆 性 质 的 重要 过 程 。 它 的 输入 为 一 个 数组 A 和 一 个 下 标 i。 
在 调用 MAX-HEAPIFY 的 时 候 ， 我 们 假定 根 结 点 为 LEFT(i) 和 RIGHT(i) 的 二 叉 树 都 是 最 大 堆 ， 
但 这 时 A[ 吉 有 可 能 小 于 其 孩子 ， 这 样 就 违背 了 最 大 堆 的 性 质 。MAX-HEAPIFY 通过 让 ALi] fi 
在 最 大 堆 中 “ 逐 级 下 降 ”， 从 而 使 得 以 下 标 ; 为 根 结 点 的 子 树 重新 遵循 最 大 堆 的 性 质 。 
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MAX-HEAPIFY (A, i) 
l= LEFT (i) 
r= RIGHT (i) 
if 1 < A. heap-size and A[1] > ALi] 
largest =L 


if r < A. heap-size and A[r] > Allargest] 
largest = r 

if larget Æ i 
exchange A[i] with A[ largest ] 

10 MAX-HEAPIFY (A, largest ) 

图 6-2 图 示 了 MAX-HEAPIFY 的 执行 过 程 。 在 程序 的 每 一 步 中 ， 从 ALi], ALLEFTC) ] 和 
A[RIGHT(i)] 中 选 出 最 大 的 ， 并 将 其 下 标 存储 在 largest 中 。 如 果 A[i] 是 最 大 的 ， 那么 以 i 为 根 
结 点 的 子 树 已 经 是 最 大 堆 ， 程 序 结束 。 和 否则 ， 最 大 元 素 是 ; 的 某 个 孩子 结 点 ， 则 交换 ALij 和 
ALlargest] 的 值 。 从 而 使 i 及 其 孩子 都 满足 最 大 堆 的 性 质 。 在 交换 后 ， 下 标 为 largest 的 结 点 的 值 
是 原来 的 A[ 司 ， 于 是 以 该 结 点 为 根 的 子 树 又 有 可 能 会 违反 最 大 堆 的 性 质 。 因 此 ， 需 要 对 该 子 树 
递归 调用 MAX-HEAPIFY, 


1 
2 
3 
4 
5 else largest = i 
6 
7 
8 
9 





图 6-2 24 A.heap-size=10 时，MAX-HEAPIFY(A，2) 的 执行 过 程 。(a) 初 始 状态 ， 在 结 点 i=2 
处 ，A[2j] 违 背 了 最 大 堆 性 质 ， 因 为 它 的 值 不 大 于 它 的 孩子 。 在 (b) 中 ， 通 过 交换 AL2] 和 
ALMA. 4A 2 恢复 了 最 大 堆 的 性 质 ， 但 又 导致 结 点 4 违反 了 最 大 堆 的 性 质 。 递 归 调 用 
MAX-HEAPIFY(A，4)， 此 时 i 二 4。 在 (c) 中 ， 通 过 交换 A[4] 和 AL9] 的 值 ， 结 点 4 的 最 
大 堆 性 质 得 到 了 恢复 。 再 次 递归 调用 MAX-HEAPIFY(A，9)， 此 时 不 再 有 新 的 数据 交换 


对 于 一 棵 以 i 为 根 结 点 、 大 小 为 n 的 子 树 ，MAX-HEAPIFY 的 时 间 代 价 包 括 : 调整 AL], 
ALLEFT(i)] 和 ALRIGHT(i) ] 的 关系 的 时 间 代 价 8(1)， 加 上 在 一 棵 以 i 的 一 个 孩子 为 根 结 点 的 
子 树 上 运行 MAX-HEAPIFY 的 时 间 代 价 ( 这 里 假设 递归 调用 会 发 生 )。 因 为 每 个 孩子 的 子 树 的 大 
小 至 多 为 2n/3( 最 坏 情况 发 生 在 树 的 最 底层 恰好 半 满 的 时 候 )， 我 们 可 以 用 下 面 这 个 递归 式 刻画 
MAX-HEAPIFY 的 运行 时 间 : 

Tn) < T(2n/3) +04) 
根据 主 定理 (定理 4.1) 的 情况 2， 上述 递 归 式 的 解 为 T(n) 二 Ollgn)。 也 就 是 说 ， 对 于 一 个 树 高 为 
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的 结 点 来 说 ，MAX-HEAPIFY 的 时 间 复 杂 度 是 O). 


练习 

6.2-1 参照 图 6-2 的 方法 ,说明 MAX-HEAPIFY(A，3) 在 数组 A==(27, 17, 3, 16, 13, 10, 
1，5，7，12，4，8，9，0) 上 的 操作 过 程 。 

6.2-2 参考 过 程 MAX-HEAPIFY， 写 出 能 够 维护 相应 最 小 堆 的 MIN-HEAPIFY(A, 让 的 伪 代 
码 ， 并 比较 MIN-HEAPIFY 与 MAX-HEAPIFY 的 运行 时 间 。 

6. 2-3 ” 当 元 素 ALz] 比 其 孩子 的 值 都 大 时 ， 调 用 MAX HEAPIFY(A. 让 会 有 什么 结果 ? 

6.2-4 24 i>A. heap-size/2 时 ,调用 MAX-HEAPIFY(A, DBA ABR? 

6.2-5 MAX-HEAPIFY 的 代码 效率 较 高 ， 但 第 10 行 中 的 递归 调用 可 能 例外 ， 它 可 能 使 某 些 编 
译 器 产生 低 效 的 代码 。 请 用 循环 控制 结构 取代 递归 ， 重 写 MAX-HEAPIFY 代码 。 

6.2-6 证 明 : 对 一 个 大 小 为 n 的 堆 ，MAX-HEAPIFY 的 最 坏 情况 运行 时 间 为 Q(lgn)。( 提 示 : 
对 于 nn 个 结 点 的 堆 ， 可 以 通过 对 每 个 结 点 设 定 恰当 的 值 ， 使 得 从 根 结 点 到 叶 结 点 路 径 上 
的 每 个 结 点 都 会 递归 调用 MAX-HEAPIFY。) 


6.3” 建 堆 


我 们 可 以 用 自 底 向 上 的 方法 利用 过 程 MAX-HEAPIFY 把 一 个 大 小 为 n=A. length 的 数组 
ALL .nj 转换 为 最 大 堆 。 通 过 练习 6. 1-7 可 以 知道 ， 子 数组 A(Ln/2] 十 1. .9) 中 的 元 素 都 是 树 的 叶 
结 点 。 每 个 叶 结 点 都 可 以 看 成 只 包含 一 个 元 素 的 堆 。 过 程 BUILD-MAX-HEAP 对 树 中 的 其 他 结 
点 都 调用 一 次 MAX-HEAPIFY, 

BUILD-MAX-HEAP(A) 

1 A.heap-size = A. length 

2 for i = | A. length/2| downto 1 

3 MAX-HEAPIFY(A, i) 


图 6-3 给 出 了 BUILD-MAX-HEAP 过 程 的 一 个 例子 。 

为 了 证 明 BUILD-MAX-HEAP 的 正确 性 ， 我 们 使 用 如 下 的 循环 不 变量 : 

在 第 2 一 3 行 中 每 一 次 for 循环 的 开始 ， 结 点 i 十 1，i 十 2，…，n 都 是 一 个 最 大 堆 的 

根 结 点 。 

我 们 需要 证 明 这 一 不 变量 在 第 一 次 循环 前 为 真 ， 并 且 每 次 循环 迭代 都 维持 不 变 。 当 循环 结束 时 ， 
这 一 不 变量 可 以 用 于 证 明正 确 性 。 

初始 化 : 在 第 一 次 循环 迭代 之 前 ，i 二 Ln/2]， 而 Ln/2] 十 1，Ln/2J 十 2，…， nn 都 是 叶 结 点 ， 因 
而 是 平凡 最 大 堆 的 根 结 点 。 

保持 : 为 了 看 到 每 次 迭代 都 维护 这 个 循环 不 变量 ， 注 意 到 结 点 i 的 孩子 结 点 的 下 标 均 比 i 
大 。 所 以 根据 循环 不 变量 ， 它 们 都 是 最 大 堆 的 根 。 这 也 是 调用 MAX-HEAPIFY(A, 7) (45% i 
成 为 一 个 最 大 堆 的 根 的 先决 条 件 。 而 且 ，MAX-HEAPIFY 维护 了 结 点 i 十 1，i 十 2，…，nn 都 是 一 
个 最 大 堆 的 根 结 点 的 性 质 。 在 for 循环 中 递减 i 的 值 ， 为 下 一 次 循环 重新 建立 循环 不 变量 。 

终止 : 过程 终止 时 ,i 一 0。 根据 循环 不 变量 ， 每 个 结 点 1，2，…，n 都 是 一 个 最 大 堆 的 根 。 
特别 需要 指出 的 是 ， 结 点 1 就 是 最 大 的 那个 堆 的 根 结 点 。 

我 们 可 以 用 下 面 的 方法 简单 地 估算 BUILD-MAX-HEAP 运行 时 间 的 上 界 。 每 次 调用 MAX- 
HEAPIFY 的 时 间 复 杂 度 是 OU gn), BUILD-MAX-HEAP 需要 O(n) 次 这 样 的 调用 。 因 此 总 的 时 
间 复 杂 度 是 O(nlgn) 。 当 然 ， 这 个 上 界 虽 然 正 确 ， 但 不 是 渐 近 紧 确 的 。 

我 们 还 可 以 进一步 得 到 一 个 更 紧 确 的 界 。 可 以 观察 到 ， 不 同 结 点 运行 MAX-HEAPIFY 的 时 间 与 
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该 结 点 的 树 高 相关 ， 而 且 大 部 分 结 点 的 高 度 都 很 小 。 因 此 ， 利 用 如 下 性 质 可 以 得 到 一 个 更 紧 确 的 界 : 包 
含 n 个 元 素 的 堆 的 高 度 为 Llgn|( 见 练习 6. 1-2); 高 度 为 h 的 堆 最 多 包含 i[n/2"" | 个 结 点 ( 见 练习 6. 3-3). 

在 一 个 高 度 为 h 的 结 点 上 运行 MAX-HEAPIFY 的 代价 是 OCA), 我 们 可 以 将 BUILD-MAX- 
HEAP 的 总 代价 表示 为 


Ligna] Liga) 
yd [za |0% = O(n xx) 
最 后 的 一 个 累积 和 的 计算 可 以 用 c= 1/2 PAARA. 8) 得 到 ， 则 有 

Uh | o o 

A g dq — 1/2)? 
于 是 ， 我 们 可 以 得 到 BUILD-MAX-HEAP 的 时 间 复 杂 度 : 

Liga] o 
O(n>) x) = O(n3) 苏 ) = O(n) 


h=0 h=0 


因此 ， 我 们 可 以 在 线性 时 间 内 ， 把 一 个 无 序数 组 构造 成 为 一 个 最 大 堆 。 
4L4111312|16[9110l41817| 








图 6-3 BUILD-MAX-HEAP 的 操作 过 程 示意 图 ， 显 示 了 在 BUILD-MAX-HEAP 的 第 3 行 调用 
MAX-HEAPIFY 之 前 的 数据 结构 。(a) 一 个 包括 10 个 元 素 的 输入 数组 及 其 对 应 的 二 叉 树 。 
图 中 显示 的 是 调用 MAX-HEAPIFY(A, 让 前 ,循环 控制 变量 i 指向 结 点 5 的 情况 。(b) 操 
作 结 果 的 数据 结构 。 下 一 次 迭代 ， 循环 控制 变量 i 指向 结 点 4。(c) ~ (Ce) BUILD-MAX- 
HEAP 中 for 循环 的 后 续 迭 代 操 作 。 需 要 注意 的 是 ， 任 何 时 候 在 某 个 结 点 调用 MAX- 
HEAPIFY, 该 结 点 的 两 个 子 树 都 是 最 大 堆 。(f) 执 行 完 BUILD-MAX-HEAP 时 的 最 大 堆 
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类 似 地 ， 我 们 也 可 以 通过 调用 BUILD-MIN-HEAP 构造 一 个 最 小 堆 。 除 了 第 3 行 的 调用 替换 
为 MIN-HEAPIFY( 见 练习 6. 2-2) 以 外 ，BUILD-MIN-HEAP 与 BUILD-MAX-HEAP 完全 相同 。 
BUILD-MIN-HEAP 可 以 在 线性 时 间 内 ， 把 一 个 无 序数 组 构造 成 为 一 个 最 小 堆 。 


练习 

6.3-1 参照 图 6-3 的 方法 ， 说 明 BUILD-MAX-HEAP 在 数组 A=(5, 3, 17, 10, 84, 19, 6, 
22，9 上 的 操作 过 程 。 

6.3-2 对 于 BUILD-MAX-HEAP 中 第 2 行 的 循环 控制 变量 i 来 说 ,为 什么 我 们 要 求 它 是 从 
LA. length/2] 到 1 递减， 而 不 是 从 1 到 LA. length/2] 递 增 呢 ? 

6.3-3 WH: 对 于 任 一 包含 个 元 素 的 堆 中 ， 至 多 有 [nn/2”*'| 个 高 度 为 h 的 结 点 ? 


6.4 堆 排 序 算法 


初始 时 候 ， 堆 排序 算法 利用 BUILD-MAX-HEAP 将 输入 数组 ALL. .nj 建成 最 大 堆 ， 其 中 一 
A. length。 因 为 数组 中 的 最 大 元 素 总 在 根 结 点 AL1] 中 ， 通 过 把 它 与 ALnj] 进 行 互 换 ， 我 们 可 以 让 
该 元 素 放 到 正确 的 位 置 。 这 时 候 ， 如 果 我 们 从 堆 中 去 掉 结 点 n( 这 一 操作 可 以 通过 减少 A. heap- 
size 的 值 来 实现 ) ， 剩 余 的 结 点 中 ， 原 来 根 的 孩子 结 点 仍然 是 最 大 堆 ， 而 新 的 根 结 点 可 能 会 违背 
最 大 堆 的 性 质 。 为 了 维护 最 大 堆 的 性 质 ， 我 们 要 做 的 是 调用 MAX-HEAPIFY(A，1)， 从 而 在 
ALl. .7 一 1] 上 构造 一 个 新 的 最 大 堆 。 堆 排序 算法 会 不 断 重复 这 一 过 程 ， 直 到 堆 的 大 小 从 n 一 1 降 
到 2。( 准 确 的 循环 不 变量 定义 见 练习 6. 4-2.) 

HEAPSORT(A) 


1 BUILD-MAX-HEAP(A) 
2 fori = A. length downto 2 


3 exchange A[1] with A[i] 
4 A. heap-size = A. heap-size — 1 
5 MAX-HEAPIFY(A, 1) 


6-4 给 出 了 一 个 在 HEAPSORT 的 第 1 行 建立 初始 最 大 堆 之 后 ， 堆 排序 操作 的 一 个 例子 。 
图 6-4 显示 了 第 2~5 FF for 循环 第 一 次 迭代 开始 前 最 大 堆 的 情况 和 每 一 次 迭代 之 后 最 大 堆 的 情况 。 

HEAPSORT 过 程 的 时 间 复 杂 度 是 O(nlgn)， 因 为 每 次 调用 BUILD-MAX-HEAP 的 时 间 复 杂 
EE On), m "一 1 次 调用 MAX-HEAPIFY， 每 次 的 时 间 为 O(lgn)。 
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图 6-4 HEAPSORT 的 运行 过 程 。(a) 执 行 堆 排序 算法 第 1 行 ,用 BUILD-MAX-HEAP 构造 得 到 的 
最 大 堆 。(b) 一 0G) 每 次 执行 算法 第 5 行 ， 调 用 MAX-HEAPIFY 后 得 到 的 最 大 堆 ， 并 标识 当 
次 的 ; 值 。 其 中 ， 仅 仅 浅 色 阴 影 的 结 点 被 保留 在 堆 中 。(k) 最 终 数 组 A 的 排序 结果 


89 


90 + 第 二 部 分 排序 和 顺序 统计 量 


x o or ~ o” © 


© @0@ © ‘© @@ © © @@ © 


@@g@ @@@ 0o 
(g) Ch) Gi) 
© 
® © ,ma 
© 00 © 
000 
Gp (k) 
图 6-4 ( 续 ) 
练习 
6.4-1 参照 图 6-4 的 方法 ,说 明 HEAPSORT E% A=/5, 13, 2, 25, 7, 17, 20, 8, 4) 上 
的 操作 过 程 。 


6. 4-2” 试 分 析 在 使 用 下 列 循环 不 变量 时 ，HEAPSORT 的 正确 性 : 
在 算法 的 第 2 一 5 行 for 循环 每 次 迭代 开始 时 ， 子 数组 A[1. .让 是 一 个 包含 了 数 

组 A[1. .nj 中 第 i 小 元 素 的 最 大 堆 ， 而 子 数组 A[i 十 1. .nj 包含 了 数组 AL1. .中 中 已 排 
序 的 n 一 i 个 最 大 元 素 ? 

6. 4-3 ”对 于 一 个 按 升序 排列 的 包含 n 个 元 素 的 有 序数 组 A 来 说 ，HEAPSORT 的 时 间 复 杂 度 是 
多 少 ? 如 果 A 是 降序 呢 ? 

6.4-4 证明: 在 最 坏 情况 下 ，HEAPSORT 的 时 间 复 杂 度 是 Q(nlgn)。 

*6.4-5 证明: 在 所 有 元 素 都 不 同 的 情况 下 ，HEAPSORT 的 时 间 复 杂 度 是 Qnlgn)。 


6.5 优先 队列 


堆 排 序 是 一 个 优秀 的 算法 ,但 是 在 实际 应 用 中 ， 第 7 章 将 要 介绍 的 快速 排序 的 性 能 一 般 会 优 
于 堆 排 序 。 尽 管 如 此 ， 堆 这 一 数据 结构 仍然 有 很 多 应 用 。 在 这 一 节 中 ， 我 们 要 介绍 堆 的 一 个 常见 
应 用 : 作为 高 效 的 优先 队列 。 和 堆 一 样 ， 优 先 队列 也 有 两 种 形式 ， 最 大 优先 队列 和 最 小 优先 队 
列 。 这 里 ， 我 们 关注 于 如 何 基于 最 大 堆 实 现 最 大 优先 队列 。 练 习 6. 5-3 将 会 要 求 读者 编写 最 小 优 
先 队列 过 程 。 

优先 队列 (priority queue) 是 一 种 用 来 维护 由 一 组 元 素 构成 的 集合 S 的 数据 结构 ， 其 中 的 每 一 
个 元 素 都 有 一 个 相关 的 值 ， 称 为 关键 字 (key) 。 一 个 最 大 优先 队列 支持 以 下 操作 |， 

INSERT(S, x): 把 元 素 r MARAS 中 。 这 一 操作 等 价 于 S=SU{z}. 

MAXIMUM(S): 返回 S 中 具有 最 大 键 字 的 元 素 。 

EXTRACT-MAX(S): 去 掉 并 返回 S 中 的 具有 最 大 键 字 的 元 素 。 

INCREASE-KEY(S, zx, k): 将 元 素 z 的 关键 字 值 增加 到 &， 这 里 假设 站 的 值 不 小 于 z 的 原 
关键 字 值 。 

最 大 优先 队列 的 应 用 有 很 多 ， 其 中 一 个 就 是 在 共享 计算 机 系统 的 作业 调度 。 最 大 优先 队列 
记录 将 要 执行 的 各 个 作业 以 及 它们 之 间 的 相对 优先 级 。 当 一 个 作业 完成 或 者 被 中 断后 ， 调 度 器 
调用 EXTRACT-MAX 从 所 有 的 等 待 作业 中 ， 选 出 具有 最 高 优先 级 的 作业 来 执行 。 在 任何 时 候 ， 
调度 器 可 以 调用 INSERT 把 一 个 新 作业 加 入 到 队列 中 来 。 
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相应 地 ， 最 小 优先 队列 支持 的 操作 包括 INSERT、MINIMUM、EXTRACT-MIN 和 
DECREASE-KEY。 最 小 优先 队列 可 以 被 用 于 基于 事件 驱动 的 模拟 器 。 队 列 中 保存 要 模拟 的 事 
件 ， 每 个 事件 都 有 一 个 发 生 时 间作 为 其 关键 字 。 事 件 必 须 按 照发 生 的 时 间 顺 序 进 行 模拟 ， 因 为 某 
一 事件 的 模拟 结果 可 能 会 触发 对 其 他 事件 的 模拟 。 在 每 一 步 ， 模 拟 程序 调用 EXTRACT-MIN 来 
选择 下 一 个 要 模拟 的 事件 。 当 一 个 新 事件 产生 时 ， 模 拟 器 通过 调用 INSERT 将 其 插入 最 小 优先 
级 队列 中 。 在 第 23 章 和 第 24 章 的 内 容 中 ， 我 们 将 会 看 到 最 小 优先 队列 的 其 他 用 途 ， 特 别 是 对 
DECREASE-KEY 操作 的 使 用 。 

显然 ， 优 先 队列 可 以 用 堆 来 实现 。 对 一 个 像 作 业 调度 或 事件 驱动 模拟 器 这 样 的 应 用 程序 来 
说 ， 优 先 队 列 的 元 素 对 应 着 应 用 程序 中 的 对 象 。 通 常 ， 我 们 需要 确定 哪个 对 象 对 应 一 个 给 定 的 优 
先 队列 元 素 ， 反 之 亦 然 。 因 此 ， 在 用 堆 来 实现 优先 队列 时 ， 需 要 在 堆 中 的 每 个 元 素 里 存储 对 应 对 
象 的 句柄 (handle) 。 句 柄 (如 一 个 指针 或 一 个 整 型 数 等 ) 的 准确 含义 依赖 于 具体 的 应 用 程序 。 同 
样 ， 在 应 用 程序 的 对 象 中 ， 我 们 也 需要 存储 一 个 堆 中 对 应 元 素 的 句柄 。 通 常 ， 这 一 句柄 是 数组 的 
下 标 。 由 于 在 堆 的 操作 过 程 中 ， 元 素 会 改变 其 在 数组 中 的 位 置 ， 因 此 ， 在 具体 的 实现 中 ， 在 重新 
确定 堆 元 素 位 置 时 ， 我 们 也 需要 更 新 相应 应 用 程序 对 象 中 的 数组 下 标 。 因 为 对 应 用 程序 对 象 的 
访问 细节 强烈 依赖 于 应 用 程序 及 其 实现 方式 ， 所 以 这 里 我 们 不 做 详细 讨论 。 需 要 强调 的 是 ， 这 些 
句柄 也 需要 被 正确 地 维护 。 

现在 ， 我 们 来 讨论 如 何 实现 最 大 优先 队列 的 操作 。 过 程 HEAP-MAXIMUM 可 以 在 9(1) 时 
间 内 实现 MAXIMUM 操作 。 

HEAP-MAXIMUM(A) 

1 return A[1 ] 


过 程 HEAP-EXTRACT-MAX 实现 EXTRACT-MAX 操作 。 它 与 HEAPSORT 过 程 中 的 for 
循环 体 部 分 (第 3 一 5 行 ) 很 相似 。 
HEAP-EXTRACT-MAX(A) 
1 if A. heap-size < 1 
2 error “heap underflow” 
3 max = All] 
4 AÇ] = ALA. heap-size | 
5 A.heap size = A. heap-size — 1 
6 MAX-HEAPIFY(A, 1) 
7 


return max 


HEAP-EXTRACT-MAX 的 时 间 复 杂 度 为 O(lgn)。 因 为 除了 时 间 复 杂 度 为 Ogn) MAX- 
HEAPIFY 以 外 ， 它 的 其 他 操作 都 是 常数 阶 的 。 

HEAP-INCREASE-KEY 能 够 实现 INCREASE-KEY 操作 。 在 优先 队列 中 ， 我 们 希望 增加 关 
键 字 的 优先 队列 元 素 由 对 应 的 数组 下 标 i 来 标识 。 这 一 操作 需要 首先 将 元 素 A[ 相 的 关键 字 更 新 为 
新 值 。 因 为 增 大 ALi] 的 关键 字 可 能 会 违反 最 大 堆 的 性 质 ， 所 以 上 述 操作 采用 了 类 似 于 2.14 
INSERTION-SORT 中 插入 循环 (算法 第 5 一 7 行 ) 的 方式 ， 在 从 当前 结 点 到 根 结 点 的 路 径 上 ， 为 
新 增 的 关键 字 寻 找 恰 当 的 插入 人 位置。 在 HEAP-INCREASE-KEY 的 操作 过 程 中 ， 当 前 元 素 会 不 
断 地 与 其 父 结 点 进行 比较 ， 如 果 当 前 元 素 的 关键 字 较 大 ， 则 当前 元 素 与 其 父 结 点 进行 交换 。 这 一 
过 程 会 不 断 地 重复 ， 直 到 当前 元 素 的 关键 字 小 于 其 父 结 点 时 终止 ， 因 为 此 时 已 经 重新 符合 了 最 
大 堆 的 性 质 。( 准 确 的 循环 不 变量 表示 见 练习 6. 5-5.) 

HEAP-INCREASE-KEY(A, i, key) 

1 if key < Ali] 
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2 error “new key is smaller than current key” 
3 Ali] = key 

4 while i > 1 and ATPARENT(i) ] < ALi] 

5 exchange A[i] with ALPARENT() ] 

6 i = PARENT(i) 


图 6-5 显示 了 HEAP-INCREASE-KEY 的 一 个 操作 过 程 。 在 包含 ”个 元 素 的 堆 上 ，HEAP- 
INCREASE-KEY 的 时 间 复 杂 度 是 O(lgz) 。 这 是 因为 在 算法 第 3 行 做 了 关键 字 更 新 的 结 点 到 根 结 
点 的 路 径 长 度 为 Ol(lgn)。 





图 6-5 HEAP-INCREASE-KEY 的 操作 过 程 。(a) 图 6-4 a) PREAH, EP FERA i 的 结 点 以 深 色 阴 影 
显示 。(b) 该 结 点 的 关键 字 增 加 到 15。(c) 经 过 第 4 一 6 行 的 while 循环 的 一 次 迭代 ， 该 结 点 与 其 父 
结 点 交换 关键 字 ， 同 时 下 标 i 的 指示 上 移 到 其 父 结 点 。(d) 经 过 再 一 次 迭代 后 得 到 的 最 大 堆 。 此 时 ， 
ALPARENT(i)]>A[i。 现 在 ， 最 大 堆 的 性 质 成 立 ， 程 序 终止 


MAX-HEAP-INSERT 能 够 实现 INSERT 操作 。 它 的 输入 是 要 被 插入 到 最 大 堆 A 中 的 新 元 素 
的 关键 字 。MAX-HEAP-INSERT 首先 通过 增加 一 个 关键 字 为 一 co 的 叶 结 点 来 扩展 最 大 堆 。 然 后 
调用 HEAP-INCREASE-KEY 为 新 结 点 设置 对 应 的 关键 字 ， 同 时 保持 最 大 堆 的 性 质 。 

MAX-HEAP-INSERT(A, key) 

1 A.heap-size = A. heap-size + 1 

2 ALA. heap-size |] 一 一 co 

3 HEAP-INCREASE-KEY(A, A. heap-size, key) 

在 包含 ”个 元 素 的 堆 上 ，MAX-HEAP-INSERT 的 运行 时 间 为 Oden). 

总 之 ， 在 一 个 包含 n 个 元 素 的 堆 中 ， 所 有 优先 队列 的 操作 都 可 以 在 Ol(lgn) 时 间 内 完成 。 


练习 
6.5-1 试 说 明 HEAP-EXTRACT-MAX 在 堆 A=(15, 13, 9, 5, 12, 8, 7, 4, 0, 6, 2, DE 


的 操作 过 程 。 
6. 5-2” 试 说 明 MAX HEAP-INSERT(A，10) 在 堆 A=(15, 13, 9, 5, 12, 8, 7, 4, 0, 6, 2, 1) 


上 的 操作 过 程 。 


6. 5-3 


6. 5-4 


6. 5-5 


6. 5-6 


第 6 章 堆 H F 


要 求 用 最 小 堆 实现 最 小 优先 队列 ， 请 写 出 HEAP-MINIMUM、HEAP-EXTRACT-MIN、 
HEAP-DECREASE-KEY 和 MIN-HEAP-INSERT 的 伪 代 码 。 
在 MAX-HEAP-INSERT 的 第 2 行 ， 为 什么 我 们 要 先 把 关键 字 设 为 一 cp， 然 后 又 将 其 增 
加 到 所 需 的 值 呢 ? 
试 分 析 在 使 用 下 列 循环 不 变量 时 ，HEAP-INCREASE-KEY 的 正确 性 : 

在 算法 的 第 4~6 行 while 循环 每 次 迭代 开始 的 时 候 ， 子 数组 AL1..A. heapsize | 
要 满足 最 大 堆 的 性 质 。 如 果 有 违背 ， 只 有 一 个 可 能 : Alik F ALPARENT()]. 
这 里 ， 你 可 以 假定 在 调用 HEAP-INCREASE-KEY 时 ，A[1.. A. heazrsize] 是 满足 最 大 堆 
性 质 的 。 
在 HEAP-INCREASE-KEY 的 第 5 行 的 交换 操作 中 ， 一 般 需 要 通过 三 次 赋值 来 完成 。 想 
一 想 如 何 利 用 INSERTION-SORT 内 循环 部 分 的 思想 ， 只 用 一 次 赋值 就 完成 这 一 交换 
操作 ? 
试 说 明 如 何 使 用 优先 队列 来 实现 一 个 先进 先 出 队列 ， 以 及 如 何 使 用 优先 队列 来 实现 栈 。 
《队列 和 栈 的 定义 见 10.1 节 。) 
HEAP-DELETE(A, 操作 能 够 将 结 点 i 从 堆 A 中 删除 。 对 于 一 个 包含 ”个 元 素 的 堆 ， 
请 设计 一 个 能 够 在 Ol(gn) 时 间 内 完成 的 HEAP-DELETE 操作 。 
请 设计 一 个 时 间 复 杂 度 为 O(n lg%) 的 算法 ， 它 能 够 将 个 有 序 链表 合并 为 一 个 有 序 链表 ， 
这 里 是 所 有 输入 链表 包含 的 总 的 元 素 个 数 。( 提 示 : 使 用 最 小 堆 来 完成 & 路 归并 。) 


思考 题 


6-1 


6-2 


6-3 


〈 用 插入 的 方法 建 堆 ) 我们 可 以 通过 反复 调用 MAX-HEAP-INSERT 实现 向 一 个 堆 中 插入 
元 素 ， 考 虑 BUILD-MAX-HEAP 的 如 下 实现 方式 : 
BUILD-MAX-HEAP' (A) 


1 A. heap-size = 1 
2 for i =2 to A. length 
3 MAX-HEAP-INSERT(A, A[i]) 


a. 当 输 入 数据 相同 的 时 候 ，BUILD-MAX-HEAP 和 BUILD-MAX-HEAP' 生 成 的 堆 是 否 总 
是 一 样 ? 如 果 是 ， 请 证 明 ; 否则， 请 举 出 一 个 反例 。 

b. 证 明 : 在 最 坏 情况 下 ， 调 用 BUILD-MAX-HEAP' 建 立 一 个 包含 n 个 元 素 的 堆 的 时 间 复 杂 
度 是 (nlgn)。 

(Cd LHD) d LÈSER, 但 (一 个 可 能 的 例外 是 ) 其 中 的 每 个 非 叶 结 点 

有 < 个 孩子 ， 而 不 是 仅仅 2 个 。 

a. 如 何在 一 个 数组 中 表示 一 个 d HE? 

b. 包含 nn 个 元 素 的 d 又 堆 的 高 度 是 多 少 ? 请 用 nn 和 4d 表示 。 

c. 请 给 出 EXTRACT-MAX 在 d 又 最 大 堆 上 的 一 个 有 效 实现 ， 并 用 d 和 nn 表示 出 它 的 时 间 

d. 给 出 INSERT 在 4 又 最 大 堆 上 的 一 个 有 效 实现 ， 并 用 4 和 nn 表示 出 它 的 时 间 复 杂 度 。 

e 给 出 INCREASE-KEY(A，i， 包 的 一 个 有 效 实现 。 当 &<A[ 详 时 ， 它 会 触发 一 个 错误 ， 
否则 执行 ALi] 二 k&， 并 更 新 相应 的 4 又 最 大 堆 。 请 用 d 和 nn 表示 出 它 的 时 间 复 杂 度 。 

(Young KÆ) ”在 一 个 mXn 的 Young FERC Young tableau) 中 ， 每 一 行 的 数据 都 是 从 左 

到 右 排序 的 ， 每 一 列 的 数据 都 是 从 上 到 下 排序 的 。Young 氏 和 矩阵 中 也 会 存在 一 些 值 为 ce 的 数 

据 项 ， 表 示 那 些 不 存在 的 元 素 。 因 此 ，Young 氏 和 矩阵 可 以 用 来 存储 r <n 个 有 限 的 数 。 
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p 


画 出 一 个 包含 元 素 为 {9，16，3，2，4，8，5，14，12} 的 4X4Young 氏 和 矩阵 。 
对 于 一 个 mXn 的 Young RERE Y K, WWE: WR YL, 1]=%, WY Aas; WR 
167 YLm, n<, M Y wi CBS mn 个 元 素 ) 。 
请 给 出 一 个 在 m Xn Young 氏 和 矩阵 上 时 间 复 杂 度 为 OC(m 十 n) 的 EXTRACT-MIN 的 算法 实 
现 。 你 的 算法 可 以 考虑 使 用 一 个 递归 过 程 ， 它 可 以 把 一 个 规模 为 mX a 的 问题 分 解 为 规 
模 为 (m 一 1) Xn 或 者 mX(n 一 1) 的 子 问题 (提示 : 考虑 使 用 MAX-HEAPIFY)。 这 里 ， 定 
X TC(p) 用 来 表示 EXTRACT-MIN 在 任 一 mXn 的 Young 氏 和 矩阵 上 的 时 间 复 杂 度 ， 其 中 
p=mtn, BIRR T(p) 的 递归 表达 式 ， 其 结果 为 Omn). 
试 说明 如 何在 Olm 十 n) 时 间 内 ， 将 一 个 新 元 素 插 入 到 一 个 未 满 的 mXn 的 Young RE 
阵 中 。 
. 在 不 用 其 他 排序 算法 的 情况 下 ， 试 说 明 如 何 利用 一 个 2 Xn 的 Young RERET OC ?时间 
内 将 双 个 数 进行 排序 。 
. 设计 一 个 时 间 复 杂 度 为 OCm 十 nn) 的 算法 ， 它 可 以 用 来 判断 一 个 给 定 的 数 是 否 存储 在 mXn 
的 Young 氏 和 矩阵 中 。 
本 章 注 记 

堆 排 序 算法 是 由 Williams[357] 发 明 的 ， 他 同时 描述 了 如 何 利用 堆 来 实现 一 个 优先 队列 。 
BUILD-MAX-HEAP 则 是 由 Floyd[106] 提 出 的 。 

在 第 16、23 和 24 章 中 ， 我 们 会 使 用 最 小 堆 实 现 最 小 优先 队列 。 在 第 19 章 中 ， 我 们 会 给 出 
一 个 针对 特定 操作 改进 了 时 间 界 的 算法 实现 。 在 第 20 章 中 ， 我们 还 给 出 了 一 个 针对 关键 字 来 自 
有 限 非 负 整数 集合 的 实现 。 

如 果 数 据 都 是 2 位 整 型 数 ， 而 且 计算 机 内 存 也 是 可 寻 址 的 2 位 字 所 组 成 的 ，Fredman 和 
Willard[115] 给 出 了 如 何在 O(1) 时 间 内 实现 MINIMUM 和 在 OC Vign) 时 间 内 实现 INSERT, 
EXTRACT-MIN 操作 的 算法 。ThorupL337] 将 时 间 复 杂 度 的 界 降低 到 O(lglg n)。 这 一 性 能 的 提 
升 是 以 使 用 了 额外 的 存储 空间 为 代价 的 ， 这 可 以 用 随机 散 列 方法 在 线性 空间 中 实现 。 

优先 队列 的 一 个 重要 的 特殊 情形 是 EXTRACT-MIN 操作 序列 为 单调 的 ， 即 连续 EXTRACT- 
MIN 操作 返回 的 值 随 着 时 间 单 调 递增 。 这 一 情况 会 在 一 些 重 要 的 应 用 中 出 现 ， 例 如 ， 第 24 章 中 
将 会 介绍 的 Dijkstra 单 源 最 短路 径 算法 和 离散 事件 模拟 等 。 在 Dijkstra 算法 中 ，DECREASE- 

168] KEY 的 实现 效率 非常 重要 。 对 于 单调 情形 ， 如 果 数 据 是 1，2，…，C 范围 内 的 整数 ，Ahuja、 
Melhorn, Orlin 和 Tarjan[8] 利 用 称 为 基数 堆 (radix heap) 的 数据 结构 ， 实 现 了 O(lgC) 摊 还 时 间 内 
的 EXTRACT-MIN 和 INSERT 操作 ( 摊 还 分 析 的 内 容 请 参见 第 17 章 )， 以 及 O(1) 时 间 内 的 
DECREASE-KEY。 通 过 同时 使 用 斐 波 那 契 堆 ( 见 第 19 章 ) 和 基数 堆 ， 这 一 时 间 界 可 以 从 OCC) 
降低 到 O(CVIgC) 。 通 过 将 Denardo 和 Fox[85] 提 出 的 多 层 桶 结构 与 前 文中 提 到 的 Thorup 设计 的 
堆 相 结合 ，Cherkassky、Goldberg 和 Silverstein[65] 进 一 步 把 这 一 时 间 界 降低 到 O(ClgV:+eC ) 。 
Raman[291] 进 一 步 改进 这 些 结果 ， 将 其 降低 到 OCmin(lgy+teC，lgs+te)) ， 对 任意 固定 值 s>0 

[69] ”都 成 立 。 
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快速 排序 


对 于 包含 ”个 数 的 输入 数组 来 说 ， 快 速 排序 是 一 种 最 坏 情况 时 间 复 杂 度 为 86Cz ) 的 排序 算 
法 。 虽 然 最 坏 情况 时 间 复 杂 度 很 差 ， 但 是 快速 排序 通常 是 实际 排序 应 用 中 最 好 的 选择 ， 因 为 它 的 
平均 性 能 非常 好 : 它 的 期 望 时 间 复 杂 度 是 @(nlgn)， 而 且 @(Czlgz) 中 隐 含 的 常数 因子 非常 小 。 另 
外 ， 它 还 能 够 进行 原址 排序 ( 见 2. 1 节 )， 甚 至 在 虚 存 环境 中 也 能 很 好 地 工作 。 

7.1 节 将 描述 快速 排序 算法 及 它 的 一 个 重要 的 划分 子 程序 。 因 为 快速 排序 的 运行 情况 比较 复 
A, 在 7.2 节 中 ,我 们 先 对 其 性 能 进行 一 个 直观 的 讨论 ， 在 本 章 的 最 后 会 给 出 一 个 准确 的 分 析 。 
在 7.3 节 中 ， 我 们 会 介绍 一 个 基于 随机 抽样 的 快速 排序 算法 。 这 一 算法 的 期 望 时 间 复 杂 度 较 好 ， 
而 且 没 有 什么 特殊 的 输入 会 导致 最 坏 情况 的 发 生 。7. 4 节 对 这 一 随机 算法 的 分 析 表 明 ， 其 最 坏 情 
况 时 间 复 杂 度 是 OC’); 在 元 素 互 异 的 情况 下 ， 期 望 时 间 复 杂 度 O(nlgn)。 


7.1 快速 排序 的 描述 

与 归并 排序 一 样 ， 快 速 排序 也 使 用 了 2. 3. 1 节 介 绍 的 分 治 思想 。 下 面 是 对 一 个 典型 的 子 数组 
ALp. .rj 进行 快速 排序 的 三 步 分 治 过 程 : 

分 解 : 数组 ALD. .rj 被 划分 为 两 个 (可 能 为 空 ) 子 数组 A[Lp. .gq 一 1] 和 ALg 十 1..r]， 使 得 
Alp. . q 一 1j 中 的 每 一 个 元 素 都 小 于 等 于 ALa], m ALqj 也 小 于 等 于 ALg 十 1..r] 中 的 每 个 元 素 。 
其 中 ,计算 下 标 g 也 是 划分 过 程 的 一 部 分 。 

解决 : 通过 递归 调用 快速 排序 ， 对 子 数组 AL2. . gq 一 1] 和 ALg 十 1. .rj 进行 排序 。 

BH: 因为 子 数 组 都 是 原址 排序 的 ， 所 以 不 需要 合并 操作 : 数组 ALp. . 门 已 经 有 序 。 

下 面 的 程序 实现 快速 排序 : 

QUICKSORT(A, p, r) 





1 if p<r 
2 q = PARTITION(A, p, r) 
3 QUICKSORT(A, p, g—1) 
4 QUICKSORT(A, q+ 1, r) 


为 了 排序 一 个 数组 A 的 全 部 元 素 ， 初 始 调用 是 QUICKSORT(A, 1, A. length). 
数组 的 划分 
算法 的 关键 部 分 是 PARTITION 过 程 ， 它 实现 了 对 子 数组 A[p. . 门 的 原址 重 排 。 


PARTITION(A, p, r) 

1 z= Alr] 

2 i=p-l 

3 forj = ptor—l 

4 if ALj <x 

5 i=itl 

6 exchange A[i] with A[;] 
7 exchange A[it+ 1] with A[7] 

8 


return ¿ + 1 


Al 7-1 显示 了 PARTITION 如 何在 一 个 包含 8 个 元 素 的 数组 上 进行 操作 的 过 程 。 
PARTITION 总 是 选择 一 个 x 二 ALrj 作 为 主 元 (pivot element) ， 并 围绕 它 来 划分 子 数 组 A[p. . 门 。 
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随 着 程序 的 执行 ， 数 组 被 划分 成 4 个 (可 能 有 空 的 ) 区 域 。 在 第 3 一 6 行 的 for 循环 的 每 一 轮 迭 代 的 
开始 ， 每 一 个 区 域 都 满足 一 定 的 性 质 ， 如 图 7-2 所 示 。 我 们 将 这 些 性 质 作为 循环 不 变量 : 

在 第 3~6 行 循环 体 的 每 一 办 迭代 开始 时 ， 对 于 任意 数组 下 标 &， 有 : 

1. # p<k<i, 则 ALk]<x。 

2. #itl<r<j-l1, Ml ALk]>z. 

3. #k=r, iN] ALk]=z. 
但 是 上 述 三 种 情况 没有 覆盖 下 标 ;j 到 > 一 1， 对 应 位 置 的 值 与 主 元 之 间 也 不 存在 特定 的 大 小 关系 。 


i py r 


(a) EELE 












































Ce) 











Ce) 




















图 7-1 在 一 个 样 例 数组 上 的 PARTITION 操作 过 程 。 数 组 项 ALxj] 是 主 元 x。 浅 阴影 部 分 的 数组 元 
素 都 在 划分 的 第 一 部 分 ， 其 值 都 不 大 于 z。 深 阴影 部 分 的 元 素 都 在 划分 的 第 二 部 分 ， 其 值 
都 大 于 zx。 无 阴影 的 元 素 则 是 还 未 分 人 这 两 个 部 分 中 的 任意 一 个 。 最 后 的 白色 元 素 就 是 主 
元 zx。(a) 初 始 的 数组 和 变量 设置 。 数 组 元 素 均 未 被 放 入 前 两 个 部 分 中 的 任何 一 个 。(b)2 
与 它 自身 进行 交换 ， 并 被 放 入 了 元 素 值 较 小 的 那个 部 分 。(c) 一 (d)8 和 7 被 添加 到 元 素 值 
较 大 的 那个 部 分 中 。(e)1l 和 8 进行 交换 ， 数 值 较 小 的 部 分 规模 增加 。(f) 数 值 3 和 7 进行 
交换 ， 数 值 较 小 的 部 分 规模 增加 。(g) 一 (h)5 和 6 被 包含 进 较 大 部 分 ， 循 环 结束 。(i) 在 第 
7 一 8 行 中 ， 主 元 被 交换 ， 这 样 主 元 就 位 于 两 个 部 分 之 间 
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图 7-2 在 子 数组 A[p. .r] E, PARTITION 维护 了 4 个 区 域 。A[p. . 司 区 间 内 的 所 有 值 都 小 于 等 
于 zx，A[i 二 1..j 一 1] 区 间 内 的 所 有 值 都 大 于 z，A[r]= 二 x。 子 数组 A[j. .7 一 1] 中 的 值 可 
能 属于 任何 一 种 情况 


我 们 需要 证 明 这 个 循环 不 变量 在 第 一 轮 迭 代 之 前 是 成 立 的 ， 并 且 在 每 一 轮 迭 代 后 仍然 都 成 
立 。 在 循环 结束 时 ， 该 循环 不 变量 还 可 以 为 证 明正 确 性 提供 有 用 的 性 质 。 

初始 化 : 在 循环 的 第 一 轮 迭 代 开 始 之 前 ,i 二 p 一 1 和 ;二 zp。 因为 在 p 和 i 之 间 、i 十 1 和 
j 一 1 之 间 都 不 存在 值 ， 所 以 循环 不 变量 的 前 两 个 条 件 显然 都 满足 。 第 1 行 中 的 赋值 操作 满足 了 
第 二 个 条 件 ; 

保持 : 如 图 7-3 所 示 ， 根 据 第 4 行 中 条 件 判断 的 不 同 结果 ， 我 们 需要 考虑 两 种 情况 。 图 7-3(a) 
显示 当 AL 让 >z 时 的 情况 : 循环 体 的 唯一 操作 是 7 的 值 加 1。 在 7 值 增加 后 ， 对 AL; 一 1]， 条 件 
2 成 立 ， 且 所 有 其 他 项 都 保持 不 变 。 图 7-3(b) 显 示 当 AL] Se 时 的 情况 : 将 i 值 加 1， 交 换 A[ 本 
MAL], FK 7 值 加 1。 因为 进行 了 交换 ， 现 在 有 A[ 引 二 zx， 所 以 条 件 1 得 到 满足 。 类 似 地 ， 我 
们 也 能 得 到 ALj 一 1] 二 zx。 因 为 根据 循环 不 变量 ， 被 交换 进 AL 一 1] 的 值 总 是 大 于 xz 的 。 
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(b) 








图 7-3 PARTITION 的 一 次 迭代 中 会 有 两 种 可 能 的 情况 : (a) 如 果 AL7 门 之 z， 需 要 做 的 只 是 将 
j 的 值 加 1， 从 而 使 循环 不 变量 继续 保持 。(b) 如 果 ALS I<, MFE i 的 值 加 1， 并 
交换 ALi] AL], FRA ; 的 值 加 1。 此 时 ， 循 环 不 变量 同样 得 到 保持 
终止 : 当 终 止 时 ， ;一 r+。 于 是 ， 数 组 中 的 每 个 元 素 都 必然 属于 循环 不 变量 所 描述 的 三 个 集合 
的 一 个 ， 也 就 是 说 ， 我 们 已 经 将 数组 中 的 所 有 元 素 划 分 成 了 三 个 集合 : 包含 了 所 有 小 于 等 于 z 的 
元 素 的 集合 、 包 含 了 所 有 大 于 z 的 元 素 的 集合 和 只 有 一 个 元 素 zx 的 集合 。 
在 PARTITION 的 最 后 两 行 中 ， 通 过 将 主 元 与 最 左 的 大 于 z 的 元 素 进 行 交 换 ， 就 可 以 将 主 
元 移 到 它 在 数组 中 的 正确 位 置 上 ， 并 返回 主 元 的 新 下 标 。 此 时 ，PARTITION 的 输出 满足 划分 步 
又 规定 的 条 件 。 实 际 上 ， 一 个 更 严格 的 条 件 也 可 以 得 到 满足 : 在 执行 完 QUICKSORT 的 第 2 íT 
之 后 ，AL9j] 严 格 小 于 ALg 十 1. . 门 内 的 每 一 个 元 素 。 
PARTITION 在 子 数组 ALe. . 门 上 的 时 间 复 杂 度 是 8(n)， 其 中 n= 二 r 一 p 十 1( 见 练习 7. 1-3) 。 


练习 

7.1-1 参照 图 7-1 的 方法 ， 说 明 PARTITION 在 数组 A=(13, 19, 9, 5, 12, 8, 7, 4, 21, 2, 
6，11> 上 的 操作 过 程 。 

7.1-2” 当 数组 ALzp. .rj 中 的 元 素 都 相同 时 ，PARTITION 返回 的 gq 值 是 什么 ? 修改 PARTITION, 使 
得 当 数 组 ALp. . 门 中 所 有 元 素 的 值 都 相同 时 ，% 王 [2 十 ~)/2|。 

7.1-3 请 简要 地 证 明 : 在 规模 为 n 的 子 数组 上 ，PARTITION 的 时 间 复 杂 度 为 O(n). 

7.1-4 如 何 修改 QUICKSORT， 使 得 它 能 够 以 非 递增 序 进 行 排序 ? 


7.2 快速 排序 的 性 能 


快速 排序 的 运行 时 间 依 赖 于 划分 是 否 平衡 ， 而 平衡 与 否 又 依赖 于 用 于 划分 的 元 素 。 如 果 划 
分 是 平衡 的 ， 那么 快速 排序 算法 性 能 与 归并 排序 一 样 。 如 果 划 分 是 不 平衡 的 ， 那 么 快速 排序 的 性 
能 就 接近 于 插入 排序 了 。 在 本 节 中 ， 我 们 将 给 出 划分 为 平衡 或 不 平衡 时 快速 排序 性 能 的 非 形 式 
化 的 分 析 。 

最 坏 情 况 划 分 

当 划 分 产生 的 两 个 子 问题 分 别 包 含 了 nn 一 1 个 元 素 和 0 个 元 素 时 ， 快 速 排 序 的 最 坏 情况 发 生 
了 (证 明 见 7.4. 1 节 )。 不 妨 假 设 算法 的 每 一 次 递归 调用 中 都 出 现 了 这 种 不 平衡 划分 。 划 分 操作 的 
时 间 复 杂 度 是 @(n) 。 由 于 对 一 个 大 小 为 0 的 数组 进行 递归 调用 会 直接 返回 ， 因 此 T(0) 王 9@(1)， 


175 


98 





第 二 部 分 “排序 和 顺序 统计 量 


于 是 算法 运行 时 间 的 递归 式 可 以 表示 为 : 
Tin) = Tin—1) + TO) + OM = Tin— 1) 十 BC2) 

从 直观 上 来 看 ， 每 一 层 递归 的 代价 可 以 被 累加 起 来 ， 从 而 得 到 一 个 算术 级 数 ( 公 式 (A. 2)), Hi 
RA OC’), 。 实 际 上 ， 利 用 代 和 人 法 可 以 直接 得 到 递归 式 T S= Tat Om EA T) = 
O(n’) HAY 7. 2-1). 

因此 ， 如 果 在 算法 的 每 一 层 递归 上 ， 划 分 都 是 最 大 程度 不 平衡 的 ， 那 么 算法 的 时 间 复 杂 度 就 
是 (ww)。 也 就 是 说 ， 在 最 坏 情况 下 ， 快 速 排序 算法 的 运行 时 间 并 不 比 插入 排序 更 好 。 此 外 ， 当 
输入 数组 已 经 完全 有 序 时 ， 快 速 排 序 的 时 间 复 杂 度 仍然 为 BC )。 而 在 同样 情况 下 ， 插 入 排序 的 
时 间 复 杂 度 为 On). 

最 好 情况 划分 

在 可 能 的 最 平衡 的 划分 中 ，PARTITION 得 到 的 两 个 子 问题 的 规模 都 不 大 于 n/2。 这 是 因为 
其 中 一 个 子 问题 的 规模 为 Ln/2]， 而 另 一 个 子 问 题 的 规模 为 [n/2 1 一 1。 在 这 种 情况 下 ， 快 速 排 序 
的 性 能 非常 好 。 此 时 ， 算 法 运行 时 间 的 递归 式 为 : 

Tin) = 2T(n/2) + O(n) 

在 上 式 中 ， 我 们 忽略 了 一 些 余 项 以 及 减 1 操作 的 影响 。 根 据 主 定理 (定理 4.1) 的 情况 2， 上 述 递 
归 式 的 解 为 T(n) 一 BC(nlgn)。 通 过 在 每 一 层 递 归 中 都 平衡 划分 子 数组 ， 我 们 得 到 了 一 个 渐 近 时 间 
上 更 快 的 算法 。 

平衡 的 划分 

快速 排序 的 平均 运行 时 间 更 接近 于 其 最 好 情况 ， 而 非 最 坏 情 况 。 详 细 的 分 析 可 以 参看 本 书 
7.4 节 。 理 解 这 一 点 的 关键 就 是 理解 划分 的 平衡 性 是 如 何 反映 到 描述 运行 时 间 的 递归 式 上 的 。 

例如 ， 假 设 划分 算法 总 是 产生 9 : 1 的 划分 ， 乍 一 看 ， 这 种 划分 是 很 不 平衡 的 。 此 时 ， 我 们 
得 到 的 快速 排序 时 间 复 杂 度 的 递归 式 为 : 

T(n) = T(9n/10) + T(n/10) + cn 

这 里 ， 我 们 显 式 地 写 出 了 8(n) 项 中 所 隐 舍 的 常数 c。 图 7-4 显示 了 这 一 递归 调用 所 对 应 的 递归 
树 。 注 意 ， 树 中 每 一 层 的 代价 都 是 cx， 直到 在 深度 logioz 王 9(lgz) 处 达到 递归 的 边界 条 件 时 为 
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图 7-4 QUICKSORT 的 一 棵 递归 树 ， 其 中 PARTITION 总 是 产生 9: 1 的 划分 。 该 树 的 时 间 复 
RREN O(nlgn)。 每 个 结 点 的 值 表示 子 问题 的 规模 ， 每 一 层 的 代价 显示 在 最 右边 。 每 一 
层 的 代价 包含 了 OM) SHAS HBR c 
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止 ， 之 后 每 层 代价 至 多 为 cz 。 递 归 在 深度 为 logiosz 王 @(lgm) 处 终止 。 因 此 ， 快 速 排序 的 总 代价 
为 O(nlgn)。 因 此 ， 即 使 在 递归 的 每 一 层 上 都 是 9 : 1 的 划分 ， 直 观 上 看 起 来 非常 不 平衡 ， 但 快 
速 排序 的 运行 时 间 是 O(nlgn)， 与 恰好 在 中 间 划 分 的 渐 近 运行 时 间 是 一 样 的 。 实 际 上 ， 即 使 是 
99 : 1 的 划分 ， 其 时 间 复 杂 度 仍然 是 O(nlgn)。 事 实 上 ， 任 何 一 种 常数 比例 的 划分 都 会 产生 深度 
为 6(lgn) 的 递归 树 ， 其 中 每 一 层 的 时 间 代 价 都 是 OC(n)。 因 此 ， 只 要 划分 是 常数 比例 的 ， 算 法 的 
运行 时 间 总 是 O(nlgn)。 

对 于 平均 情况 的 直观 观察 

为 了 对 快速 排序 的 各 种 随机 情况 有 一 个 清楚 的 认识 ， 我 们 需要 对 遇 到 各 种 输入 的 出 现 频率 
做 出 假设 。 快 速 排序 的 行为 依赖 于 输入 数组 中 元 素 的 值 的 相对 顺序 ， 而 不 是 某 些 特 定 值 本 身 。 与 
5. 2 节 中 对 雇用 问题 所 做 的 概率 分 析 类 似 ， 这 里 我 们 也 假设 输入 数据 的 所 有 排列 都 是 等 概率 的 。 

当 对 一 个 随机 输入 的 数组 运行 快速 排序 时 ， 想 要 像 前 面 非 形 式 化 分 析 中 所 假设 的 那样 ， 在 
每 一 层 上 都 有 同样 的 划分 是 不 太 可 能 的 。 我 们 预期 某 些 划分 会 比较 平衡 ， 而 另 一 些 则 会 很 不 平 
衡 。 例 如 ， 在 练习 7. 2-6 中 ， 会 要 求 读者 说 明 PARTITION 所 产生 的 划分 中 80% 以 上 都 比 9: 1 
更 平衡 ， 而 男 20% 的 划分 则 比 9 : 1 更 不 平衡 。 

在 平均 情况 下 ，PARTITION 所 产生 的 划分 同时 混合 有 “好 ”和 “ 差 ” 的 划分 。 此 时 ， 在 与 
PARTITION 平 均 情况 执行 过 程 所 对 应 的 递归 树 中 ， 好 和 差 的 划分 是 随机 分 布 的 。 基 于 直觉 ， 假 
设 好 和 差 的 划分 交替 出 现在 树 的 各 层 上， 并 且 好 的 划分 是 最 好 情况 划分 ， 而 差 的 划分 是 最 坏 情 
况 划 分 ， 图 7-5C(a) 显 示 出 了 递归 树 的 连续 两 层 上 的 划分 情况 。 在 根 结 点 处 ， 划 分 的 代价 为 x， 划 
分 产生 的 两 个 子 数组 的 大 小 为 n 一 1 和 0， 即 最 坏 情况 。 在 下 一 层 上 ， 大 小 为 n 一 1 的 子 数组 按 最 
好 情况 划分 成 大 小 分 别 为 (x 一 1)/2 一 1 和 (n 一 1)/2 的 子 数组 。 在 这 里 ， 我 们 假设 大 小 为 0 的 子 数 
组 的 边界 条 件 代 价 为 1。 

在 一 个 差 的 划分 后 面 接着 一 个 好 的 划分 ， 这 种 组 合 产 生出 三 个 子 数 组 ， 大 小 分 别 为 0、(n 一 
1)/2—1 和 (mn 一 1)/2。 这 一 组 合 的 划分 代价 为 8() 十 8@(n 一 1) 二 8@(n)。 该 代价 并 不 比 图 7-5(b) 中 的 
更 差 。 在 图 7-5(b) 中 ,一 层 划 分 就 产生 出 大 小 为 (n 一 1)/2 的 两 个 子 数组 ， 划 分 代价 为 8(n)。 但 
是 ， 后 者 的 划分 是 平衡 的 ! 从 直观 上 看 ， 差 划分 的 代价 8(n 一 1) 可 以 被 吸收 到 好 划分 的 代价 @(n) 
中 去 ， 而 得 到 的 划分 结果 也 是 好 的 。 因 此 ， 当 好 和 差 的 划分 交替 出 现时 ， 快 速 排序 的 时 间 复 杂 度 
与 全 是 好 的 划分 时 一 样 ， 仍 然 是 O(nlgn)。 区 别 只 是 O 符 号 中 隐 含 的 常数 因子 要 略 大 一 些 。 在 
7.4.2 节 中 ， 我 们 将 给 出 一 个 关于 随机 输入 情况 下 快速 排序 的 期 望 时 间 复 杂 度 的 更 严格 的 分 析 。 
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图 7-5 《〈a) 一 棵 快速 排序 递归 树 的 两 层 。 在 根 结 点 这 一 层 的 划分 代价 是 >， 产生 了 一 个 “ 坏 ” 的 划分 : 两 个 
子 数组 的 大 小 分 别 为 0 和 nn 一 1。 对 大 小 为 n 一 1 的 子 数组 的 划分 代价 为 n 一 1， 并 产生 了 一 个 “好 ”的 
划分 ， 大 小 分 别 为 (x 一 1)/2 一 1 和 (n 一 1)/2 的 子 数组 。(b) 一 棵 非常 平衡 的 递归 树 中 的 一 层 。 在 两 
棵 树 中 ， 椭 圆 阴 影 所 示 的 子 问题 的 划分 代价 都 是 8(z) 。 可 以 看 出 ，(a) 中 以 矩形 阴影 显示 的 待 解决 
子 问题 的 规模 并 不 大 于 (b) 中 对 应 的 待 解决 子 问题 


练习 


7.2-1 利用 代入 法 证 明 : 正如 7. 2 节 开 头 提 到 的 那样 ， 递 归 式 T(n) 二 Tln 一 1) 十 @(n) 的 解 为 
Tin) =O’). 
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7.2-2” 当 数组 A 的 所 有 元 素 都 具有 相同 值 时 ，QUICKSORT 的 时 间 复 杂 度 是 什么 ? 

7.2-3 证明: 当 数 组 A 包含 的 元 素 不 同 ， 并 且 是 按 降序 排列 的 时 候 ，QUICKSORT 的 时 间 复 杂 
FER OC’). 

7.2-4 ”银行 一 般 会 按照 交易 时 间 来 记录 某 一 账户 的 交易 情况 。 但 是 ,很 多 人 却 言 欢 收 到 的 银行 
对 账单 是 按照 支票 号 码 的 顺序 来 排列 的 。 这 是 因为 ， 人 们 通常 都 是 按照 支票 号 码 的 顺序 
来 开 出 支票 的 ， 而 商人 也 通常 都 是 根据 支票 编号 的 顺序 兑付 支票 。 这 一 问题 是 将 按 交易 
时 间 排 序 的 序列 转换 成 按 支票 号 排序 的 序列 ， 它 实质 上 是 一 个 对 几乎 有 序 的 输入 序列 进 
行 排 序 的 问题 。 请 证 明 : 在 这 个 问题 上 ，INSERTION-SORT 的 性 能 往往 要 优 于 
QUICKSORT? 

7.2-5 ”假设 快速 排序 的 每 一 层 所 做 的 划分 的 比例 都 是 1 一 a : a， 其 中 0 二 a<1/2 且 是 一 个 常数 。 
试 证 明 : 在 相应 的 递归 树 中 ， 叶 结 点 的 最 小 深度 大 约 是 一 lgn/ lga， 最 大 深度 大 约 是 
一 lgn/lg(1 一 a) (无 需 考 虑 整数 合 和 人 问题 )。 


*7.2-6 WWR: 在 一 个 随机 输入 数组 上 ， 对 于 任何 常数 0 二 a 二 1/2，PARTITION 产生 比 1 一 a : a 


更 平衡 的 划分 的 概率 约 为 1 一 2a。 


7.3 快速 排序 的 随机 化 版 本 


在 讨论 快速 排序 的 平均 情况 性 能 的 时 候 ， 我 们 的 前 提 假 设 是 : 输入 数据 的 所 有 排列 都 是 等 
概率 的 。 但 是 在 实际 工程 中 ， 这 个 假设 并 不 会 总 是 成 立 ( 见 练习 7. 2-4) 。 正 如 在 5. 3 节 中 我 们 所 
看 到 的 那样 ， 有 时 我 们 可 以 通过 在 算法 中 引入 随机 性 ， 从 而 使 得 算法 对 于 所 有 的 输入 都 能 获得 
较 好 的 期 望 性 能 。 很 多 人 都 选择 随机 化 版 本 的 快速 排序 作为 大 数据 输入 情况 下 的 排序 算法 。 

在 5. 3 节 中 ， 我 们 通过 显 式 地 对 输入 进行 重新 排列 ， 使 得 算法 实现 随机 化 。 当 然 ， 对 于 快速 
排序 我 们 也 可 以 这 么 做 。 但 如 果 采 用 一 种 称 为 随机 抽样 (random sampling) 的 随机 化 技术 ， 那 么 
可 以 使 得 分 析 变 得 更 加 简单 。 与 始终 采用 AL 站 作为 主 元 的 方法 不 同 ， 随 机 抽样 是 从 子 数组 
Alp. . 门 中 随机 选择 一 个 元 素 作为 主 元 。 为 达到 这 一 目的 ， 首 先 将 AL 与 从 ALz. . 门 中 随机 选 出 
的 一 个 元 素 交 换 。 通 过 对 序列 p，…, r 的 随机 抽样 ， 我 们 可 以 保证 主 元 元 素 x 二 ALrj 是 等 概率 
地 从 子 数 组 的 r 一 p 十 1 个 元 素 中 选取 的 。 因 为 主 元 元 素 是 随机 选取 的 ， 我们 期 望 在 平均 情况 下 ， 
对 输入 数组 的 划分 是 比较 均衡 的 。 

对 PARTITION 和 QUICKSORT 的 代码 的 改动 非常 小 。 在 新 的 划分 程序 中 ， 我们 只 是 在 真 
正 进 行 划 分 前 进行 一 次 交换 : 

RANDOMIZED-PARTITION (A, p, 7) 

1 i=RANDOM(p, r) 

2 exchange A[r] with A[i] 

3 return PARTITION(A, p, r) 


新 的 快速 排序 不 再 调用 PARTITION, 而 是 调用 RANDOMIZED-PARTITION: 


RANDOMIZED-QUICKSORT (A, p, 7) 
L ifg<r 


2 q = RANDOMIZED-PARTITION (A, p, 7) 
3 RANDOMIZED-QUICKSORT (A, p, g—1) 
4 RANDOMIZED-QUICKSORT (A, g+1, r) 
我 们 将 在 下 一 节 中 分 析 这 一 算法 。 

练习 


7.3-1 为 什么 我 们 分 析 随 机 化 算法 的 期 望 运行 时 间 ， 而 不 是 其 最 坏 运 行 时 间 呢 ? 
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7.3-2 在 RANDOMIZED-QUICKSORT 的 运行 过 程 中 ， 在 最 坏 情 况 下 ， 随 机 数 生成 器 RANDOM 
被 调用 了 多 少 次 ? 在 最 好 情况 下 呢 ? 以 @ 符 号 的 形式 给 出 你 的 答案 ? 


7.4 快速 排序 分 析 

在 7.2 节 中 ， 我 们 给 出 了 在 最 坏 情 况 下 快速 排序 性 能 的 直观 分 析 ， 以 及 它 速 度 比 较 快 的 原 
因 。 在 本 节 中 ， 我 们 要 给 出 快速 排序 性 能 的 更 严谨 的 分 析 。 我 们 首先 从 最 坏 情况 分 析 开 始 ， 其 方 
法 可 以 用 于 QUICKSORT 和 RANDOMIZED-QUICKSORT 的 分 析 ， 然 后 给 出 RANDOMIZED- 
QUICKSORT 的 期 望 运行 时 间 。 


7.4.1 最 坏 情 况 分 析 


在 7.2 节 中 ,我 们 可 以 看 到 ， 在 最 坏 情况 下 ， 人 快速 排序 的 每 一 层 递 归 的 时 间 复 杂 度 是 (2 ) 。 
从 直观 上 来 看 ， 这 也 就 是 最 坏 情况 下 的 运行 时 间 。 下 面 来 证 明 这 一 点 。 
利用 代入 法 ( 见 4. 3 节 )， 我 们 可 以 证 明快 速 排序 的 时 间 复 杂 度 为 OC(x? )。 假 设 T(n) 是 最 坏 
情况 下 QUICKSORT 在 输入 规模 为 n 的 数据 集合 上 所 花费 的 时 间 ， 则 有 递归 式 : 
Tin) = pmax (T) + Tn g—1)) + Om) TD 
因为 PARTITION 函数 生成 的 两 个 子 问题 的 规模 加 总 为 n 一 1， 所 以 参数 q 的 变化 范围 是 0 到 
n 一 1。 我 们 不 妨 猜测 TMc? 成 立 ， 其 中 c 为 常数 。 将 此 式 代 人 递归 式 (7. DP, 4: 
T(n) < max (a? 十 c(n 一 g 一 1)?) 十 @(n) 
=¢ * max (g +(a—q—1)*) + 0(~m) 
表达 式 十 (n 一 gq 一 1)? 在 参数 取 值 区 间 0 二 gq<n 一 1 的 端点 上 取得 最 大 值 。 由 于 该 表达 式 对 
于 g 的 二 阶 导 数 是 正 的 ( 见 练习 7. 4-3)， 我 们 可 以 得 到 表达 式 的 上 界 max (9 + (a—q—D)< 
(n 一 1 二 zr 一 2n 十 1， 将 其 代入 上 式 的 Ta), RAZE: 
T(n) < cn? — c(2n—1) + Om) < cn? 
因为 我 们 可 以 选择 一 个 足够 大 的 常数 c， 使 得 c(2n 一 1) 项 能 显著 大 于 8(n) 项 ， 所 以 有 Ton) = 
OG’), 467.277, 我们 看 到 了 特例 : 当 划 分 非 平 衡 的 时 候 ， 快 速 排序 的 运行 时 间 为 Q (ni)。 
此 外 ， 在 练习 7. 4-1 中 ， 要 求 你 证 明 递 归 式 (7.1) 有 另 一 个 解 T(n) 二 QC(w)。 因 此 ， 快速 排 序 的 
(最 坏 情 况 ) 运 行 时 间 是 O). 


7.4.2 期望 运 行 时 间 

我 们 已 经 从 直观 上 了 解 了 为 什么 RANDOMIZED-QUICKSORT 的 期 望 运行 时 间 是 O(n Ign) : 
如 果 在 递归 的 每 一 层 上 RANDOMIZED-PARTITION 将 任意 常数 比例 的 元 素 划 分 到 一 个 子 数组 
中 ， 则 算法 的 递归 树 的 深度 为 8(lgz) ， 并 且 每 一 层 上 的 工作 量 都 是 O(z) 。 即 使 在 最 不 平衡 的 划 
分 情况 下 ,会 增加 一 些 新 的 层次 , 但 总 的 运行 时 间 仍 然 保 持 是 O(n lgn)。 要 准确 地 分 析 
RANDOMIZED-QUICKSORT 的 期 望 运行 时 间 ， 首 先 要 理解 划分 操作 是 如 何 进行 的 ; 然后 ， 在 
此 基础 之 上 ， 推 导出 期 望 运行 时 间 的 一 个 O(lgn) 的 界 。 有 了 这 一 期 望 运行 时 间 的 上 界 ， 再 加 上 
7.2 节 中 得 到 的 最 好 情况 界 8(nlgn)， 我 们 就 能 得 到 8@(n1lgn) 这 一 期 望 运行 时 间 。 在 这 里 ， 假 设 
待 排序 的 元 素 始终 是 互 异 的 。 

运行 时 间 和 比较 操作 

QUICKSORT 和 RANDOMIZED-QUICKSORT 除了 如 何 选择 主 元 元 素 有 差异 以 外 ， 其 他 方 
面 完 全 相同 。 因此, 我们 可 以 在 讨论 QUICKSORT 和 PARTITION 的 基础 上 分 析 
RANDOMIZED-QUICKSORT。 其 中 ，RANDOMIZED-QUICKSORT 随机 地 从 子 数组 中 选择 元 
素 作 为 主 元 元 素 。 
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QUICKSORT 的 运行 时 间 是 由 在 PARTITION 操作 上 所 花费 的 时 间 决 定 的 。 每 次 对 
PARTITION 的 调用 时 ， 都 会 选择 一 个 主 元 元 素 ， 而且 该 元 素 不 会 被 包含 在 后 续 的 对 
QUICKSORT 和 PARTITION 的 递归 调用 中 。 因 此 ， 在 快速 排序 算法 的 整个 执行 期 间 ， 至 多 只 
可 能 调用 PARTITION 操作 nn 次。 调用 一 次 PARTITION 的 时 间 为 0(1) 再 加 上 一 段 循环 时 间 。 
这 段 时 间 与 第 3~6 行 中 for 循 环 的 迭代 次 数 成 正比 。 这 一 for 循环 的 每 一 轮 迭 代 都 要 在 第 4 行进 
行 一 次 比较 : 比较 主 元 元 素 与 数组 A 中 男 一 个 元 素 。 因 此 ， 如 果 我 们 可 以 统计 第 4 行 被 执行 的 
总 次 数 ， 就 能 够 给 出 在 QUICKSORT 的 执行 过 程 中 ，for 循环 所 花 时 间 的 界 了 。 

引 理 7.1 当 在 一 个 包含 nn 个 元 素 的 数组 上 运行 QUICKSORT 时 ， 假 设 在 PARTITION 的 第 
4 行 中 所 做 比较 的 次 数 为 了， 那么 QUICKSORT 的 运行 时 间 为 O(n 十 X)。 

证 明 根据 上 面 的 讨论 ， 算法 最 多 对 PARTITION 调用 nn 次 。 每 次 调用 都 包括 一 个 固定 的 工 
作 量 和 执行 若干 次 for 循环 。 在 每 一 次 for 循环 中 ， 都 要 执行 第 4 行 。 a 

因此 ， 我 们 的 目标 是 计算 出 X， 即 所 有 对 PARTITION 的 调用 中 ， 所 执行 的 总 的 比较 次 数 。 
我 们 并 不 打算 分 析 在 每 一 次 PARTITION 调用 中 做 了 多 少 次 比较 ， 而 是 希望 能 够 推导 出 关于 总 
的 比较 次 数 的 一 个 界 。 为 此 ， 我 们 必须 了 解 算 法 在 什么 时 候 对 数组 中 的 两 个 元 素 进 行 比较 ， 什 么 
时 候 不 进行 比较 。 为 了 便于 分 析 ， 我 们 将 数组 A 的 各 个 元 素 重新 命名 为 z1，zs。，…，z,， 其 中 z 
是 数组 A 中 第 i 小 的 元 素 。 此 外 ， 我 们 还 定义 Zi = {zs Zit19 "9 zN Zi 5 Zj 之 间 ( 含 i Fj) 
的 元 素 集 合 。 

算法 什么 时 候 会 比较 z 和 z; WE? 为 了 回答 这 个 问题 ， 我 们 首先 注意 到 每 一 对 元 素 至 多 比较 
一 次 。 为 什么 呢 ? 因为 各 个 元 素 只 与 主 元 元 素 进行 比较 ， 并 且 在 某 一 次 PARTITION 调用 结束 
之 后 ， 该 次 调用 中 所 用 到 的 主 元 元 素 就 再 也 不 会 与 任何 其 他 元 素 进行 比较 了 。 

我 们 的 分 析 要 用 到 指示 器 随机 变量 ( 见 5. 2 节 )。 定 义 

Xi == Kz; 5 Zj EAT LR} 
其 中 我 们 考虑 的 是 比较 操作 是 否 在 算法 执行 过 程 中 任意 时 间 发 生 ， 而 不 是 局 限 在 循环 的 一 次 迭 
代 或 对 PARTITION 的 一 次 调用 中 是 否 发 生 。 因 为 每 一 对 元 素 至 多 被 比较 一 次 ， 所 以 我 们 可 以 
很 容易 地 刻画 出 算法 的 总 比较 次 数 ， 


xŠ 
对 上 式 两 边 取 期 望 ， 再 利用 期 望 值 的 线性 特性 和 引 理 5. 1， 可 以 得 到 : 


E00 = ELS) x, J È VEX] DP $ z ; 进行 比较 ) (7. 2) 


上 式 中 的 Pr{z 5 z; 进行 比较 } 还 需要 进 一 步 计 算 。 在 我 们 的 分 析 中 ， 假设 RANDOMIZED- 
PARTITION 随机 且 独 立地 选择 主 元 。 

让 我 们 考虑 两 个 元 素 何 时 不 会 进行 比较 的 情况 。 考 虑 快速 排序 的 一 个 输入 ， 它 是 由 数字 1 到 
10 所 构成 (顺序 可 以 是 任意 的 )， 并 假设 第 一 个 主 元 是 7。 那 么 ， 对 PARTITION 的 第 一 次 调用 就 
将 这 些 输 入 数字 划分 成 两 个 集合 : {1，2，3，4，5，6} 和 {8，9，10}。 在 这 一 过 程 中 ， 主 元 7 要 
与 所 有 其 他 元 素 进 行 比较 。 但 是 ， 第 一 个 集合 中 任何 一 个 元 素 ( 例 如 2) 没有 (也 不 会 ) 与 第 二 个 集 
合 中 的 任何 元 素 ( 例 如 9) 进行 比较 。 

通常 我 们 假设 每 个 元 素 的 值 是 互 异 的 ， 因 此 ， 一 旦 一 个 满足 z; 二 x=z 的 主 元 xz 被 选择 后 ， 
我 们 就 知道 z 和 z 以 后 再 也 不 可 能 被 比较 了 。 另 一 种 情况 ， 如 果 z; 在 Z; 中 的 所 有 其 他 元 素 之 前 
被 选 为 主 元 ， 那 么 z 就 将 与 Z; 中 除了 它 自身 以 外 的 所 有 元 素 进 行 比较 。 类 似 地 ， 如 果 x, EZ, 
中 其 他 元 素 之 前 被 选 为 主 元 ， 那 么 z; 将 与 Z; 中 除 自身 以 外 的 所 有 元 素 进行 比较 。 在 我 们 的 例子 
中 , 值 7 和 9 要 进行 比较 ， 因 为 7 是 Zi, 中 被 选 为 主 元 的 第 一 个 元 素 。 与 之 相反 的 是 , 值 2 和 9 
则 始终 不 会 被 比较 ， 因 为 从 2Z,, 中 选择 的 第 一 个 主 元 为 7。 因 此 ，z; Sz, 会 进行 比较 ， 当 和 且 仅 当 
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2 中 将 被 选 为 主 元 的 第 一 个 元 素 是 =; 或 者 zj。 
我 们 现在 来 计算 这 一 事件 发 生 的 概率 。 在 Zy 中 的 某 个 元 素 被 选 为 主 元 之 前 ， 整 个 集合 Zi 的 
元 素 都 属于 某 一 划分 的 同一 分 区 。 因 此 ，25 中 的 任何 元 素 都 会 等 可 能 地 被 首先 选 为 主 元 。 因 为 
集合 Z; 中 有 j 一 i 二 1 个 元 素 ， 并且 主 元 的 选择 是 随机 且 独 立 的 ， 所 以 任何 元 素 被 首先 选 为 主 元 
的 概率 是 1/(j 一 i 十 1)。 于 是 ,我 们 有 : 
Pr{z; H Zj 进行 比较 } =a Priz RÈ zj 是 集合 5 中 选 出 的 第 一 个 主 元 } 
= Pr(z; 是 集合 2; 中 选 出 的 第 一 个 主 元 } 
十 Pr(z 是 集合 2s 中选 出 的 第 一 个 主 元 ) 
= a ae ee ee a 2 
j—it+i yal jil 
上 式 中 第 二 行 成 立 的 原因 在 于 其 中 涉及 的 两 个 事件 是 互 斥 的 。 将 公式 (7.2) 和 公式 (7. 3) 综 合 
来 ， 有 : 


C73) 





= n-l n 2 
HA 2 2 jee 


在 求 这 个 累加 和 时 ， 可 以 将 变量 做 个 变换 (二 ;一 )， 并 利用 公式 (A. 7) 中 给 出 的 有 关 调和 级 数 的 
界 ， 得 到 : 


etx] = $ > i= S 2 <0 2 Dod — Onlen) 7.4) 
于 是 ， 我 们 可 以 得 出 结论 : 使 用 RANDOMIZED-PARTITION， 在 输入 元 素 互 异 的 情况 下 ， 快 速 
排序 算法 的 期 望 运行 时 间 为 O(nlgn)。 


练习 
7.4-1 证 明 : 在 递归 式 
To = max (T(q) + Ta—q—1)) + Om) 
H, TMSA). 

7.4-2 证 明 : 在 最 好 情况 下 ， 人 快速 排序 的 运行 时 间 为 Q(nlgn)。 

7.4-3 证明: 在 g 二 0, 1,，…, n 一 1 KAN, 4q=0 R qan—-1 时 , g 十 (n 一 gq 一 1)? 取得 最 
大 值 。 

7.4-4 证明: RANDOMIZED-QUICKSORT 期 望 运 行 时 间 是 Q(nlgn)。 

7.45 ” 当 输 入 数据 已 经 “几乎 有 序 ” 时 ,插入 排序 速度 很 快 。 在 实际 应 用 中 ， 我们 可 以 利用 这 一 
特点 来 提高 快速 排序 的 速度 。 当 对 一 个 长 度 小 于 的 子 数 组 调用 快速 排序 时 ， 让 它 不 做 
任何 排序 就 返回 。 当 上 层 的 快速 排序 调用 返回 后 ， 对 整个 数组 运行 插入 排序 来 完成 排序 
过 程 。 试 证 明 : 这 一 排序 算法 的 期 望 时 间 复 杂 度 为 OC(nk 十 nlgCn/&))。 分 别 从 理论 和 实践 
的 角度 说 明 我 们 应 该 如 何 选择 k? 

*7.4-6 考虑 对 PARTITION 过 程 做 这 样 的 修改 : 从 数组 A 中 随机 选 出 三 个 元 素 ， 并 用 这 三 个 元 
素 的 中 位 数 ( 即 这 三 个 元 素 按 大 小 排 在 中 间 的 值 ) 对 数组 进行 划分 。 求 以 a 的 函数 形式 表 
示 的 、 最 坏 划 分 比例 为 a : (1 一 a) 的 近似 概率 ， 其 中 0 二 a 二 1。 


思考 题 
7-1 (Hoare 划分 的 正确 性 ) AAH PARTITION 算法 并 不 是 其 最 初 的 版 本 。 下 面 给 出 的 是 
最 早 由 C. R. Hoare 所 设计 的 划分 算法 : 
HOARE-PARTITION(A, p, r) 
1 z=A[p] 
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2 =p m~] 
3 jmmr Fl 
4 while TRUE 
5 repeat 


6 et 
id until A[ j J<r 
8 


repeat 
9 i=it+l 
10 until ALj ] >x 
11 if i<j 
12 exchange A[i] with ALj ] 
13 else return j 


a. 试 说 明 HOARE-PARTITION 在 数组 A=(13, 19, 9, 5, 12, 8, 7, 4, 11, 2, 6, 21) 上 

的 操作 过 程 ， 并 说 明 在 每 一 次 执行 第 4~13 行 while 循环 时 数组 元 素 的 值 和 辅助 变量 的 值 。 
后 续 的 三 个 问题 要 求 读者 仔细 论证 HOARE-PARTITION 的 正确 性 。 在 这 里 假设 子 数 

组 ALz. . 门 至 少 包 含 来 2 个 元 素 ， 试 证 明 下 列 问 题 : 

b. 下 标 i 和 j 可 以 使 我 们 不 会 访问 在 子 数组 A[z. .rj] 以 外 的 数组 A 的 元 素 。 

c 当 HOARE-PARTITION 结束 时 ， 它 返回 的 值 j 满足 PSj<r. 

d. 当 HOARE-PARTITION 结束 时 ，A[z. . 门 中 的 每 一 个 元 素 都 小 于 或 等 于 A[j 十 1. .rj 中 
的 元 素 。 

在 7.1 节 的 PARTITION 过 程 中 ， 主 元 (原来 存储 在 AL 门 中 ) 是 与 它 所 划分 的 两 个 分 区 

分 离 的 。 与 之 对 应 ， 在 HOARE-PARTITION 中 ， 主 元 (原来 存储 在 ALpj] 中 ) 是 存在 于 分 区 

A[Lp. .7 或 ALj 十 1. .rj 中 的 。 因 为 有 pj 二 +r， 所 以 这 一 划分 总 是 非 平凡 的 。 

e. 利用 HOARE-PARTITION， 重 写 QUICKSORT 算法 。 

(针对 相同 元 素 值 的 快速 排序 ) 在 7.4.2 节 对 随机 化 快速 排序 的 分 析 中 ， 我 们 假设 输入 元 

素 的 值 是 互 异 的 ， 在 本 题 中 ， 我 们 将 看 看 如 果 这 一 假设 不 成 立会 出 现 什么 情况 。 

a. 如 果 所 有 输入 元 素 的 值 都 相同 ， 那 么 随机 化 快速 排序 的 运行 时 间 会 是 多 少 ? 

b. PARTITION 过 程 返回 一 个 数组 下 标 q， 使 得 ALp. .9g 一 1j 中 的 每 个 元 素 都 小 于 或 等 于 
Alq], 而 ALgq 十 1. .rj 中 的 每 个 元 素 都 大 于 Alq]. rk PARTITION 代码 来 构造 一 个 新 
i) PARTITION'(A, p, r), ‘CHES ALD. . 门 的 元 素 ， 返 回 值 是 两 个 数组 下 标 g Ale, H 
中 pNqNtxr, AA 
。 Alg..c) PM MATRA. 

。 A[Lzp. .9 一 1 中 的 每 个 元 素 都 小 于 Ala]. 
。 A[zt 十 1. .rj 中 的 每 个 元 素 都 大 于 Ala]. 
与 PARTITION 类 似 ， 新 构造 的 PARTITION' 的 时 间 复 杂 度 是 OCr— p). 

c 将 RANDOMIZED-QUICKSORT 过 程 改 为 调用 PARTITION'， 并 重新 命名 为 
RANDOMIZED-QUICKSORT’. 4&2 QUICKSORT 的 代码 构造 一 个 新 的 QUICKSORT’ 
(A，p，r) ， 它 调用 RANDOMIZED-PARTITION'， 并 且 只 有 分 区 内 的 元 素 互 不 相同 的 
时 候 才 做 递归 调用 。 

d. 在 QUICKSORT 中， 应 该 如 何 改 变 7. 4. 2 节 中 的 分 析 方 法 ， 从 而 避免 所 有 元 素 都 是 互 异 
的 这 一 假设 ? 

( 另 一 种 快速 排序 的 分 析 方 法 ) 对 随机 化 版 本 的 快速 排序 算法 ， 还 有 另 一 种 性 能 分 析 方 法 ， 

这 一 方法 关注 于 每 一 次 单独 递归 调用 的 期 望 运行 时 间 ， 而 不 是 比较 的 次 数 。 

a. WEH: 给 定 一 个 大 小 为 n 的 数组 ， 任 何 特定 元 素 被 选 为 主 元 的 概率 为 1/n。 利 用 这 一 点 
来 定义 指示 器 随机 变量 XH UF i 小 的 元 素 被 选 为 主 元 ;，ELX; 是 什么 ? 


7-4 
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b. 设 T(n) 是 一 个 表示 快速 排序 在 一 个 大 小 为 n 的 数组 上 的 运行 时 间 的 随机 变量 , 试 证 明 : 


ETD] = r| DLT- D+Tin-g +0) | (7.5) 
c 证 明 公式 (7. 5) 可 以 重 写 为 ， 
E[T(n)] = 2 SETO] + @(n) (7.6) 
d. 证 明 : 
Selek < sn Ign— 4r (7.7) 


(提示 : 可 以 将 该 累加 式 分 成 两 个 部 分 ， 一 部 分 是 有 =2， 3s =， [n/2|—1, 另 一 部 分 是 
有 二 | ?21，…，72 一 1。) 
e 利用 公式 (7.7) 中 给 出 的 界 证 明 : 公式 (7.6) 中 的 递归 式 有 解 ELT(z)] 王 BCzlgz)。( 提 
示 : 使 用 代入 法 ,证 明 对 于 某 个 正常 数 a 和 足够 大 的 上， 有 ELT) ]<an Ign.) 
(快速 排序 的 栈 深度 ) 7.1 节 中 的 QUICKSORT 算法 包含 了 两 个 对 其 自身 的 递归 调用 。 在 
调用 PARTITION 后 ，QUICKSORT 分 别 递归 调用 了 左边 的 子 数 组 和 右边 的 子 数 组 。 
QUICKSORT 中 的 第 二 个 递归 调用 并 不 是 必须 的 。 我 们 可 以 用 一 个 循环 控制 结构 来 代替 它 。 
这 一 技术 称 为 尾 递 归 ， 好 的 编译 器 都 提供 这 一 功能 。 考 虑 下 面 这 个 版 本 的 快速 排序 ， 它 模 
拟 了 尾 递归 情况 ; 
TAIL-RECURSIVE-QUICKSORT(A, p, r) 
1 whiep< r 
2 / Partition and sort left subarray. 
3 q = PARTITION(A, p, r) 
4 TAIL-RECURSIVE-QUICKSORT(A, p, q—1) 
5 p= qti 


a. 证 明 : TAIL-RECURSIVE-QUICKSORT(A, 1, A. length) 能 正确 地 对 数组 A 进行 排序 。 
编译 器 通常 使 用 栈 来 存储 递归 执行 过 程 中 的 相关 信息 ， 包 括 每 一 次 递归 调用 的 参数 等 。 
最 新 调用 的 信息 存在 栈 的 顶部 ， 而 第 一 次 调用 的 信息 存在 栈 的 底部 。 当 一 个 过 程 被 调用 
时 ， 其 相关 信息 被 压 入 栈 中 ;， 当 它 结束 时 ， 其 信息 则 被 弹出 。 因 为 我 们 假设 数组 参数 是 
用 指针 来 指示 的 ， 所 以 每 次 过 程 调用 只 需要 O(1) 的 栈 空间 。 栈 深度 是 在 一 次 计算 中 会 用 
到 的 栈 空间 的 最 大 值 。 

b 请 描述 一 种 场景 ， 使 得 针对 一 个 包含 n 个 元 素数 组 的 TAIL-RECURSIVE-QUICKSORT 
的 栈 深度 是 O(n) 。 

c. 修改 TAIL-RECURSIVE-QUICKSORT 的 代码 ， 使 其 最 坏 情 况 下 栈 深度 是 Olen), IFA 
能 够 保持 O(n1lgn) 的 期 望 时 间 复 杂 度 。 

(三 数 取 中 划分 ) 一 种 改进 RANDOMIZED-QUICKSORT 的 方法 是 在 划分 时 ， 要 从 子 数组 

中 更 细致 地 选择 作为 主 元 的 元 素 (而 不 是 简单 地 随机 选择 )。 常 用 的 做 法 是 三 数 取 中 法 : 从 

子 数组 中 随机 选 出 三 个 元 素 ， 取 其 中 位 数 作为 主 元 ( 见 练习 7. 4-6)。 对 于 这 个 问题 的 分 析 ， 

我 们 不 妨 假设 数组 ALL. . nj] 的 元 素 是 互 异 的 且 有 n 宇 3。 我 们 用 AC. .nj 来 表示 已 排 好 序 的 

数组 。 用 三 数 取 中 法 选择 主 元 <， 并 定义 p,=Pr(x=A'[i]}. 

a 对 于 i 二 2，3，…，n 一 1， 请 给 出 以 n 和 i 表示 的 p; 的 准确 表达 式 (注意 pi =p, =0). 

b 与 平凡 实现 相 比 ， 在 这 种 实现 中 ， 选 择 c=A' O(n +1) /2 CB) AC. .nj 的 中 位 数 ) 的 值 作 
为 主 元 的 概率 增加 了 多 少 ? 假设 n>co， 请 给 出 这 一 概率 的 极限 值 。 

c 如 果 我 们 定义 一 个 “好 ”划分 意味 着 主 元 选择 =A li], Hp n/3 声 i 过 2n/3。 与 平凡 实现 
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相 比 ， 这 种 实现 中 得 到 一 个 好 划分 的 概率 增加 了 多 少 ? 提示 : 用 积分 来 近似 累加 和 。) 

d 证 明 : 对 快速 排序 而 言 ， 三 数 取 中 法 只 影响 其 时 间 复 杂 度 QCnlgn) 的 常数 项 因子 。 

7-6 (对 区 间 的 模糊 排序 ) 考虑 这 样 的 一 种 排序 问题 : 我们 无 法 准确 知道 待 排序 的 数字 是 什么 。 

但 对 于 每 一 个 数 ， 我 们 知道 它 属 于 实数 轴 上 的 某 个 区 间 。 也 就 是 说 ， 我 们 得 到 了 ”个 形 如 

[aa b KAKE, EP “入 &。 我 们 的 目标 是 实现 这 些 区 间 的 模糊 排序 ， 即 对 7 一 1，2，…，m， 

生成 一 个 区 间 的 排列 人 2，z，…，za)， 且 存在 c Ela ,b; ]， 满足 a 二 <<, 

a 为 n 个 区 间 的 模糊 排序 设计 一 个 随机 算法 。 你 的 算法 应 该 具有 算法 的 一 般 结构 ， 它 可 以 
对 左边 端点 ( 即 a; 的 值 ) 进 行 快速 排序 ， 同 时 它 也 能 利用 区 间 的 重要 性 质 来 改善 时 间 性 
能 。( 当 区 间 重 春 越 来 越 多 的 时 候 ， 区 间 的 模糊 排序 问题 会 变 得 越 来 越 容 易 。 你 的 算法 应 
能 充分 利用 这 一 重合 性 质 .) 

b. 证 明 : 在 一 般 情况 下 ， 你 的 算法 的 期 望 运 行 时 间 为 86(nlgn)。 但 是 ， 当 所 有 的 区 间 都 有 
重合 的 时 候 ， 算 法 的 期 望 运行 时 间 为 O(n) (也 就 是 说 ， 存 在 一 个 值 z:， 对 所 有 的 i, A 
XELai,bij]。) 你 的 算法 不 必 显 式 地 检查 这 种 情况 ， 而 是 随 着 重 释 情况 的 增加 ， 算 法 的 性 
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本 章 注 记 
快速 排序 是 由 HoareL170j] 首 先 提出 的 。 思 考题 7-1 中 给 出 了 Hoare 的 原始 版 本 。7. 1 节 中 给 
出 的 PARTITION 是 由 N. Lomuto 提出 的 。 而 7.4 节 中 的 分 析 是 由 Avrim Blum 给 出 的 。 
Sedgewick[ 305 ] 和 BentleyL43] 都 对 实现 的 细节 及 其 影响 给 出 了 很 好 的 描述 。 
McllroyL248] 说 明了 如 何 设计 出 一 个 “杀手 级 对 手 ”(killer adversary) ， 它 能 够 产生 一 个 数组 ， 
在 这 个 数组 上 ， 快速 排序 的 几乎 所 有 实现 的 运行 时 间 都 是 9(02 )。 如 果实 现 是 随机 化 的 ， 这 一 对 
手 可 以 在 观察 到 快速 排序 算法 的 随机 选择 之 后 ， 再 产生 出 这 一 数组 。 
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线性 时 间 排 序 


到 目前 为 止 ， 我 们 已 经 介绍 了 几 种 能 在 O(nlgn) 时 间 内 排序 ”个 数 的 算法 。 归 并 排序 和 堆 排 
序 达到 了 最 坏 情况 下 的 上 界 ; 快速 排序 在 平均 情况 下 达到 该 上 界 。 而 且 ， 对 于 这 些 算 法 中 的 每 一 
个 ,我们 都 能 给 出 个 输入 数值 ， 使 得 该 算法 能 在 QC(nlgn) 时 间 内 完成 。 

这 些 算法 都 有 一 个 有 趣 的 性 质 ， 在 排序 的 最 终结 果 中 ， 各 元 素 的 次 序 依赖 于 它们 之 间 的 比 
较 。 我 们 把 这 类 排序 算法 称 为 比较 排序 。 到 目前 为 止 ， 我 们 介绍 的 所 有 排序 算法 都 是 比较 排序 。 

8. 1 节 将 证 明 对 包含 ”个 元 素 的 输入 序列 来 说 ， 任 何 比较 排序 在 最 坏 情 况 下 都 要 经 过 QCnlgn) 
次 比较 。 因 此 ， 归 并 排序 和 堆 排序 是 渐 近 最 优 的 ， 并 且 任 何 已 知 的 比较 排序 最 多 就 是 在 常数 因子 
上 优 于 它们 。 

8.2 节 、8.3 节 和 8.4 节 讨论 三 种 线性 时 间 复 杂 度 的 排序 算法 : 计数 排序 、 基 数 排序 和 桶 排 
序 。 当 然 ， 这 些 算 法 是 用 运算 而 不 是 比较 来 确定 排序 顺序 的 。 因 此 ， 下 界 QCnlgn) 对 它们 是 不 适 
用 的 。 


8. 1 排序 算法 的 下 界 


在 一 个 比较 排序 算法 中 ， 我 们 只 使 用 元 素 间 的 比较 来 获得 输入 序列 (wm ，as;，…，a,) 中 的 元 
素 间 次 序 的 信息 。 也 就 是 说 ， 给 定 两 个 元 素 a; 和 a;， 可 以 执行 aKa aKa a;=a;, a;>a; 
MA a, >a; 中 的 一 个 比较 操作 来 确定 它们 之 间 的 相对 次 序 。 我 们 不 能 用 其 他 方法 观察 元 素 的 值 
或 者 它们 之 间 的 次 序 信 息 。 

不 失 一 般 性 ， 在 本 节 中 ， 我 们 不 妨 假设 所 有 的 输入 元 素 都 是 互 异 的 。 给 定 了 这 个 假设 后 ， 
a,=a; 的 比较 就 没有 意义 了 。 因 此 ， 我 们 可 以 假设 不 需要 这 种 比较 。 同 时 ， 注 意 到 aKa, a;>a;, 
a; 之 a; Ma; <a; 都 是 等 价 的 ， 因 为 通过 它们 所 得 到 的 关于 a Ma 的 相对 次 序 的 信息 是 相同 的 。 
这 样 ， 又 可 以 进一步 假设 所 有 比较 采用 的 都 是 a;<<a; 形式 。 

决策 树 模型 

比较 排序 可 以 被 抽象 为 一 棵 决策 树 。 决 策 树 
是 一 棵 完全 二 又 树 ， 它 可 以 表示 在 给 定 输入 规模 
情况 下 ， 某 一 特定 排序 算法 对 所 有 元 素 的 比较 操 
作 。 其 中 ， 控 制 、 数 据 移 动 等 其 他 操作 都 被 忽略 
了 。 图 8-1 显示 了 2. 1 节 中 插入 排序 算法 作用 于 
包含 三 个 元 素 的 输入 序列 的 决策 树 情况 。 

在 决策 树 中 ， 每 个 内 部 结 点 都 以 i : j 标记 ， 








标记 为 i: j 的 内 部 结 点 表示 ai Ala; 之 


oe CLI Wipe tt Se a ee 间 的 比较 。 排 列 为 (x(1)，x(2)，…， 
元 素 个 数 。 每 个 叶 结 点 上 都 标注 一 个 序列 (x(1)， x(n)) 的 叶 结 点 表示 得 到 的 顺序 nay L 
x(2)，…，x《n))( 序 列 的 相关 背景 知识 参阅 C. 1 ano St" aay 。 加 了 阴影 的 路 径 表示 
节 )。 排 序 算法 的 执行 对 应 于 一 条 从 树 的 根 结 点 ee ane ae 

Var 不 和 全- 从 X gt R fr 行 ; =a 上 的 排列 
i T pe (3，1，2) 表 示 排 序 的 结果 是 a =5< 
sy i ie a 一 6<as 一 8。 对 于 输入 元 素来 说 ， 共 
后 续 比 较 ， 右 子 树 则 表示 在 确定 了 a; 之 a; 后 的 后 有 3! =6 种 可 能 的 排列 ， 因 此 决策 树 


续 比 较 。 当 到 达 一 个 叶 结 点 时 ， 表 示 排 序 算法 已 至 少 包 含 6 个 叶 结 点 
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经 确定 了 一 个 顺序 gl Kana KP ae o 因为 任何 正确 的 排序 算法 都 能 够 生成 输入 的 每 一 个 排 
列 ， 所 以 对 一 个 正确 的 比较 排序 算法 来 说 ，n 个 元 素 的 n! 种 可 能 的 排列 都 应 该 出 现在 决策 树 的 
叶 结 点 上 。 而 且 ， 每 一 个 叶 结 点 都 必须 是 可 以 从 根 结 点 经 由 某 条 路 径 到 达 的 ， 该 路 径 对 应 于 比较 
排序 的 一 次 实际 执行 过 程 (我 们 称 这 种 叶 结 点 为 “可 达 的 ”)。 因 此 ， 在 后 续 内 容 中 ， 我 们 将 只 考虑 
每 一 种 排列 都 是 一 个 可 达 的 叶 结 点 的 决策 树 。 

最 坏 情况 的 下 界 

在 决策 树 中 ， 从 根 结 点 到 任意 一 个 可 达 叶 结 点 之 间 最 长 简单 路 径 的 长 度 ， 表 示 的 是 对 应 的 
排序 算法 中 最 坏 情况 下 的 比较 次 数 。 因 此 ， 一 个 比较 排序 算法 中 的 最 坏 情 况 比较 次 数 就 等 于 其 
决策 树 的 高 度 。 同 时 ， 当 决策 树 中 每 种 排列 都 是 以 可 达 的 叶 结 点 的 形式 出 现时 ， 该 决策 树 高 度 的 
下 界 也 就 是 比较 排序 算法 运行 时 间 的 下 界 。 下 面 的 定理 给 出 这 样 的 一 个 下 界 。 

定理 8.1 在 最 坏 情况 下 ， 任 何 比较 排序 算法 都 需要 做 Qlnlgn) 次 比较 。 

证 明 根据 前 面 的 讨论 ， 对 于 一 棵 每 个 排列 都 是 一 个 可 达 的 叶 结 点 的 决策 树 来 说 ， 树 的 高 
度 完 全 可 以 被 确定 。 考 虑 一 棵 高 度 为 k、 具 有 /个 可 达 叶 结 点 的 决策 树 ， 它 对 应 一 个 对 n 个 元 素 
所 做 的 比较 排序 。 因 为 输入 数据 的 n! 种 可 能 的 排列 都 是 叶 结 点 ， 所 以 有 n! 三 i。 由 于 在 一 棵 高 
为 h 的 二 叉 树 中 ， 叶 结 点 的 数目 不 多 于 2*， 我 们 得 到 |: 

MSIS 
对 该 式 两 边 取 对 数 ， 有 
A> lgan!) (因为 lg 函数 是 单调 递增 的 ) 
= Qnlgn) (由 公式 (3. 19)) E 

推论 8.2 堆 排序 和 归并 排序 都 是 渐 近 最 优 的 比较 排序 算法 。 

证 明 ” 堆 排 序 和 归并 排序 的 运行 时 间 上 界 为 Ol(nlgn)， 这 与 定理 8. 1 给 出 的 最 坏 情 况 的 下 界 
Qnlg) 是 一 致 的 。 B 


练习 


8.1-1 在 一 棵 比较 排序 算法 的 决策 树 中 ， 一 个 叶 结 点 可 能 的 最 小 深度 是 多 少 ? 
8.1-2 不 用 斯 特 林 近似 公式 ， 给 出 lg(zl!) 的 渐 近 紧 确 界 。 利 用 A. 2 节 中 介绍 的 技术 来 求 累加 和 


>»; lgk 。 

8.1-3 WEH: 对 n! 种 长 度 为 的 输入 中 的 至 少 一 半 ， 不 存在 能 达到 线性 运行 时 间 的 比较 排序 算 
法 。 如 果 只 要 求 对 1/n 的 输入 达到 线性 时 间 呢 ?1/2" 呢 ? 

8.1-4 假设 现 有 一 个 包含 ”个 元 素 的 待 排序 序列 。 该 序列 由 n/k 个 子 序列 组 成 ， 每 个 子 序列 包 
含 & 个 元 素 。 一 个 给 定子 序列 中 的 每 个 元 素 都 小 于 其 后 继 子 序列 中 的 所 有 元 素 ， 且 大 于 
其 前 驱 子 序列 中 的 每 个 元 素 。 因 此 ， 对 于 这 个 长 度 为 n 的 序列 的 排序 转化 为 对 n/k 个子 
序列 中 的 & 个 元 素 的 排序 。 试 证 明 : 这 个 排序 问题 中 所 需 比 较 次 数 的 下 界 是 Q (nlg&)。 
(提示 : 简单 地 将 每 个 子 序列 的 下 界 进 行 合并 是 不 严谨 的 。) 


8.2 计数 排序 


计数 排序 假设 个 输入 元 素 中 的 每 一 个 都 是 在 0 到 区 间 内 的 一 个 整数 ， 其 中 为 某 个 整 
数 。 当 二 OCn) 时 ， 排 序 的 运行 时 间 为 OC). 

计数 排序 的 基本 思想 是 : 对 每 一 个 输入 元 素 zx， 确定 小 于 z 的 元 素 个 数 。 利 用 这 一 信息 ， 就 
可 以 直接 把 zx 放 到 它 在 输出 数组 中 的 位 置 上 了 。 例 如 ， 如 果 有 17 个 元 素 小 于 z， 则 x 就 应 该 在 
第 18 个 输出 位 置 上 。 当 有 几 个 元 素 相同 时 ， 这 一 方案 要 略 做 修改 。 因 为 不 能 把 它们 放 在 同一 个 
输出 位 置 上 。 
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在 计数 排序 算法 的 代码 中 ， 假 设 输入 是 一 个 数组 A[1. on], A. length 王 n。 我 们 还 需要 两 个 
数组 : BLL. .J 存放 排序 的 输出 ，CL0. .kj 提供 临时 存储 空间 。 


COUNTING-SORT(A, B, k) 
let C[0. . k] be a new array 
fori = 0 tok 
Cli] = 0 
for ; = 1 to A. length 
CLAL;J]=CLALDJJ+1 
Cli] now contains the number of elements equal to 7. 
fori = 1 tok 
ClLiJ=CLi]+cli-1] 


Cli] now contains the number of elements less than or equal to i. 


O &@©N = 


10 forj = A. length downto 1 

11 BLC(AG]]1=AL] 

12 cCLAGII=CIAG]]—1 

图 8-2 图 示 了 计数 排序 的 运行 过 程 。 在 第 2 一 3 行 for 循环 的 初始 化 操作 之 后 ， 数 组 C 的 值 全 
被 置 为 0; 第 4 一 5 行 的 for 循环 遍历 每 一 个 输入 元 素 。 如 果 一 个 输入 元 素 的 值 为 1， 就 将 CL ME 
加 1。 于 是 ， 在 第 5 行 执行 完 后 ，C[ 宁 中 保存 的 就 是 等 于 ; 的 元 素 的 个 数 ， 其 中 这 0，1，…，A。 
第 7 一 8 行 通过 加 总 计算 确定 对 每 一 个 二 0，1，…，&， 有 多 少 输 入 元 素 是 小 于 或 等 于 ; 的 。 


l 2.3 4 5 6.7 8 P23 4.5: 6 2 8 


A[2|5[3[o[2[3[o][3 | 6 223 45 B Wap ey 











Ot. 2-345 cker rR] 0 1i 2 3.4 5 
c[2}o[2]3 [oli] cl2[214[s[7ls|] 
(a) (b) Ce) 
1 9 8 izat 6 7 8 
is: & ) 12347678 
C1 23. 5 ot ao 45 sopo ppp 
chesi Te] chleas Ts] 
(d) Ce) (f) 


图 8-2 COUNTING-SORT 在 输入 数组 ALI. . 8] 上 的 处 理 过 程 ， 其 中 A 中 的 每 一 个 元 素 都 是 不 大 于 二 5 的 
非 负 整数 。(a) 第 5 行 执行 后 的 数组 A 和 辅助 数组 C 的 情况 。(b) 第 8 行 执行 后 ， 数 组 C 的 情况 。 
(co) 一 (e) 分 别 显 示 了 第 10 一 12 行 的 循环 体 和 迭代 了 一 次 、 两 次 和 三 次 之 后 ， 输 出 数组 B 和 辅助 数组 
C 的 情况 。 其 中 ， 数 组 B 中 只 有 浅 色 阴影 部 分 有 元 素 值 填充 。( 人 ?最 终 排 好 序 的 输出 数组 B 


最 后 ， 在 第 10~12 行 的 for 循环 部 分 ， 把 每 个 元 素 ALjj] 放 到 它 在 输出 数组 B 中 的 正确 位 
置 上 。 如 果 所 有 个 元 素 都 是 互 异 的 ， 那么 当 第 一 次 执行 第 10 行 时 ， 对 每 一 个 ALjj] 值 来 说 ， 
CLAL;jj] 就 是 ALj] 在 输出 数组 中 的 最 终 正确 位 置 。 这 是 因为 共有 CLALj]] 个 元 素 小 于 或 等 于 
AL;]。 因 为 所 有 的 元 素 可 能 并 不 都 是 互 异 的 ， 所 以 ,我 们 每 将 一 个 值 AL ABA B 中 以 后 ， 
都 要 将 CLAL;]] 的 值 减 1。 这 样 ， 当 遇 到 下 一 个 值 等 于 A[L;] 的 输入 元 素 ( 如 果 存 在 ) 时 ， 该 元 素 可 
以 直接 被 放 到 输出 数组 中 ALj;j] 的 前 一 个 位 置 上 。 

计数 排序 的 时 间 代 价 是 多 少 呢 ? 第 2 一 3 行 的 for 循环 所 花 时 间 为 OCk), 第 4 一 5 行 的 for 循 
环 所 花 时 间 为 O(n), 第 7~8 行 的 for 循环 所 花 时 间 为 OCA), 第 10 一 12 行 的 for 循环 所 花 时间 为 
Q@(n)。 这 样 ， 总 的 时 间 代 价 就 是 BCR 十 z) 。 在 实际 工作 中 ， 当 二 O(n) 时 ， 我 们 一 般 会 采用 计数 
排序 ， 这 时 的 运行 时 间 为 O(n). 
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计数 排序 的 下 界 优 于 我 们 在 8. 1 节 中 所 证 明 的 QCzlgz) ， 因 为 它 并 不 是 一 个 比较 排序 算法 。 事 
实 上 ， 它 的 代码 中 完全 没有 输入 元 素 之 间 的 比较 操作 。 相 反 ， 计 数 排序 是 使 用 输入 元 素 的 实际 值 
来 确定 其 在 数组 中 的 位 置 。 当 我 们 脱离 了 比较 排序 模型 的 时 候 ，QCnlgn) 这 一 下 界 就 不 再 适用 了 。 

计数 排序 的 一 个 重要 性 质 就 是 它 是 稳定 的 : 具有 相同 值 的 元 素 在 输出 数组 中 的 相对 次 序 与 
它们 在 输入 数组 中 的 相对 次 序 相 同 。 也 就 是 说 ， 对 两 个 相同 的 数 来 说 ， 在 输入 数组 中 先 出 现 的 
数 ， 在 输出 数组 中 也 位 于 前 面 。 通 常 ， 这 种 稳定 性 只 有 当 进 行 排序 的 数据 还 附带 卫星 数据 时 才 比 
较 重 要 。 计 数 排序 的 稳定 性 很 重要 的 另 一 个 原因 是 : 计数 排序 经 常会 被 用 作 基 数 排序 算法 的 一 
个 子 过 程 。 我 们 将 在 下 一 节 中 看 到 ， 为 了 使 基数 排序 正确 运行 ， 计 数 排序 必须 是 稳定 的 。 


练习 

8.2-1 参照 图 8-2 的 方法 ， 说 明 COUNTING-SORT 在 数组 A=(6, 0, 2, 0, 1, 3, 4, 6, 1, 
3，2) 上 的 操作 过 程 。 

8.2-2” 试 证 明 COUNTING-SORT 是 稳定 的 。 

8.2-3 假设 我 们 在 COUNTING-SORT 的 第 10 行 循环 的 开始 部 分 ， 将 代码 改写 为 : 


10 for j = 1 to A. length 


试 证 明 该 算法 仍然 是 正确 的 。 它 还 稳定 吗 ? 

8.2-4 设计 一 个 算法 ， 它 能 够 对 于 任何 给 定 的 介 于 0 到 之 间 的 个 整数 先进 行 预 处 理 ， 然 后 
在 OG1) 时 间 内 回答 输入 的 =” 个 整数 中 有 多 少 个 落 在 区 间 [a. .5] 内 。 你 设计 的 算法 的 预 处 
理 时 间 应 为 @(n 十 k)。 


8.3 基数 排序 


基数 排序 (radix sort) 是 一 种 用 在 卡片 排序 机 上 的 算法 ， 现 在 你 只 能 在 博物 馆 找到 这 种 卡片 
排序 机 了 。 一 张 卡片 有 80 列 ， 在 每 一 列 上 机 器 可 以 选择 在 12 个 位 置 中 的 任 一 处 穿孔 。 通 过 机 械 
操作 ， 我 们 可 以 对 排序 机 “编程 ?来 检查 每 个 卡片 中 的 给 定 列 ， 然 后 根据 穿孔 的 位 置 将 它们 分 别 放 
入 12 个 容器 中 。 操 作 员 就 可 以 逐个 容器 地 来 收集 卡片 ， 其 中 第 一 个 位 置 穿孔 的 卡片 在 最 上 面 ， 
其 次 是 第 二 个 位 置 穿孔 的 卡片 ， 依 此 类 推 。 

eg ee ee ee tan ei —f d ti 
数 将 占用 a 列 。 因 为 卡片 排序 机 一 次 只 能 查看 一 列 ， 所 以 要 对 nn 张 卡片 上 的 d 位 数 进行 排序 ， 就 
需要 设计 一 个 排序 算法 。 

从 直观 上 来 看 ， 你 可 能 会 觉得 应 该 按 最 高 有 效 位 进行 排序 ， 然 后 对 得 到 的 每 个 容器 递归 地 
进行 排序 ， 最 后 再 把 所 有 结果 合并 起 来 。 遗 憾 的 是 ， 为 了 排序 一 个 容器 中 的 卡片 ，10 个 容器 中 
的 9 个 都 必须 先 放 在 一 边 。 这 一 过 程 产生 了 许多 要 保存 的 临时 卡片 ( 见 练习 8. 3-5)。 

与 人 们 直观 感受 相悖 的 是 ， 基 数 排序 是 先 按 最 低 有 效 位 进行 排序 来 解决 卡片 排序 问题 的 。 
然后 算法 将 所 有 卡片 合并 成 一 倒 ， 其 中 0 号 容器 中 的 卡片 都 在 1 号 容器 中 的 卡片 之 前 ， 而 1 号 容 


器 中 的 卡片 又 在 2 号 容器 中 的 卡片 前 面 ， 依 此 类 329 7 区 o B 
推 。 之 后 ， 用 同样 的 方法 按 次 低 有 效 位 对 所 有 的 卡 < w 2 F 
HATH, HERFRA. E 839 he 45% onim 839 in 57 
复 这 一 过 程 ， 直 到 对 所 有 的 4 位 数字 都 进行 了 排 > a F E 
序 。 此 时 ， 所 有 卡片 已 按 4 位 数 完全 排 好 序 。 所 355 839 657839 
以 ， 对 这 一 又 卡片 的 排序 仅 需 要 进行 & 轮 。 图 8-3 图 8-3 e B E 
DET “87 张 3 位 数 卡片 的 基数 排序 过 程 。 过程 。 最 左边 的 一 列 是 输入 
为 了 确保 基数 排序 的 正确 性 ， 一 位 数 排序 算法 sm te en 


必须 是 稳定 的 。 卡 片 排 序 机 所 执行 的 排序 是 稳定 了 进行 排序 的 位 
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的 ， 但 操作 员 必 须 确保 卡片 从 容器 中 被 取出 时 不 改变 顺序 ， 即 使 一 个 容器 中 的 所 有 卡片 在 该 位 
都 是 相同 的 数字 也 要 确保 这 一 点 。 

在 一 台 典 型 的 串 行 随机 存 取 计算 机 上 ， 我 们 有 时 会 用 基数 排序 来 对 具有 多 关键 字 域 的 记录 
进行 排序 。 例 如 ， 我 们 希望 用 三 个 关键 字 ( 年 、 月 和 日 ) 来 对 日 期 进行 排序 。 对 这 个 问题 ， 我 们 可 
以 使 用 基于 特殊 比较 函数 的 排序 算法 : 给 定 两 个 日 期 ， 先 比较 年 ， 如 果 相 同 ， 再 比较 月 ， 如 果 还 
是 相同 ， 就 比较 日 。 我 们 也 可 以 采用 另 一 种 方法 ， 用 一 种 稳定 排序 算法 对 这 些 信息 进行 三 次 排 
FF: SCH, FHA. Bade. 

基数 排序 的 代码 是 非常 直观 的 。 在 下 面 的 代码 中 ， 我 们 假设 ”个 4 位 的 元 素 存放 在 数组 A 
中 ， 其 中 第 1 位 是 最 低位 ， 第 4 位 是 最 高 位 。 

RADIX-SORT(A, d) 

1 fori =l tod 


2 use a stable sort to sort array A on digit 7 


引 理 8.3 给 定 n 个 4 位 数 ， 其 中 每 一 个 数位 有 玉 个 可 能 的 取 值 。 如 果 RADIX-SORT 使 用 
的 稳定 排序 方法 耗 时 Bln 十 k&)， 那 么 它 就 可 以 在 Bl(d(n 十 k)) 时 间 内 将 这 些 数 排 好 序 。 

证 明 ”基数 排序 的 正确 性 可 以 通过 对 被 排序 的 列 进行 归纳 而 加 以 证 明 ( 见 练习 8. 3-3)。 对 算 
法 时 间 代 价 的 分 析 依 赖 于 所 使 用 的 稳定 的 排序 算法 。 当 每 位 数字 都 在 0 到 & 一 1 区 间 内 (这 样 它 就 
有 个 可 能 的 取 值 );， 且 的 值 不 太 大 的 时 候 ， 计 数 排序 是 一 个 好 的 选择 。 对 n 个 d 位 数 来 说 ， 
每 一 轮 排序 耗 时 Otk). HA a 轮 ， 因 此 基数 排序 的 总 时 间 为 @(d(n 十 &))。 s 

当 4 为 常数 且 & 二 OC(n) 时 ， 基 数 排序 具有 线性 的 时 间 代 价 。 在 更 一 般 的 情况 中 ， 我 们 可 以 灵 
活 地 决定 如 何 将 每 个 关键 字 分 解 成 若干 位 。 

引 理 8.4 ”给 定 一 个 6 位 数 和 任何 正 整 数 r 三 5， 如果 RADIX-SORT 使 用 的 稳定 排序 算法 对 
数据 取 值 区 间 是 0 到 上 的 输入 进行 排序 耗 时 (ln 十 &)， 那 么 它 就 可 以 在 O((b/r)(n+2")) Atl A 
将 这 些 数 排 好 序 。 

证 明 对 于 一 个 值 * 委 2， 每 个 关键 字 可 以 看 做 4 二 [5b/r1| 个 r+ 位 数 。 每 个 数 都 是 在 0 到 2 一 1 
区 间 内 的 一 个 整数 ， 这 样 就 可 以 采用 计数 排序 ， 其 中 RE 一 2 一 1。( 例 如 ， 我 们 可 以 将 一 个 32 位 的 
字 看 做 是 4 个 8 位 的 数 ， 于 是 有 6 二 32, r=8, k=2—1=255 和 < 一 /rr 一 4) 。 每 一 轮 排序 花费 时 
间 为 O(n +k) =O(n+ 2"), TAR ER ATR A OCd(n+2"))=OC(b/r)(n+2")), ff 

对 于 给 定 的 n 和 45， 我 们 希望 所 选择 的 r(r<<5) 值 能 够 最 小 化 表达 式 (5/7) (n +2"). WR 6 一 
[lgzj， 则 对 于 任何 满足 * 委 2 r, WAN) =a). BR, HH r=b 得 到 的 时 间 代 价 为 
(5/05) (n 十 2?) 二 BQ(n)， 这 一 结果 是 渐 近 意义 上 最 优 的 。 如 果 5b 二 llgnj， 选 择 r= 二 [lgnj 可 以 得 到 偏 
差 不 超 过 常数 系数 范围 内 的 最 优 时 间 代 价 。 下 面 我 们 来 详细 说 明 这 一 点 。 选 择 r= 二 Llgnj， 得 到 的 
运行 时 间 为 8(bn/ lgn)。 随 着 将 7 的 值 逐 步 增 大 到 大 于 llgzj 后 ， 分 子 中 的 2 项 比分 母 中 的 > 项 增 
加 得 快 。 因 此 ， 将 ~ 增 大 到 大 于 LlgzjJ 后 ， 得 到 的 时 间 代价 为 QC5n/ Ign), RZ, WK > 减 小 到 
[lgzj 之 下 ， 则 6b/r 项 会 变 大 ， 而 ”十 2 项 仍 保持 为 O. 

基数 排序 是 否 比 基 于 比较 的 排序 算法 (如 快速 排序 ) 更 好 呢 ? 通 常情 况 ， 如 果 6 二 Ol(lgn)， 
而 且 我 们 选择 r~ lgn， 则 基数 排序 的 运行 时 间 为 8(n)。 这 一 结果 看 上 去 要 比 快 速 排 序 的 期 望 
运行 时 间 代 价 @(nlgn) 更 好 一 些 。 但 是 ， 在 这 两 个 表达 式 中 ， 隐 含 在 9 符号 背后 的 常数 项 因子 
是 不 同 的 。 在 处 理 的 nn 个 关键 字 时 ， 尽 管 基数 排序 执行 的 循环 轮 数 会 比 快 速 排序 要 少 ,但 每 一 
轮 它 所 耗费 的 时 间 要 长 得 多 。 哪 一 个 排序 算法 更 合适 依赖 于 具体 实现 和 底层 硬件 的 特性 (例如 ， 
快速 排序 通常 可 以 比 基 数 排序 更 有 效 地 使 用 硬件 的 缓存 ) ， 以 及 输入 数据 的 特征 。 此 外 ， 利 用 
计数 排序 作为 中 间 稳 定 排序 的 基数 排序 不 是 原址 排序 ， 而 很 多 @(nlgn) 时 间 的 比较 排序 是 原址 
排序 。 因 此 ， 当 主 存 的 容量 比较 宝贵 时 ， 我们 可 能 会 更 倾向 于 像 快速 排序 这 样 的 原址 排序 
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算法 。 
练习 


8.3-1 参照 图 8-3 的 方法 ,说 明 RADIX-SORT 在 下 列 英文 单词 上 的 操作 过 程 : COW, DOG, 
SEA, RUG, ROW, MOB, BOX, TAB, BAR, EAR, TAR, DIG, BIG, TEA, 
NOW, FOX, 

8.3-2 下 面 的 排序 算法 中 哪些 是 稳定 的 : 揪 人 排序 、 归 并 排序 、 堆 排序 和 快速 排序 ? 给 出 一 个 
能 使 任何 排序 算法 都 稳定 的 方法 。 你 所 给 出 的 方法 带 来 的 额外 时 间 和 空间 开销 是 多 少 ? 

8.3-3 利用 归纳 法 来 证 明基 数 排序 是 正确 的 。 在 你 所 给 出 的 证 明 中 ， 在 哪里 需要 假设 所 用 的 底 
层 排序 算法 是 稳定 的 ? 

8.3-4 说 明 如 何在 O(n) 时 间 内 ,对 0 到 ww 一 1 区 间 内 的 个 整数 进行 排序 。 

*8.3-5 在 本 节 给 出 的 第 一 个 卡片 排序 算法 中 ， 为 排序 4 位 十 进 制 数 ， 在 最 坏 情况 下 需要 多 少 轮 
排序 ? 在 最 坏 情况 下 ， 操 作 员 需 要 记录 多 少 堆 卡片 ? 


8.4 桶 排序 


桶 排序 (bucket sorb 假 设 输入 数据 服从 均匀 分 布 ， 平 均 情 况 下 它 的 时 间 代 价 为 O0z) 。 与 计数 
排序 类 似 ， 因 为 对 输入 数据 作 了 某 种 假设 ， 桶 排序 的 速度 也 很 快 。 具 体 来 说 ， 计 数 排序 假设 输入 
数据 都 属于 一 个 小 区 间 内 的 整数 ， 而 桶 排序 则 假设 输入 是 由 一 个 随机 过 程 产生 ， 该 过 程 将 元 素 
均匀 、 独 立地 分 布 在 [0，1) 区 间 上 ( 见 C. 2 节 中 均匀 分 布 的 定义 ) 。 

桶 排序 将 [0，1) 区 间 划 分 为 4 个 相同 大 小 的 子 区 间 ， 或 称 为 桶 。 然 后 ,将 个 输入 数 分 别 放 
到 各 个 桶 中 。 因 为 输入 数据 是 均匀 、 独 立地 分 布 在 [0，1) 区 间 上 ， 所 以 一 般 不 会 出 现 很 多 数落 在 
同一 个 桶 中 的 情况 。 为 了 得 到 输出 结果 ， 我 们 先 对 每 个 桶 中 的 数 进行 排序 ， 然 后 遍历 每 个 桶 ， 按 
照 次 序 把 各 个 桶 中 的 元 素 列 出 来 即 可 。 

在 桶 排序 的 代码 中 ， 我 们 假设 输入 是 一 个 包含 ”个 元 素 的 数组 A， 且 每 个 元 素 ALR 0< 
A[ 辣 <1。 此 外 ,算法 还 需要 一 个 临时 数组 BLO. . n 一 1] 来 存放 链表 ( 即 桶 )， 并 假设 存在 一 种 用 于 
维护 这 些 链表 的 机 制 (10. 2 节 将 介绍 如 何 实现 链表 A 
的 一 些 基本 操作 ) 。 1 [78 


BUCKET-SORT(A) 





2 
1 n= A. length 4 
2 let BLO. . n—1] be a new array 5 
3 fori = 0ton—1 6 9 
4 make B[i] an empty list Th 
5 fori = lton 8 
6 insert A[i] into list B[| mALz][] 9 2 
7 fori = 0ton—1 10 ie 
8 sort list BLi] with insertion sort 
9 concatenate the lists BLO],BL1],---,Blm—1] together in order 图 8-4 X n=10 R}, BUCKET-SORT 的 操作 
图 8-4 显示 了 在 一 个 包含 10 个 元 素 的 输入 数组 NE. OMAMA ALL 10], (在 
上 的 FE. 法 的 第 8 行 之 后 ，BL0..9] 中 的 已 
ATETA PAIAS oe A 
: 放 的 是 半 开 区 间 [i/10，(i 十 1)/10] 中 
素 A[ij 和 AL;]。 不 失 一 般 性 ， 不妨 假 设 ALi] 的 值 。 排 好 序 的 输出 是 由 链表 BLO], 


ALi]。 由 于 LnALij]<<LnALj]], 元 素 ALARMS BL1]，…，BL9j] 依 次 连接 而 成 的 
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A[ 门 被 放 入 同一 个 桶 中 ， 或 者 被 放 入 一 个 下 标 更 小 的 桶 中 。 如 果 ALA ALjj 在 同一 个 桶 中 ， 则 
第 7 一 8 行 中 的 for 循环 会 将 它们 按 适当 的 顺序 排列 。 如 果 A[ 刁 和 ALij] 落 入 了 不 同 的 桶 中 ， 则 第 9 
行 会 将 它们 按 适当 的 顺序 排列 。 因 此 ， 桶 排序 算法 是 正确 的 。 

现在 来 分 析 桶 排序 的 运行 时 间 。 我 们 注意 到 ， 在 最 坏 情况 下 ， 除 第 8 行 以 外 ， 所 有 其 他 各 行 
时 间 代 价 都 是 O(n) 。 我 们 还 需要 分 析 第 8 行 中 ”次 插 和 人 排序 调用 所 花费 的 总 时 间 。 

现在 来 分 析 调用 插入 排序 的 时 间 代价 。 假 设 n 是 表示 桶 如 [让 中 元 素 个 数 的 随机 变量 ， 因 为 
插入 排序 的 时 间 代 价 是 平方 阶 的 ( 见 2. 2 节 )， 所 以 桶 排序 的 时 间 代 价 为 : 


T(n) = O(n) 十 So ) 


我 们 现 岗 在 来 分 析 桶 排序 在 平均 情况 下 的 运行 时 间 。 通过 对 输入 数据 取 期 望 ， 我 们 可 以 计算 
出 期 望 的 运行 时 间 。 对 上 式 两 边 取 期 望 ， 并 利用 期 望 的 线性 性 质 ， 我 们 有 : 


rl 
E[T(n)] = E| @(n) "3 S oci) | 


=0(n) + SELOGE)] (利用 期 望 的 线性 性 质 ) 


nl 
=0m+ OE) (利用 公式 (C. 22)) (8. 1) 
我 们 断言 : 
ElL ] = 2— 1/n (8. 2) 


对 所 有 i=0, 1, «+, n1 成立 。 这 一 点 不 足 为 奇 : 因为 输入 数组 A 的 每 一 个 元 素 是 等 概率 地 落 
入 任意 一 个 桶 中 ， 所 以 每 一 个 桶 i 具有 相同 的 期 望 值 ELxi ]。 为 了 证 明 公式 (8. 2)， 我 们 定义 指示 
器 随机 变量 ; 对 所 有 i=0, l, =, n—1Alj=1, Zig etes Ms 
Xi = I{A[j] 落 入 桶 局 
因此 ， 
n; = HA 
为 了 计算 EL ]， 我 们 展开 平方 项 ， 并 重新 组 合 各 项 : 


Ela] 一 E| ( Xs) |= EL >) > XXa = E[ 1x} +3) > KyXw| 
j=l 1<j<n = 


= PRIE P ï (8. 3) 
其 中 ， 最 后 一 行 是 根据 数学 期 望 的 线性 性 质 得 出 的 。 我 们 分 别 计算 这 两 项 累加 和 ， 指 示 器 随机 变 
量 X; 为 1 的 概率 是 1/n， 其 他 情况 下 是 0。 于 是 有 : 
ee a 
E[X}J=1-—+0°- (1 =) =- 
4kAj 时 ， 随 机 变量 X; 和 Xi 是 独立 的 ， 因 此 有 : 
E[X;Xa] = E| X; JELX4] = = z 二 = 4 
将 这 两 个 期 望 值 带 人 公式 (8. 3)， 我 们 得 到 : 
Ed] = 4+ D =n tran. t= Ma 


Een 1 n n n n 
REJ 





到 此 ， 公 式 (8. 2) 得 证 。 
利用 公式 (8. 1) 中 的 期 望 值 ， 我 们 可 以 得 出 结论 : 桶 排序 的 期 望 运行 时 间 为 
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O(n) +n » O(2—1/n) = O(n) 
即使 输入 数据 不 服从 均匀 分 布 ， 桶 排序 也 仍然 可 以 线性 时 间 内 完成 。 只 要 输入 数据 满足 下 


列 性 质 ， 所 有 桶 的 大 小 的 平方 和 与 总 的 元 素数 呈 线 性 关系 ， 那 么 通过 公式 (8. 1)， 我 们 就 可 以 知 
道 : 桶 排序 仍然 能 在 线性 时 间 完 成 。 


练习 
8.4-1 参照 图 8-4 的 方法 ， 说 明 BUCKET-SORT 在 数组 A=(0.79, 0.13, 0.16, 0.64, 0.39, 


0.20，0. 89，0. 53，0.71，0. 42》 上 的 操作 过 程 。 


8.4-2 ”解释 为 什么 桶 排序 在 最 坏 情况 下 运行 时 间 是 O)? 我 们 应 该 如 何 修改 算法 ， 使 其 在 保 


持平 均 情况 为 线性 时 间 代 价 的 同时 ， 最 坏 情 况 下 时 间 代 价 为 O(nlgn)? 


8.43 设 和 是 一 个 随机 变量 ， 用 于 表示 在 将 一 枚 硬币 抛掷 两 次 时 ， 正 面 朝 上 的 次 数 。ELX JÆ 


多 少 呢 ? EX] we? 


*8. 4-4 在 单位 圆 内 给 定 nn 个 点 ， pi= (zi, Y)» 对 所 有 i=l, 2y “ey M 有 <t +y <1. 假设 


所 有 的 点 服从 均匀 分 布 ， 即 在 单位 元 的 任 一 区 域内 找到 给 定点 的 概率 与 该 区 域 的 面积 成 
正比 。 请 设计 一 个 在 平均 情况 下 有 @(n) 时 间 代 价 的 算法 ， 它 能 够 按照 点 到 原点 之 间 的 距 
B di =S FAA n 个 点 进行 排序 。( 提 示 : 在 BUCKET-SORT 中 ,设计 适当 的 桶 大 
小 ， 用 以 反映 各 个 点 在 单位 圆 中 的 均匀 分 布 情况 。) 


*8.4-5 定义 随机 变量 X 的 概率 分 布 函数 已 (z) 为 PCz) 王 Pr(X 委 z})。 假 设 有 ?7 个 随机 变量 Xi， 


Xz, s X, 服从 一 个 连续 概率 分 布 函数 已 ， 且 它 可 以 在 O(1) 时 间 内 被 计算 得 到 。 设 计 
一 个 算法 ， 使 其 能 够 在 平均 情况 下 在 线性 时 间 内 完成 这 些 数 的 排序 。 


思考 题 


8-1 


(比较 排序 的 概率 下 界 ) 在 这 一 问题 中 ， 我 们 将 证 明 对 于 给 定 的 二 个 互 异 的 输入 元 素 ， 任 

何 确定 或 随机 的 比较 排序 算法 ， 其 概率 运行 时 间 都 有 下 界 Q(zlgz) 。 首 先 来 分 析 一 个 确定 

的 比较 排序 算法 A， 其 决策 树 为 Ta。。 假 设 A 的 输入 的 每 一 种 排列 情况 都 是 等 可 能 的 。 

a. 假设 Ta 的 每 个 叶 结 点 都 标 有 在 给 定 的 随机 输入 情况 下 到 达 该 结 点 的 概率 。 证 明 : 恰 有 
n! 个 叶 结 点 标 有 1/n!， 其 他 的 叶 结 点 标记 为 0。 

b. 定义 D( 了 表示 一 棵 决策 树 工 的 外 部 路 径 长 度 ， 即 D(T) 是 工 的 所 有 叶 结 点 深度 的 和 。 

假设 TARA k>1 个 叶 结 点 的 决策 树 ，LT 和 RT 分 别 是 工 的 左 子 树 和 右 子 树 。 证 

H: DCT) =D(LT) +D(RT) +k. 

定义 dq(k) 为 所 有 具有 二 1 个 叶 结 点 的 决策 树 工 的 最 小 D(CT) 值 。 证 明 : dik) = 

min (dG) +dhk—i) +k}. GRE: 考虑 一 棵 能 够 取得 该 最 小 值 的 、 有 个 时 结 点 的 决 

RMT. Wino 是 工 工 中 的 叶 结 点 数 ，& 一 za 是 RT 中 的 叶 结 点 数 。) 

d. WH: d FAH RROD A IdSi<k—-1), MM ilgi 十 (& 一 让 lg(& 一 让 在 i 二 /2 处 取 
得 最 小 值 ， 并 有 结论 4(&) 二 QC(klg&)。 

e WH: DTAS! lgln!1))， 并 得 出 在 平均 情况 下 ， 排 序 x 个 元 素 的 时 间 代 价 为 Q(nlgn) 这 
一 结论 。 

现在 来 考虑 一 个 随机 化 的 比较 排序 B。 通 过 引入 两 种 结 点 ， 我 们 可 以 将 决策 树 模 型 

扩展 来 处 理 随机 化 的 情况 。 这 两 种 结 点 是 : 普通 的 比较 结 点 和 “随机 化 ” 结 点 。 随 机 化 结 
点 刻画 了 算法 B 中 所 做 的 形 如 RANDOM(1, 7) 的 随机 选择 情况 。 该 类 结 点 有 r 个 子 结 
点 ， 在 算法 执行 过 程 中 ， 每 一 个 子 结 点 等 概率 地 被 选择 。 


° 


8-2 


8-3 


8-4 
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人 证 明 : 对 任何 随机 化 比较 排序 算法 B， 总 存在 一 个 确定 的 比较 排序 算法 A， 其 期 望 的 比 
较 次 数 不 多 于 B 的 比较 次 数 。 

(线性 时 间 原 址 排序 ) 假设 有 一 个 包含 n 个 待 排序 数据 记录 的 数组 ， 且 每 条 记录 的 关键 字 

的 值 为 0 或 1。 对 这 样 一 组 记录 进行 排序 的 算法 可 能 具备 如 下 三 种 特性 中 的 一 部 分 : 

算法 的 时 间 代 价 是 O(n)。 

算法 是 稳定 的 。 

算法 是 原址 排序 ， 除 了 输入 数组 之 外 ， 算 法 只 需要 固定 的 额外 存储 空间 。 

给 出 一 个 满足 上 述 条 件 1 和 条 件 2 的 算法 。 

. 给 出 一 个 满足 上 述 条 件 1 和 条 件 3 的 算法 。 

给 出 一 个 满足 上 述 条 件 2 和 条 件 3 的 算法 。 

. 你 设计 的 算法 (a) 一 (c) 中 的 任 一 个 是 否 可 以 用 于 RADIX-SORT 的 第 2 行 作为 基础 排序 方 
法 ， 从 而 使 RADIX-SORT 在 排序 有 6 位 关键 字 的 n 条 记录 时 的 时 间 代 价 是 OCbn)? 如 果 
可 以 ， 请 解释 应 如 何 处 理 ; 如 果 不 行 ， 请 说 明 原因 。 

e 假设 有 ?条 记录 ， 其 中 所 有 关键 字 的 值 都 在 1 到 & 的 区 间 内 。 你 应 该 如 何 修改 计数 排序 ， 
使 得 它 可 以 在 OCn 十 &) 时 间 内 完成 对 n 条 记录 的 原址 排序 。 除 输入 数组 外 ， 你 可 以 OCR) 使 
用 大 小 的 额外 存储 空间 。 你 给 出 的 算法 是 稳定 的 吗 ? (提示: 4 k=3 时， 你 应 该 如 何 做 ?) 

( 变 长 数据 项 的 排序 ) 

a. 给 定 一 个 整数 数组 ， 其 中 不 同 的 整数 所 包含 的 数字 的 位 数 可 能 不 同 ， 但 该 数组 中 ， 所 有 整 
数 中 包含 的 总 数字 位 数 为 xz。 设计 一 个 算法 ， 使 其 可 以 在 OC() 时 间 内 对 该 数组 进行 排序 。 

b. 给 定 一 个 字符 串 数组 ， 其 中 不 同 的 字符 串 所 包含 的 字符 数 可 能 不 同 ,但 所 有 字符 串 中 的 
总 字符 个 数 为 n。 设 计 一 个 算法 ， 使 其 可 以 在 O(n) 时 间 内 对 该 数组 进行 排序 。( 注 意 : 
此 处 的 顺序 是 指标 准 的 字典 序 ， 例 如 aabb.) 

(Ke) ”假设 给 了 你 个 红色 的 水 壶 和 个 蓝 色 的 水 壶 。 它 们 的 形状 和 尺寸 都 各 不 相同 。 

所 有 的 红色 水 壶 中 所 盛 的 水 都 不 一 样 多 ， 蓝 色 水 壶 也 是 如 此 。 而 且 ， 对 于 每 一 个 红色 水 壶 

来 说 ， 都 有 一 个 对 应 的 蓝 色 水 壶 ， 两 者 盛 有 一 样 多 的 水 ; 反之 亦 然 。 

你 的 任务 是 找 出 所 有 的 所 盛 水 量 一样 多 的 红色 水 壶 和 蓝 色 水 壶 ， 并 将 它们 配 成 一 对 。 
为 此 ， 可 以 执行 如 下 操作 : 挑 出 一 对 水 壹 ， 其 中 一 个 是 红色 的 ， 另 一 个 是 蓝 色 的 ， 将 红色 
水 壶 中 倒 满 水 ， 再 将 水 倒 人 蓝 色 的 水 过 中 。 通 过 这 一 操作 ， 可 以 判断 出 这 个 红色 水 壶 是 否 
比 蓝 色 水 壶 盛 的 水 更 多 ， 或 者 两 者 是 一 样 多 的 。 假 设 这 样 的 比较 需要 花费 一 个 单位 时 间 。 
你 的 目标 是 找 出 一 个 算法 ， 它 能 够 用 最 少 的 比较 次 数 来 确定 所 有 水 壶 的 配对 。 注 意 ， 你 不 
能 直接 比较 两 个 红色 或 两 个 蓝 色 的 水 壶 。 

a. 设计 一 个 确定 性 算法 ， 它 能 够 用 OG’ ) 次 比较 来 完成 所 有 水 壶 的 配对 。 

b. WEAR: 解决 该 问题 算法 的 比较 次 数 下 界 为 Q(nlgn)。 

ce 设计 一 个 随机 算法 ， 其 期 望 的 比较 次 数 为 Ol(nlgn)， 并 证 明 这 个 界 是 正确 的 。 对 你 的 算 
法 来 说 ， 最 坏 情 况 下 的 比较 次 数 是 多 少 ? 

(平均 排序 ) ”假设 我 们 不 是 要 完全 排序 一 个 数组 ， 而 只 是 要 求 数组 中 的 元 素 在 平均 情况 下 

是 升序 的 。 更 准确 地 说 ， 如 果 对 所 有 的 i 二 1，2，…，n 一 k 有 下 式 成 立 ， 我 们 就 称 一 个 包 


含 ”个 元 素 的 数组 A 为 k 排序 的 (k-sorted): 
SADI SAN 
Zi z z 


a. 一 个 数组 是 1 排序 的 ， 表 示 什 么 含义 ? 
b. 给 出 对 数字 1，2，…，10 的 一 个 排列 ， 它 是 2 排序 的 ， 但 不 是 完全 有 序 的 。 


ap 7p wy 
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c 证 明 : 一 个 包含 n 个 元 素 的 数组 是 & 排序 的 ， 当 且 仅 当 对 所 有 的 i 二 1，2，…，n 一 &， 有 
ALiJXALi+ek]. 
d 设计 一 个 算法 ， 它 能 在 OlnlgCn/&)) 时 间 内 对 一 个 包含 个 元 素 的 数组 进行 排序 。 
当 上 有 是 一 个 常数 时 ， 也 可 以 给 出 排序 算法 的 下 界 。 
e WH: 我 们 可 以 在 OC(nlg&k) 时 间 内 对 一 个 长 度 为 的 & 排序 数组 进行 全 排序 。( 提 示 : 可 
以 利用 练习 6. 5-9 的 结果 。) 
f. 证 明 : 当 & 是 一 个 常数 时 ， 对 包含 ”个 元 素 的 数组 进行 & 排序 需要 QCnlgn) 的 时 间 。( 提 
示 : 可 以 利用 前 面 解决 比较 排序 的 下 界 的 方法 。) 
(合并 有 序列 表 的 下 界 ) 合并 两 个 有 序列 表 是 我 们 经 常会 遇 到 的 问题 。 作 为 MERGE- 
SORT 的 一 个 子 过 程 ， 我 们 在 2. 3. 1 节 中 已 经 遇 到 过 这 一 问题 。 对 这 一 问题 ， 我 们 将 证 明 
在 最 坏 情况 下 ， 合 并 两 个 都 包含 n 个 元 素 的 有 序列 表 所 需 的 比较 次 数 的 下 界 是 2n 一 1。 
首先 ， 利 用 决策 树 来 说 明 比 较 次 数 有 一 个 下 界 2n 一 oCn)。 
a 给 定 2n 个 数 ， 请 算出 共有 多 少 种 可 能 的 方式 将 它们 划分 成 两 个 有 序 的 列表 ， 其 中 每 个 列 
表 都 包含 ”个 数 。 
b 利用 决策 树 和 (a) 的 答案 ， 证 明 : 任何 能 够 正确 合并 两 个 有 序列 表 的 算法 都 至 少 要 进行 
2n 一 o《n) 次 比较 。 
现在 我 们 来 给 出 一 个 更 紧 确 界 2n 一 1。 
c. 请 说 明 : 如 果 两 个 元 素 在 有 序 序列 中 是 连续 的 ， 且 它们 分 别 来 自 不 同 的 列表 ， 则 它们 必 
须 进行 比较 。 
d. 利用 你 对 上 一 部 分 的 回答 ， 说 明 合并 两 个 有 序列 表 时 的 比较 次 数 下 界 为 2n 一 1。 
(0-1 排序 引 理 和 列 排序 ) ”针对 两 个 数组 元 素 ALij 和 ALjj(i< 让 的 比较 交换 操作 的 形式 
如 下 : 
COMPARE-EXCHANGE(A, i, j) 
1 if ALi] > AL] 
2 exchange A[i] with AD ] 
经 过 比较 交换 操作 之 后 ， 我 们 得 到 ALI<ALs]. 
遗忘 比较 交换 算法 是 指 算法 只 按照 事先 定义 好 的 操作 执行 ， 即 需要 比较 的 位 置 下 标 必 
须 事 先 确定 好 。 虽 然 算法 可 能 依靠 待 排序 元 素 个 数 ， 但 它 不 能 依赖 待 排序 元 素 的 值 ， 也 不 
能 依赖 任何 之 前 的 比较 交换 操作 的 结果 。 例 如 ， 下 面 是 一 个 基于 遗忘 比较 交换 算法 的 插入 
排序 : 
INSERTION-SORT (A) 
1 forj = 2 to A. length 
2 for i = j — 1 downto 1 
3 COMPARE-EXCHANGE(A, i, i + 1) 


0-1 排序 引 理 提供 了 有 力 的 方法 来 证 明 一 个 遗忘 比较 交换 算法 可 以 产生 正确 的 排序 结 
果 。 该 引 理 表明 ， 如 果 一 个 遗忘 比较 交换 算法 能 够 对 所 有 只 包含 0 和 1 的 输入 序列 排序 ， 
那么 它 也 可 以 对 包含 任意 值 的 输入 序列 排序 。 

你 可 以 用 反例 来 证 明 0-1 排序 引 理 : 如 果 一 个 遗忘 比较 交换 算法 不 能 对 一 个 包含 任意 
值 的 序列 进行 排序 ， 那 么 它 也 不 能 对 某 个 0-1 序列 进行 排序 。 不 妨 假设 一 个 遗忘 比较 交换 
算法 和 未 能 对 数组 A[L1. .nj 排序 。 设 A[pj 是 算法 X 未 能 将 其 放 到 正确 位 置 的 最 小 的 元 素 ， 
而 ALqj 是 被 算法 X 放 在 ALpj] 原 本 应 该 在 的 位 置 上 的 元 素 。 定 义 一 个 只 包含 0 和 1 的 数组 
BLI. .nj 如 下 : 
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o # Ali]<ALp] 


B= \) # AG] > Alp] 


a 讨论 : 当 A[q]>>A[p] 时 ， 有 BLp]=0 和 Blq]=1. 
b. 为 了 完成 0-1 排序 引 理 的 证 明 ， 请 先 证 明 算法 X 不 能 对 数组 B 正确 地 排序 。 


现在 , 需要 用 0-1 排序 引 理 来 证 明 一 个 特别 的 排序 算法 的 正确 性 。 列 排序 算法 是 用 于 包含 


个 元 素 的 矩形 数组 的 排序 。 这 一 矩形 数组 有 7 行 ; 列 (因此 n==rs)， 满足 下列 三 个 限制 条 件 : 


。 7 必须 是 偶数 
。 5 必须 是 > 的 因子 
> ry 


当 列 排序 完成 时 ， 和 矩形 数组 是 列 优先 有 序 的 : 按照 列 从 上 到 下 ， 从 左 到 右 ， 都 是 单调 递 
增 的 。 


如 果 不 包括 n 的 值 的 计算 ， 列 排序 需要 8 步 操作 。 所 有 奇数 步 都 一 样 : 对 每 一 列 单独 


进行 排序 。 每 一 个 偶数 步 是 一 个 特定 的 排列 。 具 体 如 下 : 


an oo eA Ww aoe 


~ 


. 对 每 一 列 进 行 排序 。 
2s 


转 置 这 个 矩形 数组 ， 并 重新 规整 化 为 > 行列 的 形式 。 也 就 是 说 ， 首 先 将 最 左边 的 一 列 
放 在 前 r/s 行 ， 然 后 将 下 一 列 放 在 第 二 个 r/s 行 ， 依 此 类 推 。 


. 对 每 一 列 进行 排序 。 

. 执行 第 2 步 排列 操作 的 逆 操 作 。 

. 对 每 一 列 进行 排序 。 

. 将 每 一 列 的 上 半 部 分 移 到 同一 列 的 下 半 部 分 位 置 ， 将 每 一 列 的 下 半 部 分 移 到 下 一 列 的 上 


半 部 分 ， 并 将 最 左边 一 列 的 上 半 部 分 置 为 空 。 此 时 ， 最 后 一 列 的 下 半 部 分 成 为 新 的 最 右 
列 的 上 半 部 分 ， 新 的 最 右 列 的 下 半 部 分 为 空 。 


. 对 每 一 列 进 行 排序 。 


8. 执行 第 6 步 排列 操作 的 逆 操作 。 


图 8-5 显示 了 一 个 在 r= 6 Al s=3 时 的 列 排序 步骤 (即使 这 个 例子 违背 了 ”之 28 的 条 件 ， 


列 排序 仍然 有 效 ) 。 
10 14 5 45, t 32 4 8 10 Ll 3 6 1 4 1 
Sil a BING, & 3 3 12 16 18 BO Ss 3 8 14 
m X 6 10 7 6 | & 7 4 8 10 6 10 17 
16 9 ll I 9 H 9 14 15 9 13 15 2 9 12 
4 15 2 16 14 13 2 5 6 ll 14 17 5 13 16 
1g 3 B I$- 15 17 u 13 17 12 16 18 7 15 18 
(a) (b) Ce) (d) Ce) 
1 4 H 5 10 16 4 10 16 Ee 3 
2 8 BP 6 B 17 S M I7 2 8 14 
3 9 14 7 15 18 6 12 18 3 9 I5 
5 10 16 1 4 1 i 7 B 4 10 16 
6 13 17 2 8 12 2 3 4 S WW 17 
7 15 18 3 9 14 3 9 TS 6 12 18 


图 8-5 


(f) (g) h) G) 


列 排 序 的 步骤 。(a)6 行 3 列 的 输入 数组 。(b) 第 1 步 排 序 操作 之 后 的 情况 。(c) 第 2 步 转 置 和 规整 化 
后 的 情况 。(d) 第 3 步 排序 操作 之 后 的 情况 。(e) 执行 完 第 4 步 的 情况 ， 即 反 转 第 2 步 排列 操作 。 
DRS 步 排 序 操作 之 后 的 情况 。(g) 第 6 步 移动 后 的 情况 。(h) 第 7 步 排序 操作 之 后 的 情况 。(D 执 行 
完 第 8 步 的 情况 ， 即 反 转 第 6 步 排列 操作 。 现 在 数组 已 经 是 列 优先 有 序 了 


c 讨论 : 即使 不 知道 奇数 步 采用 了 什么 排序 算法 ， 我 们 也 可 以 把 列 排序 看 做 一 种 遗忘 比较 


交换 算法 。 
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虽然 似乎 很 难 让 人 相信 列 排 序 也 能 实现 排序 ， 但 是 你 可 以 利用 0-1 排序 引 理 来 证 明 这 
一 点 。 因 为 列 排序 可 以 看 做 是 一 种 遗忘 比较 交换 算法 ， 所 以 我 们 可 以 使 用 0-1 排序 引 理 。 
下 面 一 些 定义 有 助 于 你 使 用 这 一 引 理 。 如 果 数 组 中 的 某 个 区 域 只 包含 全 0 或 者 全 1， 我 们 定 
义 这 个 区 域 是 干净 的 。 和 否则 ， 如 果 这 个 区 域 包含 的 是 0 和 1 的 混合 ， 则 称 这 个 区 域 是 脏 的 。 
这 里 ， 假 设 输 入 数据 只 包含 0 和 1， 且 输入 数据 能 够 被 转换 为 ~ 行列 。 

d. 证 明 : 经 过 第 1 一 3 步 ， 数 组 由 三 部 分 组 成 : 顶部 一 些 由 全 0 组 成 的 干净 行 ， 底 部 一 些 由 
全 1 组 成 的 干净 行 ， 以 及 中 间 最 多 * 行 脏 的 行 。 

e 证 明 : 经 过 第 4 步 之 后 ， 如 果 按 照 列 优先 原则 读 取 数 组 ， 先 读 到 的 是 全 0 的 干净 区 域 ， 
最 后 是 全 1 的 干净 区 域 ， 中 间 是 由 最 多 s° 个 元 素 组 成 的 脏 的 区 域 。 

f. 证 明 : 第 5 一 8 步 产生 一 个 全 排序 的 0-1 输出 ， 并 得 到 结论 : 列 排序 可 以 正确 地 对 任意 输 
入 值 排序 。 

g 现在 假设 ;不 能 被 + 整除 。 证 明 : 经 过 第 1 一 3 步 ， 数 组 的 顶部 有 一 些 全 0 的 干净 行 ， 底 
部 有 一 些 全 1 的 干净 行 ， 中 间 是 最 多 2s—1 行 脏 行 。 那 么 与 ; 相 比 ， 在 :不 能 被 7 整除 
Hj, r 至 少 要 有 多 大 才能 保证 列 排 序 的 正确 性 ? 

h. 对 第 1 步 做 一 个 简单 修改 ,使 得 我 们 可 以 在 ;不 能 被 整除 时 ， 也 保证 + 宇 2 ， 并 且 证 明 
在 这 一 修改 后 ， 列 排序 仍然 正确 。 


本 章 注 记 

用 于 研究 比较 排序 的 决策 树 模型 首先 是 由 Ford 和 Johnson[110j] 提 出 的 。KnuthL211] 有 关 排 
序 的 综述 中 涉及 了 排序 问题 的 很 多 变形 ， 包 括 本 章 所 给 出 的 排序 问题 复杂 度 的 信息 论 下 界 。Ben- 
OrL39] 利 用 泛 化 的 决策 树 模型 对 排序 的 下 界 进行 了 全 面 分 析 。 

根据 Knuth 所 述 ， 计 数 排序 是 由 H. H. Seward 于 1954 年 提出 的 ， 而 且 他 还 提出 了 将 计数 排 
序 与 基数 排序 结合 起 来 的 思想 。 基 数 排序 是 从 最 低 有 效 位 开始 的 ， 这 是 一 种 机 械 式 卡片 排序 机 
的 操作 员 们 所 广泛 采用 的 通用 算法 。 根 据 Knuth 所 述 ，L. J. Comrie 于 1929 年 首次 在 一 篇 描述 卡 
片 穿孔 机 文档 中 介绍 了 这 一 方法 。 自 从 1956 年 ， 桶 排序 就 已 经 开始 被 使 用 了 。 当 时 这 一 基本 思 
想 是 由 E. J. Isaac 和 R. C. Singleton[ 188 | 提出 的 。 

Munro 和 Raman[L263 给 出 一 个 稳定 的 排序 算法 ， 它 在 最 坏 情 况 下 需要 执行 Om ) 次 比较 ， 
其 中 0<eX1 是 任意 的 固定 常数 。 尽 管 任 一 O(nlgn) 时 间 算 法 所 需 比 较 次 数 更 少 ， 但 Munro 和 
Raman 的 算法 仅 需要 将 数据 移动 O(n) 次 ， 而且 它 是 原址 排序 。 

许多 研究 人 员 都 对 如 何在 O(n Ign) BT Ta AX n 个 5 位 整数 进行 排序 做 过 研究 ， 并 已 经 获得 了 一 
些 有 益 的 成 果 ， 其 中 每 一 项 成 果 都 对 计算 模型 做 了 上 略 有 不 同 的 假设 ， 对 算法 的 限制 也 稍 有 差异 。 
所 有 这 些 成 果 都 假设 计算 机 内 存 被 划分 成 可 寻 址 的 5 位 字 。Fredman 和 Willard[1151 引 入 融合 树 
(fusion tree) 这 一 数据 结构 ， 它 可 以 在 O(nlgn/lglg nn) 时 间 内 对 n 个 整数 进行 排序 。Andersson[ 16] 
将 这 一 界 改 善 为 O(nVign)。 这 些 算 法 要 用 到 乘法 和 几 个 预先 计算 好 的 常量 。Andersson、 
Hagerup, Nilsson 和 RamanL17] 给 出 了 一 种 不 用 乘法 可 以 在 O(nlglg n) 时 间 内 对 个 整数 进行 排 
序 的 算法 。 但 是 ， 该 算法 所 需要 的 存储 空间 以 n 来 表示 的 话 ， 可 能 是 无 界 的 。 利 用 乘法 散 列 技 
术 ， 我 们 可 以 将 所 需 的 存储 空间 降 至 O(n)， 最 坏 情 况 运 行 时 间 的 界 OCnlglgn) 成 为 期 望 运行 时 间 
的 界 。 通 过 一 般 化 AnderssonL16] 提 出 的 指数 搜索 树 ，ThorupL335] 给 出 一 个 O(n(lglg n)’) 时 间 
的 排序 算法 ， 该 算法 不 使 用 乘法 和 随机 化 ， 并 且 只 需要 线性 存储 空间 。Han[158] 把 这 些 技术 与 
一 些 新 的 想法 结合 起 来 ， 将 排序 算法 的 界 改善 至 O(nlglg nlglglg n) 时 间 。 尽 管 上 述 算法 有 着 重要 
的 理论 突破 ,但 都 太 复杂 。 就 目前 的 情况 来 看 ， 它 们 不 太 可 能 在 实践 中 与 现 有 的 排序 算法 竞争 。 

思考 题 8-7 中 的 列 排序 算法 是 由 Leighton 227 提出 的 。 
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在 一 个 由 个 元 素 组 成 的 集合 中 ,第 i 个 顺序 统计 量 (order statistic) 是 该 集合 中 第 i 小 的 元 
素 。 例 如 ， 在 一 个 元 素 集合 中 ， 最 小 值 是 第 1 个 顺序 统计 量 (i 二 1)， 最 大 值 是 第 ”个 顺序 统计 量 
G=n), 。 用 非 形式 化 的 描述 来 说 ， 一 个 中 位 数 Cmedian) 是 它 所 属 集合 的 “中 点 元 素 ”。 当 n 为 奇数 
时 ， 中 位 数 是 唯一 的 ， 位 于 i 二 (n 十 1)/2 处 。 当 ?为 偶数 时 ， 存 在 两 个 中 位 数 ， 分 别 位 于 ;一 2 
和 i=n/2+1 处。 因此 ， 如 果 不 考虑 对 的 奇偶 性 ， 中 位 数 总 是 出 现在 ;一 [xz 十 1)/2jJ 处 (下 中 位 数 ) 
和 i 二 [Cn 十 2)/21] 处 (上 中 位 数 )。 为 了 简便 起 见 ， 本 书 中 所 用 的 “中 位 数 ” 都 是 指 下 中 位 数 。 

本 章 将 讨论 从 一 个 由 nn 个 互 异 的 元 素 构 成 的 集合 中 选择 第 i 个 顺序 统计 量 的 问题 。 为 了 方便 
起 见 ， 假 设 集合 中 的 元 素 都 是 互 异 的 ， 但 实际 上 我 们 所 做 的 都 可 以 推广 到 集合 中 包含 重复 元 素 
的 情形 。 我 们 将 这 一 问题 形式 化 定义 为 如 下 的 选择 问题 : 

输入 : 一 个 包含 2 个 ( 互 异 的 ) 数 的 集合 A 和 一 个 整数 i，1<i<n。 

输出 : 元 素 zxEA， 且 A 中 恰好 有 :一 1 个 其 他 元 素 小 于 它 。 

我 们 可 以 在 O(nlgn) 时 间 内 解决 这 个 选择 问题 ， 因 为 我 们 可 以 用 堆 排 序 或 归并 排序 对 输入 数 
据 进行 排序 ， 然 后 在 输出 数组 中 根据 下 标 找 出 第 i 个 元 素 即 可 。 本 章 将 介绍 一 些 更 快 的 算法 。 

在 9.1 节 中 ,我 们 将 讨论 从 一 个 集合 中 选择 最 小 元 素 和 最 大 元 素 的 问题 。 对 于 一 般 化 选择 问 
题 的 更 有 意思 的 讨论 将 在 接 下 来 的 两 节 中 进行 。9. 2 节 将 分 析 一 个 实用 的 随机 算法 ， 它 在 元 素 互 
异 的 假设 条 件 下 可 以 达到 O(n) 的 期 望 运行 时 间 。9. 3 节 将 给 出 一 个 更 具有 理论 意义 的 算法 ， 它 
在 最 坏 情 况 下 的 运行 时 间 为 O(n)。 


9. 1 最 小 值 和 最 大 值 

在 一 个 有 ?个 元 素 的 集合 中 ， 需 要 做 多 少 次 比较 才能 确定 其 最 小 元 素 呢 ? 我 们 可 以 很 容易 地 
给 出 ”一 1 次 比较 这 个 上 界 : 依次 遍历 集合 中 的 每 个 元 素 ， 并 记录 下 当前 最 小 元 素 。 在 下 面 的 程 
序 中 ， 我 们 假设 该 集合 元 素 存放 在 数组 A H, H A. length=n: 

MINIMUM(A) 

l min = A{1] 
2 fori = 2 to A. length 
3 if min > A[i] 
4 
5 





min = Ali] 
return min 

当然 ， 最 大 值 也 可 以 通过 ”一 1 次 比较 找 出 来 。 

这 是 我 们 能 得 到 的 最 好 结果 吗 ? 是 的 ， 对 于 确定 最 小 值 问 题 ， 我 们 可 以 得 到 其 下 界 就 是 n 一 1 
次 比较 。 对 于 任意 一 个 确定 最 小 值 的 算法 ， 可 以 把 它 看 成 是 在 各 元 素 之 间 进 行 的 一 场 锦标 赛 。 每 
次 比较 都 是 锦标 赛 中 的 一 场 比 赛 ， 两 个 元 素 中 较 小 的 获胜 。 需 要 注意 的 是 ， 除 了 最 终 获胜 者 以 
外 ， 每 个 元 素 都 至 少 要 输 掉 一 场 比赛 。 因 此 ， 我 们 得 到 结论 : 为 了 确定 最 小 值 ， 必 须要 做 n 一 1 
次 比较 。 因 此 ， 从 所 执行 的 比较 次 数 来 看 ， 算 法 MINIMUM 是 最 优 的 。 

同时 找到 最 小 值 和 最 大 值 

在 某 些 应 用 中 ， 我 们 必须 要 找 出 一 个 包含 ”个 元 素 的 集合 中 的 最 小 值 和 最 大 值 。 例 如 ， 一 个 
图 形 程序 可 能 需要 转换 一 组 (z，2?) 数 据 ， 使 之 能 适合 一 个 矩形 显示 器 或 其 他 图 形 输出 装置 。 为 
了 做 到 这 一 点 ， 程 序 必须 首先 确定 每 个 坐标 中 的 最 小 值 和 最 大 值 。 
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就 这 一 点 来 说 ， 用 渐 近 最 优 的 @(n) 次 比较 ， 在 个 元 素 中 同时 找到 最 小 值 和 最 大 值 的 方法 
是 显然 的 : 只 要 分 别 独 立地 找 出 最 小 值 和 最 大 值 ， 这 各 需要 n 一 1 次 比较 ， 共 需 2n—2 次 比较 。 

事实 上 ， 我 们 只 需要 最 多 3 Ln/2j 次 比较 就 可 以 同时 找到 最 小 值 和 最 大 值 。 具 体 的 方法 是 记 
录 已 知 的 最 小 值 和 最 大 值 。 但 我 们 并 不 是 将 每 一 个 输入 元 素 与 当前 的 最 小 值 和 最 大 值 进行 比 
较 一 一 这 样 做 的 代价 是 每 个 元 素 需要 2 次 比较 ， 而 是 对 输入 元 素 成 对 地 进行 处 理 。 首 先 ， 我 们 将 
一 对 输入 元 素 相互 进行 比较 ,然后 把 较 小 的 与 当前 最 小 值 比 较 ， 把 较 大 的 与 当前 最 大 值 进行 比 
较 。 这 样 ， 对 每 两 个 元 素 共 需 3 次 比较 。 

如 何 设 定 已 知 的 最 小 值 和 最 大 值 的 初始 值 依赖 于 n 是 奇数 还 是 偶数 。 如 果 是 奇数 ， 我 们 就 
将 最 小 值 和 最 大 值 的 初 值 都 设 为 第 一 个 元 素 的 值 ， 然 后 成 对 地 处 理 余下 的 元 素 。 如 果 ”是 偶数 ， 
就 对 前 两 个 元 素 做 一 次 比较 ， 以 决定 最 小 值 和 最 大 值 的 初 值 ， 然 后 与 2 是 奇数 的 情形 一 样 ， 成 对 
地 处 理 余 下 的 元 素 。 

下 面 来 分 析 一 下 总 的 比较 次 数 。 如 果 nn 是 奇数 ， 那 么 总 共 进 行 3 Ln/2] 次 比较 。 如 果 n 是 偶 
数 ， 则 是 先进 行 一 次 初始 比较 ， 然 后 进行 3(n 一 2)/2 次 比较 ， 共 3n/2 一 2 次 比较 。 因 此 ， 不管 是 
哪 一 种 情况 ， 总 的 比较 次 数 至 多 是 3 Ln/2]。 


练习 


9.1-1 证 明 : 在 最 坏 情况 下 ， 找 到 ”个 元 素 中 第 二 小 的 元 素 需 要 ”十 [ljgz] 一 2 次 比较 。( 提 示 : 
可 以 同时 找 最 小 元 素 。) 

*9. 1-2 TERA: 在 最 坏 情 况 下 ， 同 时 找到 个 元 素 中 最 大 值 和 最 小 值 的 比较 次 数 的 下 界 是 [3n/21 一 
2。( 提 示 : 考虑 有 多 少 个 数 有 成 为 最 大 值 或 最 小 值 的 潜在 可 能 ， 然 后 分 析 一 下 每 一 次 比 
较 会 如 何 影响 这 些 计 数 .) 


9.2 期望 为 线性 时 间 的 选择 算法 

一 般 选择 问题 看 起 来 要 比 找 最 小 值 这 样 的 简单 问题 更 难 。 但 令 人 惊奇 的 是 ， 这 两 个 问题 的 
渐 近 运行 时 间 却 是 相同 的 : 9(z) 。 本 节 将 介绍 一 种 解决 选择 问题 的 分 治 算法 。RANDOMIZED- 
SELECT 算法 是 以 第 7 章 的 快速 排序 算法 为 模型 的 。 与 快速 排序 一 样 ， 我 们 仍然 将 输入 数组 进行 
递归 划分 。 但 与 快速 排序 不 同 的 是 ， 快 速 排序 会 递归 处 理 划 分 的 两 边 ， 而 RANDOMIZED- 
SELECT 只 处 理 划分 的 一 边 。 这 一 差异 会 在 性 能 分 析 中 体现 出 来 : 快速 排序 的 期 望 运 行 时 间 是 
Bnlgn)， 而 RANDOMIZED-SELECT 的 期 望 运 行 时 间 为 8(n)。 这 里 ,假设 输入 数据 都 是 互 异 的 。 

RANDOMIZED-SELECT 利用 了 7.3 节 介 绍 的 RANDOMIZED-PARTITION 过 程 。 5 
RANDOMIZED-QUICKSORT 一 样 ， 因 为 它 的 部 分 行为 是 由 随机 数 生 成 器 的 输出 决定 的 ， 所 以 
RANDOMIZED-SELECT 也 是 一 个 随机 算法 。 以 下 是 RANDOMIZED-SELECT 的 伪 代 码 ， 它 返 
回 数组 ALz. . 7] 中 第 i 小 的 元 素 。 

RANDOMIZED-SELECT (A, p, r, i) 

1 ifp==r 

2 return A[ p] 

3 q = RANDOMIZED-PARTITION(A, p, r) 

4 k=q-ptl 

5 ifi==k / the pivot value is the answer 

6 return A[q | 

7 eseifi<ik 
8 return RANDOMIZED-SELECT(A, p, q—1, i) 
9 else return RANDOMIZED-SELECT(A, q+1, r, i—k) 
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RANDOMIZED-SELECT 的 运行 过 程 如 下 : 第 1 行 检查 递归 的 基本 情况 ， 即 ALp. . rj 中 只 包 
括 一 个 元 素 。 在 这 种 情况 下 ，i 必然 等 于 1， 在 第 2 行 ， 我 们 只 需 将 ALpj] 返 回 作为 第 i 小 的 元 素 
即 可 。 其 他 情况 ， 就 会 调用 第 3 行 的 RANDOMIZED-PARTITION, 将 数组 ALp. .rj 划分 为 两 个 
(可 能 为 空 的 ) 子 数组 A[p. .9 一 1] 和 A[Lg 十 1. .7r]， 使 得 A[p. .9 一 1j 中 的 每 个 元 素 都 小 于 或 等 于 
A[g]， 而 ALqj 小 于 Alat. .J 中 的 每 个 元 素 。 与 快速 排序 中 一 样 ， 我 们 称 ALgj] 为 主 元 (pivot)。 
RANDOMIZED-SELECT 的 第 4 行 计算 子 数组 ALD. . g] 内 的 元 素 个 数 &， 即 处 于 划分 的 低 区 的 元 
素 的 个 数 加 1， 这 个 1 指 主 元 。 然 后 ， 第 5 行 检查 A[9] 是 否 是 第 ;小 的 元 素 。 如 果 是 ， 第 6 行 就 
返回 A[g]。 否 则 ， 算 法 要 确定 第 i 小 的 元 素 落 在 两 个 子 数组 ALz. .9g 一 1] 和 ALg 十 1. .7+j 的 哪 一 个 
之 中 。 如 果 i 二 k， 则 要 找 的 元 素 落 在 划分 的 低 区 。 第 8 行 就 在 低 区 的 子 数组 中 进一步 递归 查找 。 
如 果 i>k， 则 要 找 的 元 素 落 在 划分 的 高 区 中 。 因 为 我 们 已 经 知道 了 有 个 值 小 于 ALp. .rj 中 第 i 小 的 
元 素 ， 即 ALz. . gj 内 的 元 素 ， 所 以 ， 我 们 所 要 找 的 元 素 必然 是 ALg 十 1. .rj 中 的 第 i 一 & 小 的 元 素 。 
它 在 第 9 行 中 被 递归 地 查找 。 上 述 程序 看 起 来 允许 递归 调用 含有 0 个 元 素 的 子 数 组 ， 但 练习 9. 2-1 
要 求证 明 这 种 情况 不 可 能 发 生 。 

RANDOMIZED-SELECT 的 最 坏 情 况 运 行 时 间 为 96C02 ) ， 即 使 是 找 最 小 元 素 也 是 如 此 ， 因 为 
在 每 次 划分 时 可 能 极 不 走运 地 总 是 按 余 下 的 元 素 中 最 大 的 来 进行 划分 ， 而 划分 操作 需要 BCz) 时 
间 。 我 们 也 将 看 到 该 算法 有 线性 的 期 望 运行 时 间 ， 又 因为 它 是 随机 化 的 ， 所 以 不 存在 一 个 特定 的 
会 导致 其 最 坏 情况 发 生 的 输入 数据 。 

为 了 分 析 RANDOMIZED-SELECT 的 期 望 运行 时 间 ， 我 们 设 该 算法 在 一 个 含有 ?个 元 素 的 
输入 数组 A[p. .rj 上 的 运行 时 间 是 一 个 随机 变量 ， 记 为 T(n)。 下 面 我 们 可 以 得 到 ELT(n)] 的 一 
个 上 界 : 程序 RANDOMIZED-PARTITION 能 等 概率 地 返回 任何 元 素 作 为 主 元 。 因 此 ， 对 每 一 
A RA<SR<n), FRA ALD... q] 有 个 元 素 ( 全 部 小 于 或 等 于 主 元 ) 的 概率 是 1/n。 对 所 有 k=1, 
2，…，72， 和 定义 指示 器 随机 变量 X A: 

Xi 二 I{ 子 数组 ALp. .gj 正好 包含 个 元 素 》 
然后 ， 假 设 元 素 是 互 异 的 ， 我 们 有 : 
E[X,] = 1/n (9. 1) 

当 调 用 RANDOMIZED-SELECT 并 选择 A[qj] 作 为 主 元 时 ， 事 先 并 不 知道 是 否 会 立即 得 到 正 
MARMAR, RAET ALD. .9 一 1] 上 递归 ， 或 者 在 子 数 组 ALg 十 1. .rj 上 递归 。 这 个 决定 
依赖 于 第 i 小 的 元 素 相对 于 A[Lqj 落 在 哪个 位 置 。 假 设 T(n) 是 单调 递增 的 ， 通 过 评估 最 大 可 能 的 
输入 数据 递归 调用 所 需 时 间 ， 我 们 可 以 给 出 递归 调用 所 需 时 间 的 上 界 。 也 就 是 说 ,为 了 得 到 上 
界 ， 我 们 假定 第 i 个 元 素 总 是 在 划分 中 包含 较 大 元 素 的 一 边 。 对 一 个 给 定 的 RANDOMIZED- 
SELECT， 指 示 器 随机 变量 X, 恰好 在 给 定 的 & 值 上 取 值 1， 对 其 他 值 都 为 0。 当 Xi 二 1 时 ， 我 们 
可 能 要 递归 处 理 的 两 个 子 数 组 的 大 小 分 别 为 & 一 1 和 nn 一 &。 因 此 可 以 得 到 递归 式 : 


Tin) < >) X, + (TUmax(k — 1,2— k)) + On)) 
k=1 


= ox, +e T(max(k— 1,n—k)) +O(™) 
两 边 取 期 望 值 ， 得 到 


ELT) ]< E| Xoe Tinah- Le k) +0(n) | 
k= 


1 


= > ELX, + Timax(k—1,n—k))]+OM) GHZ HRR) 


k=1 


= >, ELX,] + ELT(max(k—1,n—k))]+OM) (利用 公式 (C. 24)) 
k=1 
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=i ) + ELTGmax(— 1,n— 0] +O) (利用 公式 (9. 1)) 


公式 (C. 24) 的 应 用 依 问 于 X. 和 TCmax(k 一 1，n 一 k)) 是 独立 的 随机 变量 。 练 习 9. 2-2 要 求证 明 这 
个 命题 。 
下 面 来 考虑 一 下 表达 式 max(k 一 1，n 一 k)。 我 们 有 
k—1 #k>[n/2] 
max(k—1,n—k) = ok Bein 
如 果 n EBB, WM T(n/2D 2) T(* 一 1) 的 每 一 项 在 总 和 中 恰好 出 现 两 次 。 如 果 ?是 奇数 ， 除 了 
Td.n/2 出 现 一 次 以 外 ， LAK. 因此 ， 我 们 有 


E[T@) ]< 2 $) EET] + O(n) 
k=Ln/2. 


我 们 将 用 替代 法 来 得 到 ELT] = OC) 。 假 设 对 满足 这 个 递归 式 初始 条 件 的 某 个 常数 c， 有 
ELT(n) ] 志 en。 假设 对 小 于 某 个 常数 的 nx， 有 TCn) 二 OC(1)( 稍 后 将 用 到 这 个 常数 )。 同 时 ， 还 要 选 
择 一 个 常数 a， 使 得 对 所 有 的 mn 二 0， 上 式 中 O(n?) 项 所 描述 的 函数 (用 来 表示 算法 运行 时 间 中 的 非 
递归 部 分 ) 有 上 界 an。 利 用 这 个 归纳 假设 ,可 以 得 到 : 

ELT@1< 2 fh ck tan 
Lia 


-= 24 k) +an 


eee dn/2]—1) Ln/2)) | 
2 2 l 


aa! 
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为 了 完成 证 明 ， 还 需要 证 明 : 对 足够 大 的 2， 最 后 一 个 表达 式 至 多 是 cn， 等 价 地 ，cn/4 一 c/2 一 
an 宇 0。 如 果 在 上 式 两 边 加 上 c/2， 并 且 提 取 因 子 n， 就 可 以 得 到 n(c/4 一 a) 宇 c/2。 只 要 我 们 选择 
的 常数 < 能 够 满足 c/4 一 a>0， 即 ec 二 44a， 就 可 以 将 两 边 同 除 以 c/4 一 a， 得 到 

2 a Gee = = 
因此 ， 如 果 假 设 对 所 有 n<2c/(c—4a), 都 有 T(n)=O1), BARA ELT) ]=O(™). RTA 
以 得 出 这 样 的 结论 : 假设 所 有 元 素 是 互 异 的 ， 在 期 望 线性 时 间 内 ， 我 们 可 以 找到 任 一 顺序 统计 
量 ， 特 别 是 中 位 数 。 


练习 
9.2-1 证 明 : 在 RANDOMIZED-SELECT 中 ， 对 长 度 为 0 的 数组 ， 不 会 进行 递归 调用 。 
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9. 2-2 ”请 讨论 : 指示 器 随机 变量 X, 和 TT(max(k 一 1，n 一 &)) 是 独立 的 。 

9.2-3 ”给 出 RANDOMIZED-SELECT 的 一 个 基于 循环 的 版 本 。 

9.2-4 假设 用 RANDOMIZED-SELECT 去 选择 数组 A 一 (3，2，9，0，7，5，4，8，6，1? 的 最 
小 元 素 ， 给 出 能 够 导致 RANDOMIZED-SELECT 最 坏 情况 发 生 的 一 个 划分 序列 。 


9.3 ”最 坏 情况 为 线性 时 间 的 选择 算法 

我 们 现在 来 看 一 个 最 坏 情 况 运行 时 间 为 O(n) 的 选择 算法 。 像 RANDOMIZED-SELECT 一 
FE, SELECT 算法 通过 对 输入 数组 的 递归 划分 来 找 出 所 需 元 素 ， 但 是 ， 在 该 算法 中 能 够 保证 得 
到 对 数组 的 一 个 好 的 划分 。SELECT 使 用 的 也 是 来 自 快 速 排序 的 确定 性 划分 算法 PARTITION 
( 见 7.1 节 )， 但 做 了 修改 ， 把 划分 的 主 元 也 作为 输入 参数 。 

通过 执行 下 列 步骤 ， 算 法 SELECT 可 以 确定 一 个 有 nl 个 不 同 元 素 的 输入 数组 中 第 i 小 的 
TER. (如果 n=1, Ml) SELECT 只 返回 它 的 唯一 输入 数值 作为 第 ;小 的 元 素 。) 

1. 将 输入 数组 的 nn 个 元 素 划 分 为 ln/5] 组 ， 每 组 5 个 元 素 ， 且 至 多 只 有 一 组 由 剩 下 的 nmod5 
个 元 素 组 成 。 

2. 寻找 这 | 5 上 组 中 每 一 组 的 中 位 数 : 首先 对 每 组 元 素 进 行 插 入 排序 ， 然 后 确定 每 组 有 序 元 
素 的 中 位 数 。 

3. 对 第 2 步 中 找 出 的 [5 个 中 位 数 ， 递 归 调用 SELECT 以 找 出 其 中 位 数 <( 如 果 有 偶数 个 中 
位 数 ， 为 了 方便 ， 约 定 工 是 较 小 的 中 位 数 ) 。 

4. 利用 修改 过 的 PARTITION 版 本 ， 按 中 位 数 的 中 位 数 xz 对 输入 数组 进行 划分 。 让 & 比划 
分 的 低 区 中 的 元 素数 目 多 1， 因此 z 是 第 小 的 元 素 ， 并 且 有 ”一 & 个 元 素 在 划分 的 高 区 。 

5. WR i 二 &， 则 返回 z。 如 果 i<k&， 则 在 低 区 递归 调用 SELECT 来 找 出 第 i 小 的 元 素 。 如 果 
i>k&， 则 在 高 区 递归 查找 第 ;一 & 小 的 元 素 。 

为 分 析 SELECT 的 运行 时 间 ， 我 们 先 要 确定 大 
于 划分 主 元 x 的 元 素 个 数 的 下 界 。 图 9-1 给 出 了 一 
些 形象 的 说 明 。 在 第 2 步 找 出 的 中 位 数 中 ， 至 少 有 
一 半 大 于 或 等 于 中 位 数 的 中 位 数 xz 。 因 此 ， 在 这 
Tn/51 个 组 中 ， 除 了 当 不 能 被 5 整除 时 产生 的 所 含 
元 素 少 于 5 的 那个 组 和 包含 z 的 那个 组 之 外 ， 至 少 
有 一 半 的 组 中 有 3 个 元 素 大 于 z。 不 算 这 两 个 组 ， 








KF z 的 元 素 个 数 至 少 为 : 

Efa sn 图 9-1 对 算法 SELECT 的 分 析 。 所 有 个 元 
(ZF -2) = G-6 素 都 由 小 圈 来 表示 ， 并 且 每 一 组 的 5 个 
最 水 情 况 下 ， 在 第 5 步 中 ，SELECT 的 递归 调用 县 被 标识 出 来 当 查找 偶数 个 元 素 的 中 位 
多 作用 于 7n/10 十 6 个 元 素 。 数 时 ， 使 用 较 小 的 中 位 数 )。 箭 头 从 较 
现在 , 我 们 可 以 设计 一 个 递归 式 来 推导 大 的 元 素 指向 较 小 的 元 素 ， 从 图 中 可 以 
SELECT 算法 的 最 坏 情况 运行 时 间 T(n) 了 。 步 又 看 出 ， 在 之 的 右边 ， 每 一 个 包 食 5 个 元 
1、2 和 4 需要 0(m 时 间 。( 步 又 2 是 对 大 小 为 CD = he ma RANG Ea On 
s 边 ， 每 一 个 包含 5 个 元 素 的 组 中 有 3 个 
的 集合 调用 O(n) 次 插入 排序 。) 步 又 3 所 需 时间 为 元 素 小 于 xz。 大 于 z 的 元 素 的 背景 以 阴 

Tn/S), 229% 5 所 需 时 间 至 多 为 T(7n/10 十 6)。 影 来 显示 


日 ”因为 我 们 假设 这 些 数 是 互 异 的 ， 所 以 除了 zz 以 外 的 所 有 元 素 都 大 于 或 小 于 工 。 
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这 里 ， 我 们 假设 工 是 单调 递增 的 ， 此 外 ， 我 们 还 要 作 如 下 假设 (这 一 假设 初 看 起 来 似乎 没有 什么 
动机 )， 即 任何 少 于 140 个 元 素 的 输入 需要 O(1) 时 间 。 后 面 ， 我 们 很 快 就 会 说 明 这 个 魔 数 140 的 
起 源 。 根 据 上 述 假设 ， 可 以 得 到 如 下 递归 式 : 
Od) % n< 140 
T([n/5)) + TC7n/10+6)+OM) #n>140 
我 们 用 替换 法 来 证 明 这 个 运行 时 间 是 线性 的 。 更 明确 地 说 ， 我 们 将 证 明 对 某 个 适当 大 的 常数 c 和 
BRAM n>0, A T(a) 委 cz 。 首 先 ， 假 设 对 某 个 适当 大 的 常数 c 和 所 有 的 2<140， 有 T(n)<cn; 
如 果 “足够 大 ， 这 个 假设 显然 成 立 。 同 时 ， 还 要 挑选 一 个 常数 ae， 使 得 对 所 有 的 xz 之 0， 上 述 公 式 
中 的 O(n) 项 所 对 应 的 函数 (用 来 描述 算法 运行 时 间 中 的 非 递 归 部 分 ) 有 上 界 cz。 将 这 个 归纳 假设 
代入 上 述 递 归 式 的 右边 ， 得 到 : 
Ti) < c [n/5|+cC7n/10 +6) 十 az 

<cn/5+ce+7cen/10+6c+an 

= 9cn/10+7c-+an 

= cn+(—cn/10+7ce+ an) 


Tm) < 


如 果 下 式 成 立 ， 上 式 最 多 是 cn: 
—cn/10+7c+an <0 (9. 2) 

“4 n>70 时 ， 不 等 式 (9. 2G FRE cS10a(n/(n—70)), AAI n>140, BUA (Cn 一 
70) 委 2。 因 此 ， 选 择 cS 200 就 能 够 满足 不 等 式 (9. 2) 。 (注意 ， 这 里 常数 140 并 没有 什么 特别 之 
处 ， 我 们 可 以 用 任何 严格 大 于 70 的 整数 来 替换 它 ， 然 后 再 相应 地 选择 c 即 可 。) 因 此 ， 最 坏 情 况 
下 SELECT 的 运行 时 间 是 线性 的 。 

与 比较 排序 一 样 ( 见 8. 1 47), SELECT 和 RANDOMIZED-SELECT 也 是 通过 元 素 间 的 比较 
来 确定 它们 之 间 的 相对 次 序 的 。 在 第 8 章 中 ， 我 们 知道 在 比较 模型 中 ， 即 使 是 在 平均 情况 下 ， 排 
序 仍然 需要 QCnlgn) 时 间 ( 见 思考 题 8-1) 。 第 8 章 的 线性 时 间 排 序 算 法 在 输入 上 作 了 一 些 假 设 。 
相反 ， 本 章 中 的 线性 时 间 选 择 算法 不 需要 任何 关于 输入 的 假设 。 它 们 不 受 限 于 Qlnlgn) 的 下 界 约 
束 ， 因 为 它们 没有 使 用 排序 就 解决 了 选择 问题 。 因 此 ， 在 本 章 引言 部 分 介绍 的 排序 和 索引 方法 不 
是 解决 选择 问题 的 渐 近 高 效率 方法 。 


练习 


9.3-1 在 算法 SELECT 中 ， 输 入 元 素 被 分 为 每 组 5 个 元 素 。 如 果 它 们 被 分 为 每 组 7 个 元 素 ， 该 算法 
仍然 会 是 线性 时 间 吗 ? 证 明 : 如 果 分 成 每 组 3 个 元 素 ，SELECT 的 运行 时 间 不 是 线性 的 。 

9.3-2 分 析 SELECT， 并 证 明 : 如 果 n=140, WED n/4 1 个 元 素 大 于 中 位 数 的 中 位 数 zx， 至 少 
[n/4 | 个 元 素 小 于 x? 

9.3-3 假设 所 有 元 素 都 是 互 异 的 , 说 明 在 最 坏 情 况 下 ， 如 何 才 能 使 快速 排序 的 运行 时 间 
为 Olnlgn)。 

*9.3-4 ”对 一 个 包含 个 元 素 的 集合 ， 假 设 一 个 算法 只 使 用 比较 来 确定 第 i 小 的 元 素 ， WEA: 无 需 

额外 的 比较 操作 ， 它 也 能 找到 第 i 一 1 小 的 元 素 和 第 n 一 i 大 的 元 素 。 

9.3-5 ”假设 你 已 经 有 了 一 个 最 坏 情况 下 是 线性 时 间 的 用 于 求解 中 位 数 的 “黑箱 ” 子 程序 。 设 计 一 
个 能 在 线性 时 间 内 解决 任意 顺序 统计 量 的 选择 问题 算法 。 

9.3-6 ”对 一 个 包含 ”个 元 素 的 集合 来 说 , & 分 位 数 是 指 能 把 有 序 集合 分 成 x 个 等 大 小 集合 的 第 
& 一 1 个 顺序 统计 量 。 给 出 一 个 能 找 出 某 一 集合 的 分 位 数 的 O(nlgk) 时 间 的 算法 。 

9.3-7 设计 一 个 O(n) 时 间 的 算法 ， 对 于 一 个 给 定 的 包含 nn 个 互 异 元 素 的 集合 S 和 一 个 正 整数 
kn， 该 算法 能 够 确定 S 中 最 接近 中 位 数 的 & 个 元 素 。 
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9.3-8 i XOL. . n] YCL . nj] 为 两 个 数组 ， 每 个 都 包含 4 个 有 序 的 元 素 。 请 设计 一 个 Ogn it 


间 的 算法 来 找 出 数组 X ALY 中 所 有 2n 个 元 素 的 中 位 数 。 


9.3-9 Olay 教授 是 一 家 石油 公司 的 顾问 。 这 家 公司 正在 计划 建造 一 条 从 东 向 西 的 大 型 输油管 道 ， 这 
一 管道 将 穿越 一 个 有 口 油井 的 油田 。 公 司 希 望 有 一 条 管道 支线 沿 着 最 短路 径 从 每 口 油井 连 
接 到 主管 道 (方向 或 南 或 北 )， 如 图 9-2 所 示 。 给 定 每 口 油 井 的 和 y 坐标 ,教授 应 该 如 何 选择 
主管 道 的 最 优 位 置 ， 使 得 各 直线 的 总 长 度 最 小 ? 证 明 : 该 最 优 位 置 可 以 在 线性 时 间 内 确定 。 
图 9-2 Olay 教授 需要 确定 东西 向 石油 管道 的 位 置 ， 使 得 南北 向 的 支线 管道 的 总 长 度 最 小 

思考 题 

9-1 《有 序 序列 中 的 i 个 最 大 数 ) ”给 定 一 个 包含 个 元 素 的 集合 ， 我 们 希望 利用 基于 比较 的 算 


法 找 出 按 顺 序 排列 的 前 :个 最 大 元 素 。 请 设计 能 实现 下 列 每 一 项 要 求 ， 并 且 具 有 最 佳 渐 近 

最 坏 情况 运行 时 间 的 算法 ， 以 和; 来 表示 算法 的 运行 时 间 : 

a 对 输入 数据 排序 ， 并 找 出 前 i 个 最 大 数 。 

b. 对 输入 数据 建立 一 个 最 大 优先 队列 ， 并 调用 EXTRACT-MAX 过 程 i 次。 

ce 利用 一 个 顺序 统计 量 算法 来 找到 第 i 大 的 元 素 ， 然 后 用 它 作 为 主 元 划分 输入 数组 ， 再 对 
前 i 大 的 数 排序 。 


( 带 权 中 位 数 ) 对 分 别 具 有 正 权重 ww，ww，…，w,， 且 满足 Dw 一 1 的， 个 互 异 元 素 
Div en oy a Bhs ALIN z( 较 小 中 位 数 ) 是 满足 如 下 条 件 的 元 素 : 
yu<t 


z<4, 


和 


Yu<s 
> 
例如 ， 如 果 元 素 是 0. 1，0. 35，0. 05，0. 1，0. 15，0.05，0. 2， 并 且 每 个 元 素 的 权重 等 于 本 
身 ( 即 对 所 有 i 二 1，2，…,7， 都 有 w=), 那么 中 位 数 是 0.1， 而 带 权 中 位 数 是 0. 2。 
a. WEAR: 如 果 对 所 有 i=1, 2, =, nn 都 有 ww; 二 1/n， BBA tis T2, ty £, 的 中 位 数 就 是 z; 
的 带 权 中 位 数 。 
b. 利用 排序 ， 设 计 一 个 最 坏 情况 下 OCzlgz) 时 间 的 算法 ， 可 以 得 到 n SCR APA PK, 
c 说 明 如 何 利 用 像 9. 3 节 的 SELECT 这 样 的 线性 时 间 中 位 数 算法 ， 在 On) RM AGL TA 
求 出 带 权 中 位 数 。 
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邮局 位 置 问题 的 定义 如 下 : 给 定 权 重 分 别 为 Wis Wes ”Th 的 nn 个 点 Pis Poo ts Pas 
我 们 希望 找到 一 个 点 p( 不 一 定 是 输入 点 中 的 一 个 )， 使 得 2 wa (bp) 最 小 ， 这 里 dla, b) 


表示 点 a 与 6 之 间 的 距离 。 
d. 证 明 : 对 一 维 邮局 位 置 问题 ， 带 权 中 位 数 是 最 好 的 解决 方法 ， 其 中 ， 每 个 点 都 是 一 个 实 
数 ， 点 a 与 6 之 间 的 距离 是 d(a, b|)=|a—d|. 
e 请 给 出 二 维 邮局 位 置 问题 的 最 好 解决 方法 : 其 中 的 点 是 (x，y) 的 二 维 坐 标 形式 ， 点 4 二 
(a> y5 b= (225 %) 之 间 的 距离 是 Manhattan 距离 ， 即 d(a, b)= | TX T2 | 十 | Mi De | o 
9-3 〈 小 顺序 统计 量 ) ”要 在 个 数 中 选 出 第 i 个 顺序 统计 量 ，SELECT 在 最 坏 情况 下 需要 的 比 
较 次 数 T(n) 满 足 TM=). BE, REE 8 记号 中 的 常数 项 是 非常 大 的 。 当 i 相对 nn 
来 说 很 小 时 ， 我 们 可 以 实现 一 个 不 同 的 算法 ， 它 以 SELECT 作为 子 程序 ， 但 在 最 坏 情 况 下 
225 所 做 的 比较 次 数 更 少 。 
a. 设计 一 个 能 用 U;(n) 次 比较 在 n 个 元 素 中 找 出 第 i 小 元 素 的 算法 ， 其 中 ， 
T(n) # i> nf2 
Ln/2|+U;([n/2D +T2i) 其 他 
(提示 : 从 LV2| 个 不 相交 对 的 两 两 比较 开始 ， 然 后 对 由 每 对 中 的 较 小 元 素 构 成 的 集合 进 
行 递 归 。) 
b. 证 明 : 如 果 i<n/2, WAE U; n) =n+O(T(2i)lg(n/i)) . 
c 证 明 : 如 果 i 是 小 于 n/2 WHR, WAU, (Cn) =n+OU gn). 
d. 证 明 : 如 果 对 所 有 k>2 A i=n/k, WU, Cn) =nt+O0(T(2n/k) gk). 

9-4 (随机 选择 的 另 一 种 分 析 方 法 ) 在 这 个 问题 中 ， 我 们 用 指示 器 随机 变量 来 分 析 
RANDOMIZED-SELECT, 这 一 方法 类 似 于 7.4.2 节 中 所 用 的 对 RANDOMIZED- 
QUICKSORT 的 分 析 方 法 。 

与 快速 排序 中 的 分 析 一 样 ， 我 们 假设 所 有 的 元 素 都 是 互 异 的 ， 输入 数组 A 的 元 素 被 重 
MEH zZ» z, s z, P z 是 第 i 小 的 元 素 。 因 此 ,调用 RANDOMIZED-SELECT(A, 
1, n, AIK zx. 

对 所 有 1\i<j<n, 设 

Xin = I{ 在 执行 算法 查找 zx 期 间 ,z; 与 z; 进行 过 比较 } 
a. 给 出 E Xa 的 准确 表达 式 。( 提 示 : 你 的 表达 式 可 能 有 不 同 的 值 ， 依 赖 于 i、j、& 的 值 .) 
b. 设 Xi 表示 在 找到 z, 时 A 中 元 素 的 总 比较 次 数 ， 证 明 : 


| RE 
FLX] <2( >) ag rs +3) ES a0 
c. WEAR: ELX, |<4n, 
226 d. 假设 A 中 的 元 素 都 是 互 异 的 ， 证明: RANDOMIZED-SELECT 的 期 望 运行 时 间 是 O(n) 。 
本 章 注 记 
最 坏 情 况 下 线性 时 间 查 找 中 位 数 的 算法 是 由 Blum, Floyd, Pratt, Rivest 和 Tarjan[50] 设 计 
的 。 快 速 的 随机 化 版 本 则 是 由 Hoare[169] 提 出 的 。Floyd 与 Rivest[108] 设 计 了 一 个 改进 的 随机 
化 版 本 ， 它 递归 地 从 一 个 小 的 样本 集中 选取 元 素 作 为 划分 的 主 元 。 
目前 ， 确 定 中 位 数 所 需 的 精确 比较 次 数 仍然 是 未 知 的 。Bent 与 JohnL41] 给 出 了 一 个 寻找 中 位 数 的 
比较 次 数 的 下 界 ， 即 2n, Schonhage, Paterson 和 Pippenger[ 302] 给 出 了 一 个 3n 的 上 界 。Dor 和 Zwick 


证 明了 上 述 这 两 个 界 ， 并 给 出 了 一 个 略 小 的 上 界 2. 95zL93]， 他 们 给 出 的 下 界 是 (2 十 e)z[94]， 以 一 个 
很 小 的 正 数 e， 略 微 改进 了 Dor 等 人 [92] 的 结果 。Paterson[ 272] 描 述 了 这 些 结果 以 及 其 他 相关 的 工作 。 


Us = 
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集合 作为 计算 机 科学 的 基础 ， 就 如 同 它们 在 数学 中 所 起 的 作用 。 数 学 
中 的 集合 是 不 变 的 ， 而 由 算法 操作 的 集合 却 在 整个 过 程 中 能 增 大 、 缩 小 或 
发 生 其 他 变化 。 我 们 称 这 样 的 集合 是 动态 的 。 下 面 的 五 章 将 介绍 在 计算 机 
上 表示 和 操作 有 限 动态 集合 的 一 些 基本 技术 。 

不 同 的 算法 可 能 需要 对 集合 执行 不 同 的 操作 。 例 如 ， 许 多 算法 只 需要 
能 在 一 个 集合 中 插入 和 删除 元 素 ， 以 及 测试 元 素 是 否 属于 集合 。 支 持 这 些 
操作 的 动态 集合 称 为 字典 (dictionary)。 其 他 一 些 算法 需要 更 复杂 的 操作 。 
例如 ， 第 6 章 堆 数据 结构 这 部 分 中 介绍 的 最 小 优先 队列 ， 它 支持 向 集合 插 
人 一 个 元 素 和 从 中 取出 一 个 最 小 元 素 的 操作 。 实 现 动态 集合 的 关键 取决 于 
必须 支持 的 一 些 集合 操作 。 

动态 集合 的 元 素 

在 动态 集合 的 典型 实现 中 ， 每 个 元 素 都 由 一 个 对 象 来 表示 ， 如 果 有 一 
个 指向 对 象 的 指针 ， 就 能 对 其 各 个 属性 进行 检查 和 操作 。(10. 3 节 讨 论 了 
在 编程 环境 中 对 象 和 指针 的 实现 ， 而 这 些 对 象 和 指针 并 没有 作为 基本 的 数 
据 类 型 。) 一 些 类 型 的 动态 集合 假定 对 象 中 的 一 个 属性 为 标识 关键 字 (key)。 
如 有 果 关 键 字 全 不 相同 ， 可 以 将 动态 集合 视 为 一 个 关键 字 值 的 集合 。 对 象 可 
能 包含 卫星 数据 ， 它 们 与 其 他 对 象 属性 一 起 移动 ， 除 此 之 外 ， 集 合 实现 不 
使 用 它们 。 对 象 也 可 以 有 由 集合 操作 使 用 的 属性 ; 这 些 属 性 可 能 包含 有 关 
集合 中 其 他 对 象 的 数据 或 指针 。 

一 些 动态 集合 以 其 关键 字 来 自 于 某 个 全 序 集 为 前 提 条 件 ， 比 如 实数 集 
合 或 按 通 常 字典 序 排序 的 所 有 单词 。 例 如 ， 全 序 关系 允许 定义 一 个 集合 的 
最 小 元 素 ， 也 可 以 确定 比 集合 中 一 个 给 定 元 素 大 的 下 一 个 元 素 。 

动态 集合 上 的 操作 

动态 集合 上 的 操作 可 以 分 为 两 类 : 简单 返回 有 关 集 合 信息 的 查询 操作 
和 改变 集合 的 修改 操作 。 下 面 列 出 一 些 标准 操作 。 任 何 具体 应 用 通常 只 需 
要 这 些 操作 中 的 若干 个 就 可 以 实现 。 
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SEARCH(S, k): 一 个 查询 操作 ， 给 定 一 个 集合 S 和 关键 字 &， 返 回 指向 S 中 某 个 元 素 的 指 
Sta, fic. key=k; WR S 中 设 有 这 样 的 元 素 ， 则 返回 NIL, 

INSERT(S, x): 一 个 修改 操作 ， 将 由 工 指向 的 元 素 加 入 到 集合 S 中 。 通 常 假定 元 素 x 中 集 
GS 所 需要 的 每 个 属性 都 已 经 被 初始 化 好 了 。 

DELETE(S，z) : 一 个 修改 操作 ， 给 定 指针 z 指向 集合 S 中 的 一 个 元 素 ， 从 S 中 删除 z。 
注意 ， 这 个 操作 取 一 个 指向 元 素 z 的 指针 作为 输入 ， 而 不 是 一 个 关键 字 的 值 。) 

MINIMUM(S): 一 个 查询 操作 ， 在 全 序 集 S 上 返回 一 个 指向 S 中 具有 最 小 关键 字 元 素 的 
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Effo 
MAXIMUM(S): 一 个 查询 操作 ， 在 全 序 集 S 上 返回 一 个 指向 S 中 具有 最 大 关键 字 元 素 的 
虽 针 。 


SUCCESSOR(S, x): 一 个 查询 操作 ， 给 定 关键 字 属于 全 序 集 S 的 一 个 元 素 z， 返 回 S 中 比 
Zz 大 的 下 一 个 元 素 的 指针 ; WR z 为 最 大 元 素 ， 则 返回 NIL, 

PREDECESSOR(S, x): 一 个 查询 操作 ， 给 定 关键 字 属 于 全 序 集 S 的 一 个 元 素 x， 返 回 S 中 
比 z 小 的 前 一 个 元 素 的 指针 ; 如 果 xz 为 最 小 元 素 ， 则 返回 NIL. 
在 某 些 情况 下 ， 能 够 将 SUCCESSOR 和 PREDECESSOR 查询 操作 推广 应 用 到 一 些 具 有 相同 
关键 字 的 集合 上 。 对 于 一 个 有 7 个 关键 字 的 集合 ， 通 常 的 假设 是 调用 一 次 MAXIMUM 后 再 调用 
n—1 次 SUCCESSOR， 就 可 以 按 序 枚 举 出 该 集合 中 的 所 有 元 素 。 

度量 一 个 集合 操作 的 执行 时 间 通 常 要 对 照 这 个 集合 的 大 小 。 例 如 ， 第 13 章 描 述 了 一 种 数据 
结构 ， 对 于 规模 为 n 的 集合 ， 它 能 在 时 间 O(lgn) 内 完成 上 面 列 出 的 每 个 操作 。 

第 三 部 分 概览 

第 10 一 14 章 描述 能 够 用 于 实现 动态 集合 的 几 种 数据 结构 ; 本 书后 面 将 使 用 其 中 多 种 构造 解 
决 各 种 不 同 问题 的 有 效 算法 。 另 一 种 重要 的 堆 数 据 结构 在 第 6 章 中 已 经 介绍 过 了 。 

第 10 章 给 出 一 些 简 单数 据 结 构 的 使 用 基础 ， 如 栈 、 队 列 、 链 表 和 有 根 树 。 本 章 还 要 说 明 在 
不 支持 对 象 和 指针 作为 基本 类 型 的 编程 环境 中 如 何 实现 它们 。 如 果 读 者 学 习 过 编程 课程 或 相关 
入 门 课程 ， 那 么 对 其 中 的 大 部 分 内 容 应 该 是 熟悉 的 。 

第 11 章 介 绍 散 列表 ， 它 支持 字典 操作 INSERT, DELETE 和 SEARCH。 最 坏 情 况 下 ， 散 列 
表 上 完成 一 次 SEARCH 操作 需要 8(n) 时 间 , 但 散 列表 上 操作 的 期 望 时 间 为 O(1)。 散 列 分 析 依 
赖 于 概率 论 ， 不 过 本 章 的 大 部 分 内 容 并 不 需要 这 方面 的 背景 知识 。 

第 12 章 介 绍 二 又 搜索 树 ， 它 支持 上 面 所 列 出 的 所 有 动态 集合 操作 。 最 坏 情 况 下 ， 在 有 2” 个 
元 素 的 一 棵 树 上 ， 一 次 操作 需要 O(n) ITE]; 然而 在 随机 构建 的 一 棵 二 又 搜索 树 上 ， 其 一 次 操作 
的 期 望 时 间 为 O(lgn)。 二 叉 搜 索 树 作为 其 他 许多 数据 结构 的 基础 。 

第 13 章 介绍 红 黑 树 ， 这 是 二 又 搜 索 树 的 一 个 变种 。 与 普通 的 二 又 搜索 树 不 同 ， 红 黑 树 保证 了 
较 好 的 性 能 : 最 坏 情况 下 各 种 操作 只 需要 O(lgz) 时 间 。 一 棵 红 黑 树 是 一 种 平衡 搜索 树 ; 第 五 部 分 
中 的 第 18 章 给 出 了 另 一 种 类 型 的 平衡 搜索 树 ， 称 为 了 B 树 。 虽 然 红 黑 树 的 工作 机 制 有 点 复杂 ， 但 是 
不 用 仔细 研究 这 些 机 制 也 能 了 解 大 部 分 性 质 。 然 而 ， 读 者 通 览 一 下 本 章 的 代码 还 是 非常 有 益处 的 。 

第 14 章 给 出 如 何 将 红 黑 树 进 行 扩张 ， 使 其 支持 上 面 所 列 基 本 操作 之 外 的 一 些 操作 。 首 先 ， 
对 红 黑 树 进 行 扩张 ， 使 得 对 关键 字 集 合 能 够 动态 地 维护 顺序 统计 量 。 接 着 ， 给 出 红 黑 树 的 另 一 种 
不 同 扩张 方式 ， 用 于 实数 区 间 的 维护 。 
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在 本 章 中 ， 我 们 要 讨论 如 何 通 过 使 用 指针 的 简单 数据 结构 来 表示 动态 集合 。 虽 然 运用 指针 
可 以 构造 多 种 复杂 的 数据 结构 ， 但 这 里 只 介绍 几 种 基本 的 结构 : 栈 、 队 列 、 链 表 和 有 根 树 。 此 
外 ， 我 们 还 要 介绍 由 数组 构造 对 象 和 指针 的 方法 。 


10.1 栈 和 队列 


栈 和 队列 都 是 动态 集合 ， 且 在 其 上 进行 DELETE 操作 所 移 除 的 元 素 是 预先 设 定 的 。 在 栈 
Cstack) 中 ， 被 删除 的 是 最 近 插 和 人 的 元 素 : 栈 实现 的 是 一 种 后 进 先 出 (last-in，first-out，LIFO) 策 
略 。 类 似 地 ， 在 队列 Cqueue) 中 ， 被 删 去 的 总 是 在 集合 中 存在 时 间 最 长 的 那个 元 素 : 队列 实现 的 
是 一 种 先进 先 出 (firstin，firstout，FIFO) 策 略 。 在 计算 机 上 实现 栈 和 队列 有 几 种 有 效 方式 。 本 
节 将 介绍 如 何 利用 一 个 简单 的 数组 实现 这 两 种 结构 。 

栈 

栈 上 的 INSERT 操作 称 为 压 人 (PUSH) ， 而 无 元 素 参 数 的 DELETE 操作 称 为 弹出 (POP)。 
这 两 个 名 称 使 人 联想 到 现实 中 的 栈 ， 比 如 餐馆 里 装 有 弹簧 的 控盘 子 的 栈 。 盘 子 从 栈 中 弹出 的 次 
序 刚 好 同 它们 压 人 的 次 序 相 反 ， 这 是 因为 只 有 最 上 面 的 盘子 才能 被 取 下 来 。 

如 图 10-1 所 示 ， 可 以 用 一 个 数组 SL1. .nj 来 实现 一 个 最 多 可 容纳 个 元 素 的 栈 。 该 数组 有 一 
个 属性 S. top， 指 向 最 新 插入 的 元 素 。 栈 中 包含 的 元 素 为 SL1.. S. top]， 其 中 SL1] 是 栈 底 元 素 ， 
而 SLS. cop ] 是 栈 顶 元 素 。 








S.top=4 S.top=6 S.top=5 


Ca) (b) Cc) 


10-1 RS 的 数组 实现 。 只 有 出 现在 浅 灰 色 格 子 里 的 才 是 栈 内 元 素 。(a) 栈 S 有 4 个 元 素 。 栈 顶 元 素 为 9。 
(b) #9 PUSH(S, 17)#1 PUSH(S，3) 后 的 栈 S。(c) 调 用 POP(S) 并 返回 最 后 压 人 的 元 素 3 的 栈 
S。 虽 然 元 素 3 仍 在 数组 里 ， 但 它 已 不 在 栈 内 了 ， 此 时 在 栈 顶 的 是 元 素 17 


当 S. top=0 时 ， 栈 中 不 包含 任何 元 素 ， 即 栈 是 空 (empty) 的。 要 测试 一 个 栈 是 否 为 空 可 以 用 
查询 操作 STACK-EMPTY。 如 果 试 图 对 一 个 空 栈 执行 弹出 操作 ， 则 称 栈 下 溢 (Cunderflow) ii 
常 是 一 个 错误 。 如 果 S. top MutT n, WER LU (overflow). (在 下 面 的 伪 代 码 实 现 中 ， 我 们 不 
考虑 栈 的 上 溢 问 题 。) 

栈 的 几 种 操作 只 需 分 别 用 几 行 代码 来 实现 : 

STACK-EMPTY(S) 

1 if S.top ==0 

2 return TRUE 

3 else return FALSE 


PUSH(S, x) 
1 S.top=S.top+1 
2 S[S.top] = z 
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POP(S) 

1 if STACK-EMPTY(S) 

2 error “underflow” 

3 else S.top = S.top — 1 
4 return S[S. top + 1] 


10-1 所 示 为 修改 后 的 PUSH 和 POP 操作 的 执行 结果 。 三 种 栈 操 作 的 执行 时 间 都 为 O). 

队列 

队列 上 的 INSERT 操作 称 为 入 队 C(ENQUEUE)，DELETE 操作 称 为 出 队 (DEQUEUE); IE 
如 栈 的 POP 操作 一 样 ，DEQUEUE 操作 也 没有 元 素 参 数 。 队 列 的 先进 先 出 特性 类 似 于 收银 人 台 痛 





排队 等 待 结账 的 一 排 顾 客 。 队 列 有 队 头 L235 4567 £9 WUD 
(head) 和 队 尾 (tail)， 当 有 一 个 元 素 入 队 时 ， (a) Q ZS asl6lolsl4 
它 被 放 在 队 尾 的 位 置 ， 就 像 一 个 新 到 来 的 

顾客 排 在 队伍 末端 一 样 。 而 出 队 的 元 素 则 Crea Q.tail=12 


总 是 在 队 头 的 那个 ， 就 像 排 在 队伍 前 面 等 1 67 8 FWD 
待 最 久 的 那个 顾客 一 样 。 ne T T 7 
图 10-2 表明 利用 数组 QLL. .nj 来 实现 








一 个 最 多 容纳 n 一 1 个 元 素 的 队列 的 一 种 方 Q.tail3 Q.head=7 

式 。 该 队列 有 一 个 属性 Q. head 指向 队 头 元 12345678910112 

素 。 而 属性 Q. tail 则 指向 下 一 个 新 元 素 将 w oS Belo leali 

要 插入 的 位 置 。 队 列 中 的 元 素 存放 在 位 置 

Q. head, Q. head 十 1，…，Q.tiaz 一 1， 并 在 Q.tail=3 Q.head=8 

最 后 的 位 置 环绕 ”感觉 好 像 位 置 1 紧邻 在 ios 利用 数组 Q[1..12] 实 现 一 个 队列 。 只 有 出 现在 
位 置 后 面 形 成 一 个 环 序 。 当 Q head = 浅 灰 色 格子 里 的 才 是 队列 的 元 素 。(a) 队 列 包 含 
Q. tail 时 ， 队 列 为 空 。 初 始 时 有 Q. head= 5 个 元 素 , 位 于 Q[7..11]。(b) 依 次 调用 
Q. tail 二 1。 如 果 试 图 从 空 队列 中 删除 一 个 ENQUEUE (Q, 17), ENQUEUE (Q, 3) All 
Q. tail 十 1 时， 队列 是 满 的 ， 此 时 若 试 图 插 队列 的 构成 。 此 时 新 的 队 头 元 素 的 关键 字 为 6 


入 一 个 元 素 ， 则 队列 发 生 上 洲 。 
在 下 面 ENQUEUE 和 DEQUEUE 程序 中 ， 我 们 省 略 了 对 下 溢 和 上 溢 的 检查 。( 练 习 10. 1-4 
要 求 读 者 给 出 检查 两 种 错误 情况 的 代码 。) 在 下 列 伪 代 码 中 ， 假 设 "一 Q. length, 


ENQUEUE(Q, zx) 


1 QOQ. taii] = 

2 if Q. tail== Q. length 

3 Q. tail = 1 

4 else Q. tail = Q. tail + 1 


DEQUEUE(Q) 
1 x= QQ head | 
if Q. head = Q. length 
Q. head = 1 
else Q. head =Q. head + 1 


return x 


图 10-2 所 示 为 ENQUEUE 和 DEQUEUE 操作 的 执行 结果 。 两 种 操作 的 执行 时 间 都 为 O(1) 。 
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练习 

10. 1-1 仿照 图 10-1， 画 图 表示 依次 执行 操作 PUSH(S, 4), PUSH(S, 1), PUSH(S, 3), POP(S), 
PUSH(CS，8) 和 POP(S) 每 一 步 的 结果 ， 栈 S 初始 为 空 ， 存 储 于 数组 SL.. 6] 中 。 

10. 1-2 说 明 如 何在 一 个 数组 ALL. .站 中 实现 两 个 栈 ， 使 得 当 两 个 栈 的 元 素 个 数 之 和 不 为 时 ， 
两 者 都 不 会 发 生 上 溢 。 要 求 PUSH 和 POP 操作 的 运行 时 间 为 OC). 

10.1-3 仿照 图 10-2, 画图 表示 依次 执行 操作 ENQUEUE(Q, 4), ENQUEUE(Q, 1), 
ENQUEUE(Q，3)、DEQUEUE(Q)、ENQUEUE(Q，8) 和 DEQUEUE(Q) 每 一 步 的 结 
果 ， 队 列 初始 为 空 ， 存 储 于 数组 QL1.. 6] 中 。 

10.1-4 重 写 ENQUEUE 和 DEQUEUE 的 代码 ， 使 之 能 处 理 队 列 的 下 洲 和 上 洲 。 

10.1-5 栈 插 人 和 删除 元 素 只 能 在 同一 端 进行 ， 队 列 的 插入 操作 和 删除 操作 分 别 在 两 端 进行 ， 与 
它们 不 同 的 ， 有 一 种 双 端 队列 (deque)， 其 插入 和 删除 操作 都 可 以 在 两 端 进行 。 写 出 4 
个 时 间 均 为 0(1) 的 过 程 ， 分 别 实现 在 双 端 队列 的 两 端 插 入 和 删除 元 素 的 操作 ， 该 队列 
是 用 一 个 数组 实现 的 。 

10.1-6 说 明 如 何 用 两 个 栈 实现 一 个 队列 ， 并 分 析 相 关 队 列 操 作 的 运行 时 间 。 

10.1-7 说 明 如 何 用 两 个 队列 实现 一 个 栈 ， 并 分 析 相 关 栈 操作 的 运行 时 间 。 


10.2 链表 


链表 (linked list) 是 一 种 这 样 的 数据 结构 ， 其 中 的 各 对 象 按 线性 顺序 排列 。 数 组 的 线性 顺序 
是 由 数组 下 标 决定 的 ， 然 而 与 数组 不 同 的 是 ， 链 表 的 顺序 是 由 各 个 对 象 里 的 指针 决定 的 。 链 表 为 
动态 集合 提供 了 一 种 简单 而 灵活 的 表示 方法 ， 并 且 能 支持 10. 1 节 中 列 出 的 所 有 操作 (但 未 必 非 常 
有 效 )。 

如 图 10-3 所 示 ， 双 向 链表 (doubly linked list) L 的 每 个 元 素 都 是 一 个 对 象 ， 每 个 对 象 有 一 个 
关键 字 key 和 两 个 指针 : next 和 prev。 对 象 中 还 可 以 包含 其 他 的 辅助 数据 (或 称 卫星 数据 )。 设 工 
为 链表 的 一 个 元 素 ，z. next 指向 它 在 链表 中 的 后 继 元 素 ，z. prev 则 指向 它 的 前 驱 元 素 。 如 果 
x. prev 一 NIL， 则 元 素 xz 没有 前 驱 ， 因 此 是 链表 的 第 一 个 元 素 ， 即 链表 的 头 (head)。 如 果 x. next= 
NIL, Wisk xz 没有 后 继 ， 因 此 是 链表 的 最 后 一 个 元 素 ， 即 链表 的 尾 (tail) 。 属 性 L. head 指向 链 
表 的 第 一 个 元 素 。 如 果 L. head 二 NIL， 则 链表 为 空 。 


prev key next 


A 7 
(a) L.head AF he e zo 
(b) L.head Zee. O P O O O 


(ce) L.head as) or 


图 10-3 《〈a) 表 示 动 态 集合 (1，4，9，16} 的 双向 链表 工 。 链 表 中 的 每 个 元 素 都 是 一 个 对 象 ， 拥 有 
关键 字 和 指向 前 后 对 象 的 指针 (用 箭头 表示 )。 表 尾 的 nert 属性 和 表 头 的 prev 属性 都 是 
NIL， 用 一 个 斜 杠 表示 。 属 性 L. head 指向 表 头 元 素 。(b) 在 执行 LIST-INSERT(L, X) 
之 后 (这 里 zx. key 二 25)， 链 表 以 关键 字 为 25 的 新 对 象 作为 新 的 表 头 。 该 新 对 象 指向 原来 
关键 字 为 9 的 表 头 元 素 。(c) 随 后 调用 LIST-DELETE(L，X) 的 结果 ， 其 中 工 指向 关键 字 
为 4 的 对 象 


链表 可 以 有 多 种 形式 。 它 可 以 是 单 链接 的 或 双 链 接 的 ， 可 以 是 已 排序 的 或 未 排序 的 ， 可 以 是 
循环 的 或 非 循环 的 。 如 果 一 个 链表 是 单 链接 的 (singly linked) ， 则 省 略 每 个 元 素 中 的 prev 指针 。 
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如 果 链 表 是 已 排序 (sorted) 的 ， 则 链表 的 线性 顺序 与 链表 元 素 中 关键 字 的 线性 顺序 一 致 ， 据 此 ， 
最 小 的 元 素 就 是 表 头 元 素 ， 而 最 大 的 元 素 则 是 表 尾 元 素 。 如 果 链 表 是 未 排序 (unsorted) 的 ， 则 各 
元 素 可 以 以 任何 顺序 出 现 。 在 循环 链表 (circular list) 中 ， 表 头 元 素 的 prev 指针 指向 表 尾 元 素 ， 而 
表 尾 元 素 的 nert 指针 则 指向 表 头 元 素 。 我 们 可 以 将 循环 链表 想象 成 一 个 各 元 素 组 成 的 圆 环 。 在 
本 节余 下 的 部 分 中 ， 我 们 假设 所 处 理 的 链表 都 是 未 排序 的 且 是 双 链 接 的 。 

链表 的 搜索 

过 程 LIST-SEARCH(L，&) 采 用 简单 的 线性 搜索 方法 ， 用 于 查找 链表 工 中 第 一 个 关键 字 为 
的 元 素 ， 并 返回 指向 该 元 素 的 指针 。 如 果 链 表 中 没有 关键 字 为 的 对 象 ， 则 该 过 程 返回 NIL. X 
于 图 10-3(a) 中 的 链表 ,调用 LIST-SEARCH(IL，4) 返 回 指向 第 三 个 元 素 的 指针 ， 而 调用 LIST- 
SEARCH(L，7) 则 返回 NIL. 

LIST-SEARCH(L, k) 

l z= L.head 

2 while xz Æ NIL and z. key Æ k 

3 x= x. next 


4 return x 


要 搜索 一 个 有 个 对 象 的 链表 ， 过 程 LIST-SEARCH 在 最 坏 情 况 下 的 运行 时 间 为 Om), A 
为 可 能 需要 搜索 整个 链表 。 

链表 的 插入 

给 定 一 个 已 设置 好 关键 字 key 的 元 素 x， 过 程 LIST-INSERT 将 x“ 连 接 入 ”到 链表 的 前 端 ， 如 
图 10-3(b) 所 示 。 


LIST-INSERT(L, x) 

1 2z.next = L. head 

2 if L. head Æ NIL 

3 L. head. prev = x 
4 Li. head = x 

5 z. prev = NIL 


(FRAT AE HE FES ERER, AE L. head. prev 表示 的 是 工 . head 所 指向 的 对 象 的 
prev 属性 。) 在 一 个 含 ”个 元 素 的 链表 上 执行 LIST-INSERT 的 运行 时 间 是 OC). 

链表 的 删除 

过 程 LIST-DELETE 将 一 个 元 素 z 从 链表 L 中 移 除 。 该 过 程 要 求 给 定 一 个 指向 z 的 指针 ， 然 
后 通过 修改 一 些 指 针 ， 将 x“ 删除 出 ”该 链表 。 如 果 要 删除 具有 给 定 关键 字 值 的 元 素 ， 则 必须 先 调 
用 LIST-SEARCH 找到 该 元 素 。 

LIST-DELETE(L, x) 

1 if z. prev Æ NIL 


x. prev.next = x. next 


if x. next Æ NIL ý 


2 

3 else L. head = z. next 

4 

5 zx. next. prev = x. prev 


图 10-3(c) 展 示 了 从 链表 中 删除 一 个 元 素 的 操作 。LIST-DELETE 的 运行 时 间 为 0(1)。 但 如 
果 要 删除 具有 给 定 关 键 字 的 元 素 ， 则 最 坏 情 况 下 需要 的 时 间 为 86(n)， 因 为 需要 先 调 用 LIST- 
SEARCH 找到 该 元 素 。 

哨兵 

如 果 可 以 忽视 表 头 和 表 尾 处 的 边界 条 件 ， 则 LIST-DELETE 的 代码 可 以 更 简单 些 : 
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LIST-DELETE (L, x) 
l x. prev. next = x. next 


2 zx. next. prev = x. prev 


哨兵 Csentinel) 是 一 个 哑 对 象 ， 其 作用 是 简化 边界 条 件 的 处 理 。 例 如 ， 假 设 在 链表 工 中 设置 
一 个 对 象 工 . xz， 该 对 象 代 表 NIL， 但 也 具有 和 其 他 对 象 相同 的 各 个 属性 。 对 于 链表 代码 中 出 现 
的 每 一 处 对 NIL 的 引用 ， 都 代 之 以 对 哨兵 L. nil 的 引用 。 如 图 10-4 所 示 ， 这 样 的 调整 将 一 个 常 
规 的 双向 链表 转变 为 一 个 有 了 哨兵 的 双向 循环 链表 (circular，doubly linked list with a sentinel), ， 哨 
R L. nil 位 于 表 头 和 表 尾 之 间 。 属 性 L. nil. next 指向 表 头 ， 工 . nil. prev 指向 表 尾 。 类 似 地 ， 表 尾 
的 next 属性 和 表 头 的 prev 属性 同时 指向 工 .zzz。 因 为 L. nil. next 指向 表 头 ,我们 就 可 以 去 掉 属 
性 工 .head， 并 把 对 它 的 引用 代替 为 对 工 .mazl. next 的 引用 。 图 10-4(a) 显示， 一 个 空 的 链表 只 由 一 
个 哨兵 构成 ， 工 . nil. next FL. nil. prev 同时 指向 L. nil. 


(a) L.nil 





(b) Lnil 








Co) Laul 














Cd) L.nil 





图 10-4 带 哨兵 的 双向 循环 链表 。 哨 兵 L. nil 位 于 表 头 和 表 尾 之 间 。 由 于 可 通过 工 . nil. next 访问 
RK, RH L. head 就 不 需要 了 。(a) 空 链表 。(b) 图 10-3(a) 中 的 链表 ， 表 头 关 键 字 为 9， 
表 尾 关键 字 为 1。(c) 执 行 LIST-INSERT'(L，z) 后 的 链表 ， 其 中 z. key 二 25。 新 插入 的 
对 象 成 为 表 头 。(d) 删 除 关键 字 为 1 的 对 象 后 的 链表 。 新 的 表 尾 是 关键 字 为 4 的 对 象 


LIST-SEARCH 的 代码 和 之 前 基本 保持 不 变 ， 只 是 将 对 NIL A L. head 的 引用 如 前 所 述 加 以 
调整 : 
LIST-SEARCH' (L, k) 


1 z = L. mil. next 
2 while z ÆL. nil and z . key Æ k 
3 x= z. next 


4 return z 


我 们 使 用 前 述 的 仅 含 两 行 代码 的 过 程 LIST-DELETE 可 以 实现 元 素 的 删除 。 下 面 的 过 程 则 
实现 元 素 的 插入 : 

LIST-INSERT'(L, x) 

1 æ. next = L.nil. next 

2 L.nil. next . prev = x 

3 Linth next = è 


4 æ. prev = L.nil 


图 10-4 展示 了 LIST-INSERT’ 和 LIST-DELETE 在 该 链表 实例 上 的 执行 结果 。 

哨兵 基本 不 能 降低 数据 结构 相关 操作 的 渐 近 时 间 界 ， 但 可 以 降低 常数 因子 。 在 循环 语句 中 
使 用 哨兵 的 好 处 往往 在 于 可 以 使 代码 简洁 ， 而 非 提高 速度 。 举 例 来 说 ， 使 用 哨兵 使 链表 的 代码 变 
得 简洁 了 ， 但 在 LIST-INSERT 和 LIST-DELETE 过 程 上 仅 节约 了 O(1) 的 时 间 。 然 而 ， 在 另 一 
些 情 况 下 ， 哨 兵 的 使 用 使 循环 语句 的 代码 更 紧 竣 ， 从 而 降低 了 运行 时 间 中 或 n? 等 项 的 系数 。 
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我 们 应 当 慎 用 哨兵 。 假 如 有 许多 个 很 短 的 链表 ， 它 们 的 哨兵 所 占用 的 额外 的 存储 空间 会 造 
成 严重 的 存储 浪费 。 本 书 中 ， 仅 当 可 以 真正 简化 代码 时 才 使 用 哨兵 。 


练习 

10.2-1 单 链表 上 的 动态 集合 操作 INSERT 能 否 在 0(1) 时 间 内 实现 ? DELETE 操作 呢 ? 

10.2-2 用 一 个 单 链表 工 实现 一 个 栈 。 要 求 操作 PUSH 和 POP 的 运行 时 间 仍 为 OC). 

10.2-3 ”用 一 个 单 链表 工 实现 一 个 队列 。 要 求 操 作 ENQUEUE 和 DEQUEUE 的 运行 时 间 仍 为 0(1)。 

10. 2-4 如 前 所 述 ，LIST-SEARCH' 过程 中 的 每 一 次 循环 迭代 都 需要 两 个 测试 : 一 是 检查 A 
工 .7i1， 另 一 个 是 检查 x. eey 天 &。 试 说 明 如 何在 每 次 迁 代 中 省 略 对 2 AL. nil 的 检查 。 

10. 2-5 ”使 用 单 向 循环 链表 实现 字典 操作 INSERT, DELETE 和 SEARCH， 并 给 出 所 写 过 程 的 

240 运行 时 间 。 

10.2-6 动态 集合 操作 UNION 以 两 个 不 相交 的 集合 S AS, 作为 输入 ， 并 返回 集合 SSS US, 
包含 S FS, 的 所 有 元 素 。 该 操作 通常 会 破坏 集合 S 和 S$: 。 试 说 明 如 何 选用 一 种 合适 
的 表 类 数据 结构 ， 来 支持 O(1) 时 间 的 UNION 操作 。 

10.2-7 给 出 一 个 8(n) 时 间 的 非 递归 过 程 ， 实 现 对 一 个 含 个 元 素 的 单 链表 的 逆转 。 要 求 除 存 
储 链表 本 身 所 需 的 空间 外 ， 该 过 程 只 能 使 用 固定 大 小 的 存储 空间 。 

*10. 2-8 ”说 明 如 何在 每 个 元 素 仅 使 用 一 个 指针 x. np( 而 不 是 通常 的 两 个 指针 next 和 prev) 的 情况 

下 实现 双向 链表 。 假 设 所 有 指针 的 值 都 可 视 为 & 位 的 整 型 数 ， 且 定义 x. np= zr. next 
XOR z. prev, El x. next Mx. prev 的 有 位 异 或 。(CNLL 的 值 用 0 表示 。) 注 意 要 说 明 获 取 
表 头 所 需 的 信息 ， 并 说 明 如 何在 该 表 上 实现 SEARCH、INSERT 和 DELETE 操作 ， 以 
及 如 何在 O(1) 时 间 内 实现 该 表 的 逆转 。 


10.3 ”指针 和 对 和 象 的 实现 

当 有 些 语 言 不 支持 指针 和 对 象 数据 类 型 时 ， 应 当 如 何 实现 它们 呢 ? 本 节 将 会 介绍 在 没有 显 
式 的 指针 数据 类 型 的 情况 下 实现 链 式 数据 结构 的 两 种 方法 。 我 们 将 利用 数组 和 数组 下 标 来 构造 
对 象 和 指针 。 a 4 ee 7 8 

对 每 个 属性 使 用 一 个 数组 表示 ， 可 以 来 表示 
一 组 有 相同 属性 的 对 象 。 图 10-5 举例 说 明了 如 何 
用 三 个 数组 实现 图 10-3(a) 所 示 的 链表 。 数 组 key 
存放 该 动态 集合 中 现 有 的 关键 字 ， 指 针 则 分 别 存 
储 在 数组 next 和 prev 中 。 对 于 一 个 给 定 的 数组 下 图 10-5 用 数组 key, next 和 prev 表示 图 10-3(a) 





一 中 的 链表 。 每 一 列 数组 项 表示 一 个 单一 

小 9 三 个 É 项 ` =, 

Th Se Bale], mee ee pee a] 的 对 象 。 数 组 内 存放 的 指针 对 应 于 上 方 

起 表示 链表 中 一 个 对 象 。 根 据 这 种 解释 ， 指 针 x 所 示 的 数组 下 标 ; 箭头 给 出 其 形象 表 

即 为 数组 key, next 和 prev 的 一 个 共同 下 标 。 示 。 浅 阴影 的 位 置 存放 的 是 表 内 元 素 。 
在 图 10-3(a) 所 示 的 链表 中 ， 关 键 字 为 4 的 对 变量 工 存放 表 头 元 素 的 下 标 


象 紧邻 关键 字 为 16 的 对 象 之 后 。 在 图 10-5 中 ， 关 键 字 4 出 现在 keyL2]， 关 键 字 16 出 现在 tey[5]， 
因此 zeztL5] 王 2，zprez[L2] 一 5。 尽 管 常数 NIL 出 现在 表 尾 的 next 属性 和 表 头 的 prev 属性 中 ,但 
我 们 通常 用 一 个 不 能 代表 数组 中 任何 实际 位 置 的 整数 (如 0 或 一 1) 来 表示 。 此 外 变量 工 存 放 表 头 
元 素 的 下 标 。 
对 象 的 单数 组 表示 
计算 机 内 存 的 字 往 往 从 整数 0 到 M 一 1 进行 编 址 ， 其 中 M 是 一 个 足够 大 的 整数 。 在 许多 程 
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序 设计 语言 中 ， 一 个 对 象 在 计算 机 内 存 中 占据 一 组 连续 的 存储 单元 。 指 针 仅仅 是 该 对 象 所 在 的 
第 一 个 存储 单元 的 地 址 ， 要 访问 对 象 内 其 他 存储 单元 可 以 在 指针 上 加 上 一 个 偏 移 量 。 

在 不 支持 显 式 的 指针 数据 类 型 的 编程 环境 下 ,我们 可 以 采用 同样 的 策略 来 实现 对 象 。 图 10-6 
举例 说 明了 如 何 用 单个 数组 A 存储 图 10-3(a) 和 图 10-5 所 示 的 链表 。 一 个 对 象 占 用 一 段 连续 的 子 
数组 ALj. .&]， 对 和 象 中 的 每 个 属性 对 应 于 从 0 到 一 j 之 间 的 一 个 偏 移 量 ， 指 向 该 对 象 的 指针 就 
是 下 标 7。 在 图 10-6 中 ， 对 应 于 属性 key, next Fil prev 的 偏 移 量 分 别 为 0、1 和 2。 给 定 一 个 指针 
i, HRR i. prev 的 值 ， 只 需 在 指针 的 值 :上 加 上 偏 移 量 2， 所 以 要 读 取 的 是 ALz 十 2]。 
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图 10-6 用 单个 数组 A 表示 图 10-3(a) 和 图 10-5 所 示 的 链表 。 每 个 链表 元 素 的 对 象 都 
在 数组 中 占用 一 段 连续 的 长 度 为 3 的 子 数 组 。 三 个 属性 eey、zez Ail prev 所 
对 应 的 偏 移 量 分 别 是 0、1 和 2。 指 向 某 个 对 象 的 指针 就 是 该 对 象 内 第 一 个 
元 素 的 下 标 。 存 放 链 表 元 素 的 对 象 标示 成 浅 阴影 ， 箭 头 指示 链表 的 顺序 


这 种 单数 组 的 表示 法 比较 灵活 ， 因 为 它 允 许 不 同 长 度 的 对 象 存储 于 同一 数组 中 。 管 理 一 组 
异 构 的 对 象 比 管理 一 组 同 构 的 对 象 ( 即 所 有 对 象 有 相同 的 属性 ) 更 困难 。 由 于 我 们 考虑 的 数据 结 
构 大 多 都 是 由 同 构 的 元 素 构成 ， 因 此 采用 对 象 的 多 数组 表示 法 足够 满足 我 们 的 需求 。 

对 象 的 分 配 与 释放 

向 一 个 双向 链表 表示 的 动态 集合 中 插入 一 个 关键 字 ， 就 必须 分 配 一 个 指向 该 链表 表示 中 尚 
未 利用 的 对 象 的 指针 。 因 此 ， 有 必要 对 链表 表示 中 尚未 利用 的 对 象 空间 进行 管理 ， 使 其 能 够 被 分 
配 。 在 某 些 系统 中 ， 由 垃圾 收集 器 (garbage collector) 负责 确定 哪些 对 象 是 未 使 用 的 。 然 而 许多 
应 用 非常 简单 ， 可 由 自己 负责 将 未 使 用 的 对 象 返回 给 存储 管理 器 。 我 们 将 以 多 数组 表示 的 双向 
链表 为 例 ， 探 讨 同 构 对 象 的 分 配 与 释放 (或 称 去 分 配 ) 问 题 。 

假设 多 数组 表示 法 中 的 各 数组 长 度 为 m， 且 在 某 一 时 刻 该 动态 集合 含有 nm 个 元 素 。 则 n 
个 对 象 代表 现存 于 该 动态 集合 中 的 元 素 ， 而 余下 的 m 一 n 个 对 象 是 自由 的 (free); 这 些 自由 对 象 
可 用 来 表示 将 要 插入 该 动态 集合 的 元 素 。 

我 们 把 自由 对 象 保存 在 一 个 单 链表 中 ， 称 为 自由 表 (free list) 。 自 由 表 只 使 用 nert 数组 ， 该 
数组 只 存储 链表 中 的 next 指针 。 自 由 表 的 头 保存 在 全 局 变量 free 中 。 当 由 链表 工 表示 的 动态 集 
合 非 空 时 ， 自 由 表 可 能 会 和 链表 工 相互 交错 ， 如 图 10-7 所 示 。 注 意 ， 该 表示 中 的 每 个 对 象 不 是 
在 链表 工 中， 就 在 自由 表 中 ， 但 不 会 同时 属于 两 个 表 。 

自由 表 类 似 于 一 个 栈 : 下 一 个 被 分 配 的 对 象 就 是 最 后 被 释放 的 那个 。 我 们 可 以 分 别 利 用 栈 
操作 PUSH 和 POP 的 链表 实现 形式 来 实现 分 配 和 释放 对 象 的 过 程 。 假 设 下 述 过 程 中 的 全 局 变量 
free 指 向 自由 表 的 第 一 个 元 素 。 

ALLOCATE-OBJECT( 

1 iffree == NIL 

2 error “out of space” 

3 else x = free 

4 free = x. next 

5 


return x 


242 


l 


243 
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FREE-OBJECT(z) 
l zx. next = free 


2 fre==x 


1234 5 6.7.8 123 435 6 7 3 




















图 10-7 过 程 ALLOCATE-OBJECT 和 FREE-OBJECT 的 执行 结果 。(a) 图 10-5 中 的 链表 ( 浅 
阴影 部 分 ) 和 自由 表 ( 深 阴影 部 分 ) 。 箭 头 标示 自由 表 的 结构 。(b) 调 用 ALLOCATE- 
OBJECTO (返回 下 标 4)、 将 eey[4] 设 为 25、 再 调用 LIST-INSERT(EL，4) 处 理 的 结 
果 。 新 自由 表 的 头 为 原 自由 表 中 zeztL4] 所 指 的 对 象 8。(c) 执 行 LIST-DELETE(L, 
5)， 然 后 调用 FREE-OBJECT(5) 。 对 象 5 成 为 新 自由 表 的 表 头 ， 对 象 8 紧 随 其 后 


初始 时 自由 表 含 有 全 部 n 个 未 分 配 的 对 象 。 一 旦 自由 表 用 完 ， 再 运行 ALLOCATE-OBJECT 
过 程 将 提示 出 错 。 我们 甚至 可 以 让 多 个 链表 共用 一 个 自由 表 。 图 10-8 显示 了 两 个 链表 和 一 个 自 
由 表 通 过 数组 key. next Fil prev 彼此 交错 在 一 起 。 fee W to a5 6 7 8 0 1 

上 述 两 个 过 程 运行 时 间 都 为 O(1)， 因 而 是 非常 图 EJ 
实用 的 。 我 们 可 以 将 其 改造 ， 让 对 象 中 的 任意 一 个 “ 
属性 都 可 以 像 自由 表 的 next 属性 一 样 使 用 ， 从 而 使 2 
其 可 以 对 任何 同 构 的 对 象 组 都 适用 。 erick 人 LORE 
练习 影 ) 与 一 个 自由 表 ( 黑 色 ) 彼 此 交错 


10.3-1 画图 表示 序列 (13，4，8，19，5，11)， 其 存储 形式 为 多 数组 表示 的 双向 链表 。 同 样 画 
出 单数 组 表示 的 形式 。 

10. 3-2 对 一 组 同 构 对 象 用 单数 组 表示 法 实现 ， 写 出 过 程 ALLOCATE-OBJECT 和 FREE- 
OBJECT. 

10.3-3 在 ALLOCATE-OBJECT 和 FREE-OBJECT 过 程 的 实现 中 ， 为 什么 不 需要 设置 或 重 置 对 
象 的 prev 属性 呢 ? 

10.34 ”我 们 往往 希望 双向 链表 的 所 有 元 素 在 存储 器 中 保持 紧凑 ， 例 如， 在 多 数组 表示 中 占用 前 
m 个 下 标 位 置 。( 在 页 式 虚 拟 存储 的 计算 环境 下 ， 即 为 这 种 情况 。) 假 设 除 指向 链表 本 身 
的 指针 外 没有 其 他 指针 指向 该 链表 的 元 素 ， 试 说 明 如 何 实现 过 程 ALLOCATE-OBJECT 
和 FREE-OBJECT， 使 得 该 表示 保持 紧凑 。( 提 示 : 使 用 栈 的 数组 实现 。) 

10.3-5 设 工 是 一 个 长 度 为 n 的 双向 链表 ， 存 储 于 长 度 为 m WBA key. prev 和 next 中 。 假 设 这 
些 数组 由 维护 双 链 自由 表 F 的 两 个 过 程 ALLOCATE-OBJECT 和 FREE-OBJECT 进行 管 
理 。 又 假设 x 个 元 素 中 ， 恰 有 个 元 素 在 链表 L 上 上， 一 2 个 在 自由 表 上 。 给 定 链表 工 
和 自由 表 下 ， 试 写 出 一 个 过 程 COMPACTIFY-LIST(L，F)， 用 来 移动 L 中 的 元 素 使 其 
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占用 数组 中 Ly 2a e n 的 位 置 ， 调整 自由 表 下 以 保持 其 正确 性 ， 并 且 占 用 数组 中 n+l, 
n 十 2>，…，m 的 位 置 。 要 求 所 写 的 过 程 运 行 时 间 应 为 @(n)， 且 只 使 用 固定 量 的 额外 存储 
空间 。 请 证 明 所 写 的 过 程 是 正确 的 。 


10.4 有 根 树 的 表示 


上 一 节 介 绍 的 表示 链表 的 方法 可 以 推广 到 任意 同 构 的 数据 结构 上 。 本 节 中 ， 我 们 专门 讨论 
用 链 式 数据 结构 表示 有 根 树 的 问题 。 我 们 将 首先 讨论 二 叉 树 ， 然 后 给 出 针对 结 点 的 孩子 数 任意 
的 有 根 树 的 表示 方法 。 

树 的 结 点 用 对 象 表示 。 与 链表 类 似 ， 假 设 每 个 结 点 都 含有 一 个 关键 字 key。 其 余 我 们 感 兴趣 
的 属性 包括 指向 其 他 结 点 的 指针 ， 它 们 随 树 的 种 类 不 同 会 有 所 变化 。 

二 叉 树 

图 10-9 展示 了 在 二 叉 树 荆 中 如 何 利用 属性 p、left 和 right 存放 指向 父 结 点 、 左 孩子 和 右 孩 
子 的 指针 。 如 果 r. p=NIL, Wr 是 根 结 点 。 如 果 结 点 xz 没有 左 孩 子 ， 则 x. left 二 NIL， 右 孩子 
的 情况 与 此 类 似 。 属 性 T. root 指向 整 棵 树 T 的 根 结 点 。 如 果 T. root 二 NIL， 则 该 树 为 空 。 





图 10-9 ZXW TWA. BEAR c 都 含有 属性 zx. pE), x. Left( 左 
下 ) 和 x. right AF). KEF key 在 图 中 未 显示 


分 支 无 限制 的 有 根 树 

二 叉 树 的 表示 方法 可 以 推广 到 每 个 结 点 的 孩子 数 至 多 为 常数 的 任意 类 型 的 树 : 只 需要 将 
left 和 right 属性 用 child,, child,, ++, child, 代 蔡 。 当 孩子 的 结 点 数 无 限制 时 ， 这 种 方法 就 失 
效 了 ， 因 为 我 们 不 知道 应 当 预 先 分 配 多 少 个 属性 (在 多 数组 表示 法 中 就 是 多 少 个 数组 )。 此 外 ， 
即使 孩子 数 & 限 制 在 一 个 大 的 常数 以 内 ， 但 若 多 数 结 点 只 有 少量 的 孩子 ， 则 会 浪费 大 量 存 储 
空间 。 

所 幸 的 是 ， 有 一 个 巧妙 的 方法 可 以 用 来 表示 孩子 数 任意 的 树 。 该 方法 的 优势 在 于 ， 对 任意 
个 结 点 的 有 根 树 ， 只 需要 O(n) 的 存储 空间 。 这 种 左 孩子 右 兄弟 表示 法 (left-child,， right-sibling 
representation) 如 图 10-10 所 示 。 和 前 述 方法 类 似 ， 每 个 结 点 都 包含 一 个 父 结 点 指针 p, H T. root 
指向 树 工 的 根 结 点 。 然 而 ， 每 个 结 点 中 不 是 包含 指向 每 个 孩子 的 指针 ， 而 是 只 有 两 个 指针 4: 

1. x. leftchild 指向 结 点 z 最 左边 的 孩子 结 点 。 

2. x. right sibling 指向 zz AMITABH LBA o 

如 果 结 点 工 没有 孩子 结 点 ， 则 x. leftchiid=NIL; 如 果 结 点 工 是 其 父 结 点 的 最 右 孩 子 ， 则 
x. right-sibling 一 NIL。 
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T.root 








ae 


246 图 10-10 树 工 的 左 孩子 右 兄 弟 表 示 法 。 每 个 结 点 z 都 含有 属性 z. pE), x. leftchild 
l (左下 ) 和 x. rightsibling AF), REF key 在 图 中 未 显示 


树 的 其 他 表示 方法 

我 们 有 时 也 用 其 他 方法 表示 有 根 树 。 例 如 在 第 6 章 中 ， 我 们 对 一 棵 完全 二 又 树 使 用 堆 来 表 
示 ， 堆 用 一 个 单数 组 加 上 堆 的 最 末 结 点 的 下 标 表 示 。 第 21 章 中 的 树 只 需 向 根 结 点 方向 遍历 ， 因 
此 只 需 提供 父 结 点 的 指针 ， 而 没有 指向 孩子 结 点 的 指针 。 还 有 许多 其 他 的 表示 方法 。 哪 种 方法 最 
优 取 决 于 具体 应 用 。 


练习 
10.4-1 画 出 下 列 属性 表 所 示 的 二 又 树 ， 其 根 结 点 下 标 为 6。 


Fir key left right 
iL 12 7 3 
15 8 NIL 
4 10 NIL 
10 5 9 
2 NIL NIL 
18 1 4 
7 NIL NIL 
14 6 2 
21 NIL NIL 
5 NIL NIL 


wAmAnian AWUN 


= 
© 


10.4-2 ”给 定 一 个 nn 结 点 的 二 叉 树 ， 写 出 一 个 O(n) 时 间 的 递归 过 程 ， 将 该 树 每 个 结 点 的 关键 字 
输出 。 

10.4-3 ”给 定 一 个 nn 结 点 的 二 义 树 ， 写 出 一 个 O(n) 时 间 的 非 递 归 过 程 ， 将 该 树 每 个 结 点 的 关键 
字 输 出 。 可 以 使 用 一 个 栈 作为 辅助 数据 结构 。 

10.4-4 ”对 于 一 个 含 n 个 结 点 的 任意 有 根 树 ， 写 出 一 个 O(n) 时 间 的 过 程 ， 输 出 其 所 有 关键 字 。 


该 树 以 左 孩 子 右 兄弟 表示 法 存储 。 
*10. 4-5 ”给 定 一 个 ?” 结 点 的 二 叉 树 ， 写 出 一 个 O(Cz) 时 间 的 非 递 归 过 程 ， 将 该 树 每 个 结 点 的 关键 
字 输 出 。 要 求 除 该 树 本 身 的 存储 空间 外 只 能 使 用 固定 量 的 额外 存储 空间 ， 且 在 过 程 中 不 


得 修改 该 树 ， 即 使 是 暂时 的 修改 也 不 允许 。 
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*10.4-6 ”任意 有 根 树 的 左 孩 子 右 兄弟 表示 法 中 每 个 结 点 用 到 三 个 指针 : lefechild, rightsibling 和 


parent。 对 于 任何 结 点 ， 都 可 以 在 常数 时 间 到 达 其 父 结 点 ， 并 在 与 其 孩子 数 呈 线性 关系 的 
时 间 内 到 达 所 有 孩子 结 点 。 说 明 如 何在 每 个 结 点 中 只 使 用 两 个 指针 和 一 个 布尔 值 的 情况 
下 ， 使 结 点 的 父 结 点 或 者 其 所 有 和 孩子 结 点 可 以 在 与 其 孩子 数 呈 线性 关系 的 时 间 内 到 达 。 


10-1 (链表 间 的 比较 ) 对 于 下 表 中 的 4 种 链表 ， 所 列 的 每 种 动态 集合 操作 在 最 坏 情 况 下 的 渐 近 


10-2 


10-3 


运行 时 间 是 多 少 ? 
未 排序 的 单 链表 | 已 排序 的 单 链表 | 未 排序 的 双向 链表 | 已 排序 的 双向 链表 


SEARCH(L, k) 


INSERT(L, x) 














DELETE, x) 





SUCCESSOR(L, x) 
PREDECESSOR(L, x) 
MINIMUM(L) 
MAXIMUM(L) 























(利用 链表 实现 可 合并 堆 ) 可 合并 堆 (mergeable heap) 支 持 以 下 操作 : MAKE-HEAP( il) 
一 个 空 的 可 合并 堆 )、INSERT、MINIMUM、EXTRACT-MIN 和 UNION.S 说 明 在 下 列 前 
提 下 如 何 用 链表 实现 可 合并 堆 。 试 着 使 各 操作 尽 可 能 高 效 。 分 析 每 个 操作 按 动 态 集 合 规模 
的 运行 时 间 。 
a. 链表 是 已 排序 的 。 
b. 链表 是 未 排序 的 。 
e 链表 是 未 排序 的 ， 且 待 合并 的 动态 集合 是 不 相交 的 。 

(搜索 已 排序 的 紧凑 链表 ) ”练习 10. 3-4 讨论 了 如 何 将 含 ” 个 元 素 的 链表 紧凑 地 维持 在 数组 
的 前 ”个 位 置 。 假 设 所 有 的 关键 字 均 不 相同 ， 且 紧凑 链表 是 已 排序 的 ， 即 对 所 有 的 ;一 1， 
2，…， n Hnextli|ANIL, A keyLij]<<keyLnezt[i]。 又 假设 有 一 个 谈 量 工 存 放 链 表 的 首 
元 素 的 下 标 。 在 这 些 假设 下 ， 试 说 明 可 以 利用 下 列 随机 算法 在 O(n) 的 期 望 时 间 内 搜索 
链表 。 
COMPACT-LIST-SEARCH(L, n, k) 

1 =L 

2 while i ~ NIL and key[i] < k 

3 j = RANDOM(1, n) 


4 if keyli] < key[ j] and key[j] < k 
5 i=) 

6 if keyli] == k 

7 return i 

8 i = nezt[i] 

9 ifi == NILorkey[i] >k 

10 return NIL 


11 else return i 


© ”由 于 我 们 已 经 定义 了 一 个 支持 MINIMUM 和 EXTRACT-MIN 操作 的 可 合并 堆 ， 我 们 也 可 以 将 它 视 为 一 个 可 合 


并 最 小 堆 。 再 者 ， 如 果 这 个 堆 支 持 MAXIMUM 和 EXTRACT-MAX 操作 ， 就 是 一 个 可 合并 最 大 堆 。 
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如 果 忽 略 过 程 中 第 3 一 7 行 ， 就 得 到 一 个 普通 的 搜索 已 排序 链表 的 算法 ， 其 中 下 标 i 
依次 指向 链表 的 各 个 位 置 。 当 下 标 i 越 出 表 的 末端 或 key[ 让 之 k 时， 搜索 终止 。 在 后 一 种 
情况 中 ， 如 果 key[ 汪 =k&， 显 然 ， 我 们 已 找到 值 为 x 的 关键 字 。 但 如 果 keyli]>k, WRN 
永远 也 找 不 到 值 为 的 关键 字 ， 因 而 终止 查找 是 正确 的 。 

第 3~7 行 意图 向 前 跳 至 某 个 随机 选择 的 位 置 7。 当 key lj] AKF key[ij 而 不 大 于 时 ， 
这 种 跳跃 是 有 益 的 。 因 为 这 种 情况 下 ，7 在 链表 中 标识 了 一 个 正常 搜索 中 i 将 要 到 达 的 位 
置 。 由 于 该 链表 是 紧凑 的 ， 所 以 在 1 到 中 任意 选择 一 个 ; 都 会 指向 链表 中 的 某 个 对 象 ， 
而 不 会 是 自由 表 中 的 某 个 位 置 。 

我 们 不 直接 分 析 COMPACT-LIST-SEARCH 的 性 能 ， 而 是 要 分 析 一 个 相关 的 算法 
COMPACT-LIST-SEARCH' ,该 算法 执行 两 个 独立 的 循环 。 该 算法 增加 了 一 个 参数 1:， 用 
来 决定 第 一 个 循环 迭代 次 数 的 上 限 。 

COMPACT-LIST-SEARCH' (L, n, k, t) 
1 ¿=L 
2 forg =1 tot 
3 j = RANDOM(1, n) 
4 if key[i] < key[j] and key[j] < k 
5 i=j 
6 if key[i] == k 
7 return i 
8 while i Æ NIL and key[i] < k 
9 i = next[i] 
10 ifi == NIL or keyli] > k 
11 return NIL 


12 else return i 


为 了 比较 算法 COMPACT-LIST-SEARCH (L, n, k) 和 COMPACT-LIST-SEARCH' 

(L, n, k, 的 执行 过 程 ， 假 定 调 用 RANDOM(1，n) 所 返回 的 整数 序列 在 两 个 算法 中 是 

一 样 的 。 

a. 假设 COMPACT-LIST-SEARCH(L, n, &) 中 第 2 一 8 行 的 while 循环 经 过 了 +t 次 迭代 。 
论证 COMPACT-LIST-SEARCH' (L, n, k, tt) 会 返回 同样 的 结果 ， 且 COMPACT- 
LIST-SEARCH 中 的 for 循环 和 while 循环 的 迭代 次 数 之 和 至 少 为 i。 

在 COMPACT-LIST-SEARCH'(L, n, &,z) 的 调用 中 , 设 随机 变量 X, 描述 了 第 
2 一 7 行 的 for 循环 经 上 次 迭代 后 链表 中 从 位 置 ; 到 目标 关键 字 & 之 间 的 距离 ( 即 通 过 zezt 
指针 链 ) 。 

b. 论证 COMPACT-LIST-SEARCH'(L，n, k, 的 期 望 运行 时 间 为 OC(t 十 ELX, ])。 


c 证 明 : ELX] < D A-ra 。( 提 示 : 利用 等 式 (C. 25。) 


d. 证 明 : ie <n (G+) « 

e 证 明 : ELX,]<n/@+). 

f. 证 明 : COMPACT-LIST-SEARCH ( 工 ，2，&， 力 的 期 望 运行 时 间 为 OC(t 十 n/t)。 

g 证 明 : COMPACT-LIST-SEARCH 的 期 望 运行 时 间 为 OWn)。 

h. 为 什么 要 假设 COMPACT-LIST-SEARCH 中 的 所 有 关键 字 均 不 相同 ? 论证 当 链 表 中 包 
含 重复 的 关键 字 时 ， 随 机 跳跃 不 一 定 能 降低 渐 近 时 间 。 
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本 章 注 记 

Aho、Hopcroft、Ullman[ 6] 和 Knuth[ 209 都 是 基本 数据 结构 方面 的 优秀 参考 资料 。 很 多 其 
他 的 教材 都 介绍 了 基本 的 数据 结构 及 其 在 某 种 特定 编程 语言 下 的 实现 。 这 类 教材 包括 Goodrich 
和 Tamassia[ 147]、MainL241]、ShafferL311]， 以 及 Weiss[352，353，354]。GonnetL145] 则 提 
供 了 许多 数据 结构 操作 性 能 方面 的 实验 数据 。 

栈 和 队列 作为 计算 机 科学 中 的 数据 结构 ， 它 们 的 起 源 已 不 得 而 知 ， 因 为 早 在 数字 计算 机 发 
明 以 前 ， 相 应 的 概念 就 已 经 在 数学 和 论文 出 版 形式 的 商业 应 用 中 出 现 了 。Knuth[L209] 提 到 了 
A. M. Turing 在 1947 年 为 子 程序 的 链接 问题 发 展 了 栈 技术 。 

基于 指针 的 数据 结构 也 似乎 是 来 自 于 一 项 民间 发 明 。 根 据 Knuth 的 说 法 ， 显 然 ， 指 针 在 早 
期 的 磁 鼓 式 存储 器 计算 机 中 就 被 使 用 了 。G. M. Hopper 于 1951 年 发 明 的 A-1 语言 将 代数 式 表 示 
成 二 又 树 的 形式 。Knuth 认为 ， 由 A. Newell, J.C. Shaw 和 H. A. Simon 于 1956 年 提出 的 IPL-II 
语言 ， 真 正 意 识 到 了 指针 的 重要 性 并 促进 了 指针 的 使 用 。 他 们 于 1957 年 提出 的 IPL-III 语言 包含 
了 具体 的 栈 操作 。 


[253] 


第 11 章 | 


Introduction to Algorithms, Third Edition 


w 列 K 


许多 应 用 都 需要 一 种 动态 集合 结构 ， 它 至 少 要 支持 INSERT, SEARCH 和 DELETE 字典 操作 。 
例如 ， 用 于 程序 语言 编译 的 编译 器 维护 了 一 个 符号 表 ， 其 中 元 素 的 关键 字 为 任意 字符 串 ， 它 与 程 
序 中 的 标识 符 相对 应 。 散 列表 (hash table) 是 实现 字典 操作 的 一 种 有 效 数据 结构 。 尽 管 最 坏 情况 下 ， 
散 列表 中 查找 一 个 元 素 的 时 间 与 链表 中 查找 的 时 间 相 同 ， 达 到 了 8B(n)。 然 而 在 实际 应 用 中 ， 散 列 
查找 的 性 能 是 极 好 的 。 在 一 些 合理 的 假设 下 ， 在 散 列表 中 查找 一 个 元 素 的 平均 时 间 是 OCD 。 

散 列表 是 普通 数组 概念 的 推广 。 由 于 对 普通 数组 可 以 直接 寻 址 ， 使 得 能 在 O(1) 时 间 内 访问 
数组 中 的 任意 位 置 。11. 1 节 将 更 详细 地 讨论 直接 寻 址 。 如 果 存 储 空间 人 允许， 我 们 可 以 提供 一 个 
数组 ， 为 每 个 可 能 的 关键 字 保留 一 个 位 置 ， 以 利用 直接 寻 址 技术 的 优势 。 

当 实际 存储 的 关键 字数 目 比 全 部 的 可 能 关键 字 总 数 要 小 时 ， 采 用 散 列表 就 成 为 直接 数组 寻 
址 的 一 种 有 效 蔡 代 ， 因 为 散 列表 使 用 一 个 长 度 与 实际 存储 的 关键 字数 目 成 比例 的 数组 来 存储 。 
在 散 列表 中 ， 不 是 直接 把 关键 字 作 为 数组 的 下 标 ， 而 是 根据 关键 字 计 算出 相应 的 下 标 。11. 2 节 
介绍 这 种 技术 的 主要 思想 ， 着 重 介绍 通过 “链接 ”(chaining) 方 法 解决 “冲突 ”(collision)。 所 谓 冲 
突 ， 就 是 指 多 个 关键 字 映 射 到 数组 的 同一 个 下 标 。11. 3 节 介 绍 如 何 利 用 散 列 函数 根据 关键 字 计 
算出 数组 的 下 标 。 男 外 ， 还 将 介绍 和 分 析 散 列 技术 的 几 种 变形 。11. 4 节 介绍 “开放 寻 址 法 ”open 
addressing)， 它 是 处 理 冲 突 的 男 一 种 方法 。 散 列 是 一 种 极其 有 效 和 实用 的 技术 : 基本 的 字典 操作 
平均 只 需要 O(1) 的 时 间 。11. 5 节 介 绍 当 关键 字 集合 是 静态 存储 ( 即 关键 字 集 合 一 旦 存 人 后 就 不 
再 改变 ) 时 ,“ 完 全 散 列 ”(perfect hashing) 如 何 能 够 在 O(1) 的 最 坏 情况 时 间 内 完成 关键 字 查 找 。 


11. 1 直接 寻 址 表 


当 关键 字 的 全 域 U 比较 小 时 ， 直 接 寻 址 是 一 种 简单 而 有 效 的 技术 。 假 设 某 应 用 要 用 到 一 个 
动态 集合 ， 其 中 每 个 元 素 都 是 取 自 于 全 域 吕 =={0，1，…，m 一 1) 中 的 一 个 关键 字 ， 这 里 m 不 是 
一 个 很 大 的 数 。 另 外 ,假设 没有 两 个 元 素 具有 相同 的 关键 字 。 

为 表示 动态 集合 ， 我 们 用 一 个 数组 ， 或 称 为 直接 寻 址 表 (directaddress table) ， 记 为 TLO..m—1]. 
其 中 每 个 位 置 ， 或 称 为 模 (slot)， 对 应 全 域 U 中 的 一 个 关键 字 。 图 11-1 描绘 了 该 方法 。 模 指向 
集合 中 一 个 关键 字 为 & 的 元 素 。 如 果 该 集合 中 没有 关键 字 为 的 元 素 ， 则 TL&j]= NIL。 








图 11-1 如 何 用 一 个 直接 寻 址 表 全 来 实现 动态 集合 。 全 域 U 一 {0，1，…，9} 中 的 每 个 关键 
字 都 对 应 于 表 中 的 一 个 下 标 值 。 由 实际 关键 字 构 成 的 集合 K 二 {2，3，5，8} 决 定 表 
中 的 一 些 槽 ， 这 些 槽 包含 指向 元 素 的 指针 。 而 另 一 些 槽 包含 NIL， 用 深 阴影 表示 
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几 个 字典 操作 实现 起 来 比较 简单 : 


DIRECT-ADDRESS-SEARCH(T,&) 
1 return T[k] 


DIRECT-ADDRESS-INSERT(T, x) 
1 Tla.keyJ=x 


DIRECT-ADDRESS-DELETE(T, x) 
1 TLz. key ]=NIL 


上 述 的 每 一 个 操作 都 只 需 O(1) 时 间 。 

对 于 某 些 应 用 ， 直 接 寻 址 表 本 身 就 可 以 存放 动态 集合 中 的 元 素 。 也 就 是 说 ， 并 不 把 每 个 元 素 
的 关键 字 及 其 卫星 数据 都 放 在 直接 寻 址 表 外 部 的 一 个 对 象 中 ， 再 由 表 中 某 个 槽 的 指针 指向 该 对 
象 ， 而 是 直接 把 该 对 象 存放 在 表 的 槽 中 ， 从 而 节省 了 空间 。 我 们 使 用 对 象 内 的 一 个 特殊 关键 字 来 
表明 该 槽 为 空 槽 。 而 且 ， 通 常 不 必 存 储 该 对 象 的 关键 字 属 性 ， 因 为 如 果 知 道 一 个 对 象 在 表 中 的 下 
标 ， 就 可 以 得 到 它 的 关键 字 。 然 而 ， 如 果 不 存 储 关键 字 ， 我 们 就 必须 有 某 种 方法 来 确定 某 个 槽 是 
BAZ 


练习 

11.1-1 假设 一 动态 集合 S 用 一 个 长 度 为 m 的 直接 寻 址 表 工 来 表示 。 请 给 出 一 个 查找 S 中 最 大 
元 素 的 过 程 。 你 所 给 的 过 程 在 最 坏 情况 下 的 运行 时 间 是 多 少 ? 

11.1-2 位 向 量 (bit vector) 是 一 个 仅 包含 0 和 1 的 数组 。 长 度 为 m 的 位 向 量 所 占 空间 要 比 包含 
个 指针 的 数组 少 得 多 。 请 说 明 如 何 用 一 个 位 向 量 来 表示 一 个 包含 不 同 元 素 ( 无 卫星 数据 ) 
的 动态 集合 。 字 典 操作 的 运行 时 间 应 为 OC). 

11.1-3 ” 试 说 明 如 何 实现 一 个 直接 寻 址 表 ， 表 中 各 元 素 的 关键 字 不 必 都 不 相同 ， 且 各 元 素 可 以 有 
卫星 数据 。 所 有 三 种 字典 操作 (INSERT、DELETE 和 SEARCH) 的 运行 时 间 应 为 O). 
(不 要 忘记 DELETE 要 处 理 的 是 被 删除 对 象 的 指针 变量 ， 而 不 是 关键 字 。) 

*11.1-4 我 们 和 希望 在 一 个 非常 大 的 数组 上 ， 通 过 利用 直接 寻 址 的 方式 来 实现 一 个 字典 。 开 始 时 ， 
该 数组 中 可 能 包含 一 些 无 用 信息 ， 但 要 对 整个 数组 进行 初始 化 是 不 太 实 际 的 ， 因 为 该 数 
组 的 规模 太 大 。 请 给 出 在 大 数组 上 实现 直接 寻 址 字典 的 方案 。 每 个 存储 对 象 占 用 O(1) 
空间 ，SEARCH、INSERT 和 DELETE 操作 的 时 间 均 为 OA); 并 且 对 数据 结构 初始 化 
的 时 间 为 O(1)。( 提 示 : 可 以 利用 一 个 附加 数组 ， 处 理 方 式 类 似 于 栈 ， 其 大 小 等 于 实际 
存储 在 字典 中 的 关键 字数 目 ， 以 帮助 确定 大 数组 中 某 个 给 定 的 项 是 否 有 效 。) 


11.2 散 列 表 


直接 寻 址 技术 的 缺点 是 非常 明显 的 :如果 全 域 口 很 大 ， 则 在 一 台 标 准 的 计算 机 可 用 内 存 容 
量 中 ， 要 存储 大 小 为 1U| 的 一 张 表 工 也 许 不 太 实际 ， 其 至 是 不 可 能 的 。 还 有 ， 实 际 存 储 的 关键 
FRA K 相对 口 来 说 可 能 很 小 ， 使 得 分 配给 工 的 大 部 分 空间 都 将 浪费 掉 。 

当 存 储 在 字典 中 的 关键 字 集合 K 比 所 有 可 能 的 关键 字 的 全 域 避 要 小 许多 时 ， 散 列表 需要 的 
存储 空间 要 比 直 接 寻 址 表 少 得 多 。 特 别 地 ， 我 们 能 将 散 列表 的 存储 需求 降 至 @(| 开 | )， 同 时 散 列 
表 中 查找 一 个 元 素 的 优势 仍 得 到 保持 ， 只 需要 O(1) 的 时 间 。 问 题 是 这 个 界 是 针对 平均 情况 时 间 
的 ， 而 对 直接 寻 址 来 说 ， 它 是 适用 于 最 坏 情 况 时 间 的 。 

在 直接 寻 址 方式 下 ， 具 有 关键 字 & 的 元 素 被 存放 在 槽 & 中 。 在 散 列 方式 下 ， 该 元 素 存放 在 模 
ACR) A; 即 利用 散 列 函数 (hash function)h， 由 关键 字 计 算出 槽 的 位 置 。 这 里 ， 函 数 有 将 关键 字 
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KHAR U 映射 到 散 列表 (hash table) TCO. .mm 一 菇 的 槽 位 上 : 
h:U -> {0,1,°.%,m— 1} 

这 里 散 列表 的 大 小 m 一 般 要 比 |U| 小 得 多 。 我 们 可 以 说 一 个 具有 关键 字 & 的 元 素 被 散 列 到 模 

h(k) 上 ， 也 可 以 说 有 (8) 是 关键 字 的 散 列 值 。 图 11-2 描述 了 这 个 基本 方法 。 散 列 函数 缩小 了 数 

组 下 标的 范围 ， 即 减 小 了 数组 的 大 小 ， 使 其 由 |U| 减 小 为 m。 





图 11-2 用 一 个 散 列 函数 将 关键 字 映 射 到 散 列 表 的 槽 中， 关键 字 
ks 和 ks 映射 到 同一 个 槽 中 ， 因 而 产生 了 冲突 


这 里 存在 一 个 问题 : 两 个 关键 字 可 能 映射 到 同一 个 槽 中 。 我 们 称 这 种 情形 为 冲突 (collision) 。 
幸运 的 是 ， 我 们 能 找到 有 效 的 方法 来 解决 冲突 。 

当然 ， 理 想 的 解决 方法 是 避免 所 有 的 冲突 。 我 们 可 以 试图 选择 一 个 合适 的 散 列 函数 及 来 做 到 
这 一 点 。 一 个 想法 就 是 使 hh 尽 可 能 的 “随机 ”， 从 而 避免 冲突 或 者 使 冲突 的 次 数 最 小 化 。 实 际 上 ， 
术语 “ 散 列 ” 原 意 就 是 随机 混杂 和 拼凑 ， 即 体现 了 这 种 思想 。( 当 然 ， 一 个 散 列 函数 h 必须 是 确定 
的 ， 因 为 某 一 个 给 定 的 输入 & 应 始终 产生 相同 的 结果 h(k)。) 但 是 ， 由 于 |U| 二 m， 故 至 少 有 两 个 
关键 字 其 散 列 值 相 同 ， 所 以 要 想 完全 避免 冲突 是 不 可 能 的 。 因 此 ， 我们 一 方面 可 以 通过 精心 设计 
的 散 列 函数 来 尽量 减少 冲突 的 次 数 ， 另 一 方面 仍 需要 有 解决 可 能 出 现 冲突 的 办 法 。 

本 节余 下 的 部 分 要 介绍 一 种 最 简单 的 冲突 解决 方法 ， 称 为 链接 法 (chaining)。11.4 节 还 要 介 
绍 另 一 种 冲突 解决 方法 ， 称 为 开放 寻 址 法 (open addressing) 。 

通过 链接 法 解决 冲突 

在 链接 法 中 ， 把 散 列 到 同一 槽 中 的 所 有 元 素 都 放 在 一 个 链表 中 ， 如 图 11-3 所 示 。 覃 7 中 有 
一 个 指针 ， 它 指向 存储 所 有 散 列 到 7 的 元 素 的 链表 的 表 头 ; 如 果 不 存在 这 样 的 元 素 ， 则 槽 7 中 
为 NIL. 

在 采用 链接 法 解决 冲突 后 ， 散 列表 工 上 的 字典 操作 就 很 容易 实现 。 

CHAINED-HASH-INSERT(T, x) 

1 insert x at the head of list T[h(z. key) ] 


CHAINED-HASH-SEARCH(T,&) 
1 search for an element with key & in list T[A(A) ] 


CHAINED-HASH-DELETE(T, x) 
1 delete x from the list TLA(x. key) ] 


插入 操作 的 最 坏 情况 运行 时 间 为 0(1)。 插 入 过 程 在 某 种 程度 上 要 快 一 些 ， 因 为 假设 待 插 入 


的 元 素 x 没有 出 现在 表 中 ; 如 果 需 要 ， 可 以 在 插入 前 执行 一 个 搜索 来 检查 这 个 假设 ( 需 付出 额外 
代价 )。 查 找 操作 的 最 坏 情况 运行 时 间 与 表 的 长 度 成 正比 。 下 面 还 将 对 此 操作 进行 更 详细 的 分 析 。 
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如 图 11-3 所 示 ， 如 果 散 列表 中 的 链表 是 双向 链接 的 ， 则 删除 一 个 元 素 z 的 操作 可 以 在 O(1) 时 间 
内 完成 。( 注 意 到 ，CHAINED-HASH-DELETE 以 元 素 z 而 不 是 它 的 关键 字 & 作为 输入 ， 所 以 无 
需 先 搜索 z。 如 果 散 列表 支持 删除 操作 ， 则 为 了 能 够 更 快 地 删除 某 一 元 素 ， 应 该 将 其 链表 设计 为 
双向 链接 的 。 如 果 表 是 单 链接 的 ， 则 为 了 删除 元 素 z， 我 们 首先 必须 在 表 TCh. key) ] 中 找到 元 
素 xz， 然后 通过 更 改 r MIA H nert 属性 ， 把 工 从 链表 中 删除 。 在 单 链表 情况 下 ， 删 除 和 查找 
操作 的 渐 近 运行 时 间 相同 。) 





图 11-3 通过 链接 法 解决 冲突 。 每 个 散 列表 槽 TLj] 都 包含 一 个 链表 ， 其 中 所 有 关键 字 的 散 列 值 
均 为 j。 例如，h(k1) 二 h(k)， 还 有 hlks) 二 h(k;) 二 h(ks)。 这 个 链表 可 能 是 单 链表 ， 
也 可 能 是 双向 链表 ; 图 中 链表 画 为 双 链 ， 因 为 删除 操作 比较 快 

链接 法 散 列 的 分 析 

采用 链接 法 后 散 列 的 性 能 怎么 样 呢 ? 特别 地 ， 要 查找 一 个 具有 给 定 关键 字 的 元 素 需 要 多 长 
时 间 呢 ? 

给 定 一 个 能 存放 nn 个 元 素 的 、 具 有 闷 个 槽 位 的 散 列 表 工 ， 定 义工 的 装载 因子 (load factor)a 
为 n/m， 即 一 个 链 的 平均 存储 元 素数 。 我 们 的 分 析 将 借助 a 来 说 明 ，a 可 以 小 于 、 等 于 或 大 于 1。 

用 链接 法 散 列 的 最 坏 情况 性 能 很 差 : 所 有 的 ”个 关键 字 都 散 列 到 同一 个 槽 中 ， 从 而 产生 出 一 
个 长 度 为 n 的 链表 。 这 时 ， 最 坏 情况 下 查找 的 时 间 为 @(z) ， 再 加 上 计算 散 列 函数 的 时 间 ， 如 此 
就 和 用 一 个 链表 来 链接 所 有 的 元 素 差不多 了 。 显 然 ， 并 不 是 因为 散 列 表 的 最 坏 情况 性 能 差 ， 就 不 
AE. 11.5 节 中 介绍 的 完全 散 列 能 够 在 关键 字 集 合 为 静态 时 ， 提 供 比较 好 的 最 坏 情 况 性 能 。) 

散 列 方法 的 平均 性 能 依赖 于 所 选取 的 散 列 函 数 h， 将 所 有 的 关键 字 集 合 分 布 在 m 个 槽 位 上 的 
均匀 程度 。11. 3 节 将 讨论 这 些 问题 ， 现 在 我 们 先 假定 任何 一 个 给 定 元 素 等 可 能 地 散 列 到 m AS 
中 的 任何 一 个 ， 且 与 其 他 元 素 被 散 列 到 什么 位 置 上 无 关 。 我 们 称 这 个 假设 为 简单 均匀 散 列 
(simple uniform hashing) 。 

对 于 7 二 0，1，…，m 一 1， 列 表 TLi] 的 长 度 用 nn 表示 ， 于 是 有 

n = m +m +- F nma Guy 

FE n 的 期 望 值 为 Eln |=a=n/m, 

假定 可 以 在 O(1) 时 间 内 计算 出 散 列 值 h(x)， 从 而 查找 关键 字 为 & 的 元 素 的 时 间 线 性 地 依赖 
于 表 TAC) IKE wp 。 先 不 考虑 计算 散 列 函数 和 访问 模 (8) 的 O(1) 时 间 ， 我 们 来 看 看 查找 
算法 查找 元 素 的 期 望 数 ， 即 为 比较 元 素 的 关键 字 是 否 为 而 检查 的 表 T[h(&)] 中 的 元 素数 。 分 两 
种 情况 来 考虑 。 在 第 一 种 情况 中 ， 查 找 不 成 功 : 表 中 没有 一 个 元 素 的 关键 字 为 k。 在 第 二 种 情况 
中 ， 成 功 地 查找 到 关键 字 为 的 元 素 。 

定理 11.1 在 简单 均匀 散 列 的 假设 下 ， 对 于 用 链接 法 解决 冲突 的 散 列 表 ， 一 次 不 成 功 查找 
的 平均 时 间 为 OC. +a). 

证 明 在 简单 均匀 散 列 的 假设 下 ， 任 何 尚未 被 存储 在 表 中 的 关键 字 & 都 等 可 能 地 被 散 列 到 m 
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个 槽 中 的 任何 一 个 。 因 而 ， 当 查找 一 个 关键 字 & 时， 在 不 成 功 的 情况 下 ， 查 找 的 期 望 时 间 就 是 查 
找 至 链表 TLh(k)] 末 尾 的 期 望 时 间 ， 这 一 时 间 的 期 望 长 度 为 Emo] =a FE -KERRIE 
找平 均 要 检查 a 个 元 素 ， 并且 所 需要 的 总 时 间 ( 包 括 计算 h(k) 的 时 间 ) 为 @(1 十 a)。 a 

对 于 成 功 的 查找 来 说 ， 情 况 略 有 不 同 ， 这 是 因为 每 个 链表 并 不 是 等 可 能 地 被 查找 到 的 。 替 
代 的 是 ， 某 个 链表 被 查找 到 的 概率 与 它 所 包含 的 元 素数 成 正比 。 然 而 ， 期 望 的 查找 时 间 仍然 是 
Oa). 

定理 11.2 在 简单 均匀 散 列 的 假设 下 ， 对 于 用 链接 法 解决 冲突 的 散 列 表 ， 一 次 成 功 查 找 所 
需 的 平均 时 间 为 9(1 十 a)。 

证 明 ”假定 要 查找 的 元 素 是 表 中 存放 的 个 元 素 中 任何 一 个 ， 且 是 等 可 能 的 。 在 对 元 素 z 的 
一 次 成 功 查找 中 ， 所 检查 的 元 素数 就 是 x 所 在 的 链表 中 zx 前面 的 元 素数 多 1。 在 该 链表 中 ， 因 为 
新 的 元 素 都 是 在 表 头 插入 的 ， 所 以 出 现在 z 之 前 的 元 素 都 是 在 z 之 后 插入 的 。 为 了 确定 所 检查 
元 素 的 期 望 数目 ， 对 x 所 在 的 链表 ， 在 之 后 插入 到 表 中 的 期 望 元 素数 加 1， 再 对 表 中 的 ”个 元 
Rc WEY. Kx, 表示 插入 到 表 中 的 第 i TIER, i 二 1，2，…，n， 并 设 二 z. key。 对 关键 字 
ki 和 k;， 定 义 指示 器 随机 变量 X; SHARD 一 h())。 在 简单 均匀 散 列 的 假设 下 ， 有 Pr{h(k) = 
h( 扣 )) 二 1/m， 从 而 根据 引 理 5. 1， 有 ELXi] 二 1/m。 于 是 ,在 一 次 成 功 的 查找 中 ， 所 检查 元 素 
的 期 望 数 目 为 
EL (1+ UX) = AORE) (由 期 望 的 线性 性 ) 


i ob 

hs n iz j= 
A 
n 


: ae es Ts l 
PUER te 5 





i=1 





= oe PIL >) =14+4(n°—22FD) (由 等 式 (A.1)) 
J 





= m R a a 
alai 2m is 2n 


因此 ， 一 次 成 功 的 查找 所 需要 的 全 部 时 间 ( 包 括 计算 散 列 函数 的 时 间 ) 为 86(2 十 a/2 一 a/2n) = 
(1 十 c) 。 a 

上 面 的 分 析 意 味 着 什么 呢 ? 如 果 散 列表 中 模 数 至 少 与 表 中 的 元 素数 成 正比 ， 则 有 n=O), 
从 而 a 二 n/m 二 OCm)/m 王 O(1)。 所 以 ， 查 找 操作 平均 需要 常数 时 间 。 当 链表 采用 双向 链接 时 ， 
插入 操作 在 最 坏 情况 下 需要 O(1) 时 间 ， 删 除 操作 最 坏 情况 下 也 需要 O(1) 时 间 ， 因 而 ， 全 部 的 字 
典 操作 平均 情况 下 都 可 以 在 O(1) 时 间 内 完成 。 


练习 

11.2-1 假设 用 一 个 散 列 函数 hh 将 n 个 不 同 的 关键 字 散 列 到 一 个 长 度 为 m 的 数组 T 中 。 假 设 采 用 
的 是 简单 均匀 散 列 ， 那 么 期 望 的 冲突 数 是 多 少 ? EE, RAU, L: RAL, HA) 一 
h(7)} 基 的 期 望 值 是 多 少 ? 

11.2-2 对 于 一 个 用 链接 法 解决 冲突 的 散 列表 ， 说 明 将 关键 字 5,28,19,15,20,33,12,17,10 插入 
到 该 表 中 的 过 程 。 设 该 表 中 有 9 个 槽 位 ， 并 设 其 散 列 函数 为 h(k) =k mod9, 

11. 2-3 Marley 教授 做 了 这 样 一 个 假设 ， 即 如 果 将 链 模 式 改 动 一 下 ， 使 得 每 个 链表 都 能 保持 已 排 
好 序 的 顺序 ， 散 列 的 性 能 就 可 以 有 较 大 的 提高 。Marley 教授 的 改动 对 成 功 查 找 、 不 成 功 
查找 、 插 入 和 删除 操作 的 运行 时 间 有 何 影响 ? 

11.2-4 说 明 在 散 列 表 内 部 ， 如 何 通过 将 所 有 未 占用 的 槽 位 链接 成 一 个 自由 链表 ， 来 分 配 和 释放 
元 素 所 占 的 存储 空间 。 假 定 一 个 槽 位 可 以 存储 一 个 标志 、 一 个 元 素 加 上 一 个 或 两 个 指 
针 。 所 有 的 字典 和 自由 链表 操作 均 应 具有 O(1) 的 期 望 运行 时 间 。 该 自由 链表 需要 是 双 
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向 链表 吗 ? 或 者 ， 是 不 是 单 链表 就 足够 了 呢 ? 

11.2-5 假设 将 一 个 具有 ?个 关键 字 的 集合 存储 到 一 个 大 小 为 mm 的 散 列 表 中 。 试 说 明 如 果 这 些 关 
键 字 均 源 于 全 域 U， 且 1U|>zm， 则 避 中 还 有 一 个 大 小 为 ”的 子 集 ， 其 由 散 列 到 同一 本 
位 中 的 所 有 关键 字 构成 ， 使 得 链接 法 散 列 的 查找 时 间 最 坏 情况 下 为 @(n)。 

11.2-6 ”假设 将 个 关键 字 存 储 到 一 个 大 小 为 m 且 通 过 链接 法 解决 冲突 的 散 列 表 中 ， 同 时 已 知 每 
条 链 的 长 度 ， 包 括 其 中 最 长 链 的 长 度 工 ， 请 描述 从 散 列 表 的 所 有 关键 字 中 均匀 随机 地 选 
择 某 一 元 素 并 在 O(L。 (1 十 1/a) ) 的 期 望 时 间 内 返回 该 关键 字 的 过 程 。 


11.3 散 列 函数 

本 节 将 讨论 一 些 关于 如 何 设计 好 的 散 列 函数 的 问题 ， 并 介绍 三 种 具体 方法 。 其 中 的 两 种 方 
法 (用 除法 进行 散 列 和 用 乘法 进行 散 列 ) 本 质 上 属于 启发 式 方 法 ， 而 第 三 种 方法 (全 域 散 列 ) 则 利用 
了 随机 技术 来 提供 可 证 明 的 良好 性 能 。 

好 的 散 列 函数 的 特点 

一 个 好 的 散 列 函数 应 (近似 地 ) 满 足 简 单 均匀 散 列 假设 : 每 个 关键 字 都 被 等 可 能 地 散 列 到 m 
个 槽 位 中 的 任何 一 个 ， 并 与 其 他 关键 字 已 散 列 到 哪个 槽 位 无 关 。 遗 憾 的 是 ， 一 般 无 法 检查 这 一 条 
件 是 否 成 立 ， 因 为 很 少 能 知道 关键 字 散 列 所 满足 的 概率 分 布 ， 而 且 各 关键 字 可 能 并 不 是 完全 独 
立 的 。 

有 时 ， 我 们 知道 关键 字 的 概率 分 布 。 例 如 ， 如 果 各 关键 字 都 是 随机 的 实数 &， 它 们 独立 均匀 
地 分 布 于 0 委 &<1 范围 中 ， 那 么 散 列 函数 

h(k) = |km] 
就 能 满足 简单 均匀 散 列 的 假设 条 件 。 

在 实际 应 用 中 ， 常 常 可 以 运用 启发 式 方法 来 构造 性 能 好 的 散 列 函数 。 设 计 过 程 中 ， 可 以 利用 
关键 字 分 布 的 有 用 信息 。 例 如 ， 在 一 个 编译 器 的 符号 表 中 ， 关 键 字 都 是 字符 串 ， 表 示 程 序 中 的 标 
识 符 。 一 些 很 相近 的 符号 经 常会 出 现在 同一 个 程序 中 ， 如 pt 和 pts。 好 的 散 列 函数 应 能 将 这 些 
相近 符号 散 列 到 相同 槽 中 的 可 能 性 最 小 化 。 

一 种 好 的 方法 导出 的 散 列 值 ， 在 某 种 程度 上 应 独立 于 数据 可 能 存在 的 任何 模式 。 例 如 ,“ 除 
法 散 列 ”(11. 3. 1 节 中 要 介绍 ) 用 一 个 特定 的 素数 来 除 所 给 的 关键 字 ， 所 得 的 余数 即 为 该 关键 字 的 
散 列 值 。 假 定 所 选择 的 素数 与 关键 字 分 布 中 的 任何 模式 都 是 无 关 的 ， 这 种 方法 常常 可 以 给 出 好 
的 结果 。 

最 后 ， 注 意 到 散 列 函数 的 某 些 应 用 可 能 会 要 求 比 简单 均匀 散 列 更 强 的 性 质 。 例 如 ， 可 能 希望 
某 些 很 近似 的 关键 字 具 有 截然 不 同 的 散 列 值 (使 用 11.4 节 中 定义 的 线性 探查 技术 时 ， 这 一 性 质 特 
别 有 用 )。11. 3. 3 节 中 将 介绍 的 全 域 散 列 (universal hashing) 通 常 能 够 提供 这 些 性 质 。 

将 关键 字 转 换 为 自然 数 

多 数 散 列 函 数 都 假定 关键 字 的 全 域 为 自然 数 集 N 王 {0，1，2，…}。 因 此 ， 如 果 所 给 关键 字 不 
是 自然 数 ， 就 需要 找到 一 种 方法 来 将 它们 转换 为 自然 数 。 例 如 ， 一 个 字符 串 可 以 被 转换 为 按 适 当 
的 基数 符号 表示 的 整数 。 这 样 ， 就 可 以 将 标识 符 pt 转换 为 十 进 制 整数 对 (112，116)， 这 是 因为 
在 ASCI 字符 集中 ，p 二 112，t 二 116。 然 后 ， 以 128 为 基数 来 表示 ，pt 即 为 (112X128) 十 116= 
14 452。 在 一 特定 的 应 用 场合 ， 通 常 还 能 设计 出 其 他 类 似 的 方法 ， 将 每 个 关键 字 转 换 为 一 个 (可 
能 是 很 大 的 ) 自然数 。 在 后 面 的 内 容 中 ， 假 定 所 给 的 关键 字 都 是 自然 数 。 


11.3.1 除法 散 列 法 
在 用 来 设计 散 列 函数 的 除法 散 列 法 中 ， 通 过 取 除 以 m 的 余数 ， 将 关键 字 & 映射 到 xm 个 模 
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中 的 某 一 个 上 ， 即 散 列 函数 为 : 
h(k) = k modm 
例如 ， 如 果 散 列表 的 大 小 为 m= 二 12， 所 给 关键 字 二 100， 则 A 二 4。 由 于 只 需 做 一 次 除法 操 
作 ， 所 以 除法 散 列 法 是 非常 快 的 。 
当 应 用 除法 散 列 法 时 ， 要 避免 选择 m 的 某 些 值 。 例 如 ，m 不 应 为 2 Ke, AA MRR m=2?, 
则 (8) 就 是 的 p 个 最 低位 数字 。 除 非 已 知 各 种 最 低 p 位 的 排列 形式 为 等 可 能 的 ， 否 则 在 设计 
散 列 函数 时 ， 最 好 考虑 关键 字 的 所 有 位 。 练 习 11. 3-3 要 求 读者 证 明 ， 当 是 一 个 按 基数 2* 表示 
的 字符 串 时 ， 选 m 二 2* 一 1 可 能 是 一 个 糟糕 的 选择 ， 因 为 排列 的 各 字符 并 不 会 改变 其 散 列 值 。 
一 个 不 太 接 近 2 的 整数 军 的 素数 ， 常 常 是 m 的 一 个 较 好 的 选择 。 例 如 ， 假 定 我 们 要 分 配 一 
张 散 列 表 并 用 链接 法 解决 冲突 ， 表 中 大 约 要 存放 n=2 000 个 字符 串 ， 其 中 每 个 字符 有 8 位 。 如 
果 我 们 不 介意 一 次 不 成 功 的 查找 需要 平均 检查 3 个 元 素 ， 这 样 分 配 散 列表 的 大 小 为 m=701, H 
择 701 这 个 数 的 原因 是 ， 它 是 一 个 接近 2 000/3 但 又 不 接近 2 的 任何 次 寡 的 素数 。 把 每 个 关键 字 
k 视 为 一 个 整数 ， 则 散 列 函数 如 下 : 
h(k) = kmod701 


11.3.2 乘法 散 列 法 


构造 散 列 函数 的 乘法 散 列 法 包含 两 个 步骤 。 第 一 步 ， 用 关键 字 & 乘 上 常数 A(0<A<1)， 并 

提取 RA 的 小 数 部 分 。 第 二 步 ， 用 mx 乘 以 这 个 值 ， 再 向 下 取 整 。 总 之 ， 散 列 函 数 为 : 
h(k) = |m(RA mod]1) | 

这 里 “kA mod1” 是 取 RA 的 小 数 部 分 ， 即 kA— LRA]. 

乘法 散 列 法 的 一 个 优点 是 对 m 的 选择 不 是 特别 关键 ， 一 般 选 择 它 为 2 SESE (m=2?, p 
为 某 个 整数 )， 这 是 因为 我 们 可 以 在 大 多 数 计算 
机 上 ， 按 下 面 所 示 方 法 较 容易 地 实现 散 列 函 数 。 
假设 某 计算 机 的 字 长 为 ww 位 ， 而 正好 可 用 一 个 
单字 表示 。 限 制 A 为 形 如 s/2” 的 一 个 分 数 ， 其 x 于 
中 是 一 个 取 自 0<s<2" 的 整数 。 参 见 图 11-4， p 
先 用 由 位 整数 * 一 A. 2" 乘 上 &， 其 结果 是 一 个 
2w fii iÈ r12” Tos 这 里 rı 为 乘积 的 高 位 字 ， 
70 为 乘积 的 低位 字 。 所 求 的 p 位 散 列 值 中 9 包含 图 11-4 散 列 的 乘法 方法 。 关键 字 $ 的 w 位 表 








T ro 的 个 最 高 有 效 位 。 示 乘 上 ;二 A， 2* 的 w 位 值 。 在 乘积 的 
虽然 这 个 方法 对 任何 的 A 值 都 适用 ,但 对 低 多 位 中 ，p 个 最 高 位 构成 了 所 需 的 
某 些 值 效 果 更 好 。 最 佳 的 选择 与 待 散 列 的 数据 的 POMEL A Ck) 
特征 有 关 。Knuth[211] 认 为 
Ax (/5—1)/2 = 0.6180339887... (11. 2) 
是 个 比较 理想 的 值 。 


作为 一 个 例子 ， 假 设 R=123 456, p=14, m=2"=16 384, H w= 二 32。 依 据 Knuth 的 建议 ， 
A 为 形 如 /22 的 分 数 ， 它 与 5 一 1)/2 最 为 接近 ， 于 是 A=2 654 435 769/22 。 那 么 , kXs= 
327 706 022 297 664=(76 300X2”)+17 612 864, MMA rı=76 300 Al ro =17 612 864, ro 的 14 
个 最 高 有 效 位 产生 了 散 列 值 hk) = 67. 


”11. 3. 3 全域 散 列 法 


如 果 让 一 个 恶意 的 对 手 来 针对 某 个 特定 的 散 列 函 数 选择 要 散 列 的 关键 字 ， 那 么 他 会 将 个 关 
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键 字 全 部 散 列 到 同一 个 槽 中 ， 使 得 平均 的 检索 时 间 为 9(z) 。 任 何 一 个 特定 的 散 列 函数 都 可 能 出 
现 这 种 令 人 丸 怖 的 最 坏 情 况 。 唯 一 有 效 的 改进 方法 是 随机 地 选择 散 列 函数 ， 使 之 独立 于 要 存储 
的 关键 字 。 这 种 方法 称 为 全 域 散 列 (universal hashing)， 不 管 对 手 选择 了 怎么 样 的 关键 字 ， 其 平 
均 性 能 都 很 好 。 

全 域 散 列 法 在 执行 开始 时 ， 就 从 一 组 精心 设计 的 函数 中 ， 随 机 地 选择 一 个 作为 散 列 函数 。 就 
像 在 快速 排序 中 一 样 ， 随 机 化 保证 了 没有 哪 一 种 输入 会 始终 导致 最 坏 情 况 性 能 。 因 为 随机 地 选 
择 散 列 函 数 ， 算 法 在 每 一 次 执行 时 都 会 有 所 不 同 ， 甚 至 对 于 相同 的 输入 都 会 如 此 。 这 样 就 可 以 确 
保 对 于 任何 输入 ， 算 法 都 具有 较 好 的 平均 情况 性 能 。 再 回 到 编译 器 的 符号 表 的 例子 ， 在 全 域 散 列 
方法 中 ， 可 以 发 现 程序 员 对 标识 符 的 选择 就 不 会 总 是 导致 较 差 的 散 列 性 能 了 。 仅 当 编 译 器 选择 
了 一 个 随机 的 散 列 函数 ， 使 得 标识 符 的 散 列 效果 较 差 时 ， 才 会 出 现 较 差 的 性 能 。 但 出 现 这 种 情况 
的 概率 很 小 ， 并 且 这 一 概率 对 任何 相同 大 小 的 标识 符 集 来 说 都 是 一 样 的 。 

设 为 一 组 有 限 散 列 函 数 ， 它 将 给 定 的 关键 字 全 域 口 映射 到 {0，1，…，m 一 1} 中 。 这 样 的 
一 个 函数 组 称 为 全 域 的 (universal) ， 如 果 对 每 一 对 不 同 的 关键 字 k, LEU, WEARS R 
MRR hE 的 个 数 至 多 为 | | /mm。 换 句 话 说， 如 果 从 无 中 随机 地 选择 一 个 散 列 函数 ， 当 关键 字 
& 天 ! 时 ， 两 者 发 生 冲 突 的 概率 不 大 于 1/m， 这 也 正好 是 从 集合 {0，1，…，m 一 1) 中 独立 地 随机 
选择 ACA) Fl DO 时 发 生 冲 突 的 概率 。 

下 面 的 定理 表明 ， 人 全域 散 列 函 数 类 的 平均 性 态 是 比较 好 的 。 注 意 n 表示 链表 T[ 引 的 长 度 。 

定理 11.3 如 果 几 选 自 一 组 全 域 散 列 函 数 ， 将 nn 个 关键 字 散 列 到 一 个 大 小 为 m RT F, 
并 用 链接 法 解决 冲突 。 如 果 关 键 字 不 在 表 中 ， 则 上 被 散 列 至 其 中 的 链表 的 期 望 长 度 EL ] 至 
多 为 a 二 n/m。 如 果 关 键 字 在 表 中 ， 则 包含 关键 字 上 的 链表 的 期 望 长 度 Elmo ] 至 多 为 1 十 a。 

证 明 注意 到 ， 此 处 的 期 望 值 与 散 列 函数 的 选择 有 关 ， 且 不 依赖 于 任何 有 关 关 键 字 分 布 的 
假设 。 对 于 每 对 不 同 的 关键 字 k 和 i， 定 义 指示 器 随机 变量 Xu 二 I{h(k) 二 (7)}。 因 为 由 全 域 散 
列 函 数 的 定义 ， 一 对 关键 字 发 生 冲 突 的 概率 至 多 为 1/m， 我 们 有 Pr{h(k) 二 (1)) 达 1/m。 根 据 引 
理 5.1， 所 以 有 ELXuw J<1/m. 

接 下 来 ， 对 每 个 关键 字 &， 定 义 随 机 变量 区 ， 它 表示 与 & 散 列 到 同一 槽 位 中 的 非 & 的 其 他 关 
键 字 的 数目 。 于 是 ， 有 


从 而 ,有 
EY | = EL ZX 一 2 ELXu] (根据 期 望 的 线性 性 ) 


1 
ar 
余下 部 分 的 证 明 按 关键 字 & 是 否 在 表 工 中 ,分 情况 讨论 : 
。 如 果 RET， 则 mo =Y, 并 且 | (2: LETH lAk}| =n. FEE, EL ma ]=ELY, <n/m=a. 
。 如 果 RET， 那 么 由 于 关键 字 & 出 现在 链表 TLh(&k)j] 中 ， 且 计数 Y, 中 并 没有 包括 关键 字 
k, AMA my =Y, +1, FHE |(: LET BIA} |=n—-1, TÆ Elms J=ELY,J+1< 
(n—1)/m+1=1+a—1/m<1+a. a 
下 面 的 推论 说 明 全 域 散 列 法 达到 了 期 望 的 效果 : 现在 对 手 已 经 无 法 通过 选择 一 个 操作 序列 
来 迫使 达到 最 坏 情况 运行 时 间 了 。 通 过 在 运行 时 聪明 地 随机 选择 散 列 函数 ， 就 可 以 确保 每 一 个 
操作 序列 都 具有 良好 的 平均 情况 运行 时 间 。 
推论 11.4 对 于 一 个 具有 m 个 模 位 且 初 始 时 为 空 的 表 ， 利 用 全 域 散 列 法 和 链接 法 解决 冲突 ， 


< 
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需要 @(z) 的 期 望 时 间 来 处 理 任何 包含 了 7 个 INSERT, SEARCH 和 DELETE 的 操作 序列 ， 其 中 
该 序列 包含 了 OCm) 个 INSERT 操作 。 

证 明 ”由 于 插入 操作 的 数目 为 Olm)， 有 nn 二 Ol(m)， 从 而 有 a 二 O(1)。INSERT 操作 和 
DELETE 操作 需要 常量 时 间 ， 由 定理 11.3， 每 一 个 SEARCH 操作 的 期 望 时 间 为 0(1)。 于 是 ， 
根据 期 望 值 的 线性 性 质 可 知 ， 整 个 个 操作 序列 的 期 望 时 间 为 O(n)。 因 为 每 个 操作 所 用 时 间 为 
QC), AREA @(n) 的 界 成 立 。 m 

设计 一 个 全 域 散 列 函数 类 

设计 一 个 全 域 散 列 函 数 类 很 容易 ， 只 需 一 点 数论 方面 的 知识 即 可 加 以 证 明 。 读 者 如 果 对 数 
论 不 熟悉 ， 可 以 先 阅读 第 31 章 。 

首先 ， 选 择 一 个 足够 大 的 素数 p， 使 得 每 一 个 可 能 的 关键 字 都 落 在 0 到 p 一 1 的 范围 内 ( 包 
HOM pl. WZ, 表示 和 集合 {0，1，…，p 一 1}，Z 表示 集合 {1，2，*…，p 一 1)。 由 于 是 一 
个 素数 ， 故 可 以 用 第 31 章 中 给 出 的 方法 来 求解 模 p 的 方程 。 因 为 我 们 假定 了 关键 字 全 域 的 大 小 
大 于 散 列 表 中 的 槽 数 ， 故 有 pom. 

现在 ， 对 于 任何 aC Z; 和 任何 5€ Z,， 定 义 散 列 函数 hs。 利用 一 次 线性 变换 ， 再 进行 模 p 
和 模 m 的 归 约 ， 有 


ha (k) = (Cak +b)mod p)modm LS) 
例如 ， 如 果 p=17 Al m=6, WA haa《8) 二 5。 所 有 这 样 的 散 列 函数 构成 的 函数 簇 为 
Hom ={hy:a€ Zj, b EZ? (11. 4) 


每 一 个 散 列 函数 hs 都 将 Z, 映射 到 Z,。 这 一 类 散 列 函数 具有 一 个 良好 的 性 质 ， 即 输出 范围 的 大 
小 m 是 任意 的 ， 不必 是 一 个 素数 。11. 5 节 将 用 到 这 一 特性 。 由 于 对 “来 说 有 z 一 1 种 选择 ， 对 6。 
来 说 有 p 种 选择 ， 故 Krm 中 包含 pC(p 一 1) 个 散 列 函数 。 

定理 11.5 由 公式 (11.3) 和 公式 (11.4) 定 义 的 散 列 浮 数 徐 .Jpm 是 全 域 的 。 

证 明 考虑 Z, 中 的 两 个 不 同 关键 字 AL, BD RAL. WPS PA EMBO Rh, WE 

r= (ak + b)modp 
s = (al +6)modp 
首先 ， 注 意 到 As. LENTA? AA 
r—s=atk—1 (mod p) 
可 以 导出 rés, RENK PARR, HaMk-DE p 的 结果 均 不 为 0， 于 是 根据 定理 31.6, © 
们 的 乘积 模 p 后 也 不 为 0。 于 是 ， 计 算 任何 ho C Homi, ARMA k AL 会 被 映射 至 不 同 的 值 
r 和 s( 模 p); 在 模 p 层 次 上 ， 尚 不 存在 冲突 。 此 外 ， 数 对 (a，6)(a 关 0) 有 p(p 一 1) 种 可 能 的 选 
择 ， 其 中 的 每 一 种 都 会 产生 一 个 不 同 的 结果 数 对 (r，s) (r 天 >)， 这 是 因为 给 定 > 和 > 后， 可 以 解 
iia 和 2: 
a= ((r—s)((k—1)* mod p))mod p 
b = (r—ak)modp 

其 中 (CR 一 0 mod p) #278 k—1 HIBUS WE p. BAMA p(p 一 1) 种 可 能 的 数 对 (r，s) (Cr 天 >)， 所 
以 在 数 对 (a，5) GAO) GROOT, 5) (r 取 5) 之 间 ， 存 在 一 个 一 一 对 应 关系 。 于是， 对 任何 给 定 的 
WAR RAL, WRM Z XZ, 中 均匀 地 随机 选择 (a，65)， 则 结果 数 对 (rx，s) 就 等 可 能 地 为 任何 不 
同 的 数值 对 ( 模 p). 

因此 ， 当 x 和; 为 随机 选择 的 不 同 的 值 ( 模 p) 时 ,不 同 的 关键 字 k 和 7 发 生 冲突 的 概率 等 于 
r=s(modm) 的 概率 。 对 于 某 个 给 定 的 > 值 ，* 的 可 能 取 值 就 为 余下 的 p 一 1 种 ， 其 中 满足 sAr H 
s=r(modm WH :; 值 的 数目 至 多 为 : 

[p/ml 一 1 之 ((p 十 m 一 1)/m) 一 1 (根据 不 等 式 (3.6)) 
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= (p—1)/m 


当 模 m 进行 归 约 时 ，s 与 7 发 生 冲 突 的 概率 至 多 为 ((p 一 1)/m)/(p 一 1) 二 1/m。 
所 以 ， 对 于 任何 不 同 的 数 对 k，LEZ,， 有 


Pr{h,, (A) = ha (L) } < 1/m 


TÆ, Hom NEAR a 


练习 


11. 3-1 


11. 3-2 


11. 3-3 


11. 3-4 


假设 我 们 希望 查找 一 个 长 度 为 n 的 链表 ， 其 中 每 一 个 元 素 都 包含 一 个 关键 字 并 具有 散 
列 值 ih(k)。 每 一 个 关键 字 都 是 长 字符 串 。 那 么 在 表 中 查找 具有 给 定 关键 字 的 元 素 时 ， 如 
何 利 用 各 元 素 的 散 列 值 呢 ? 

假设 将 一 个 长 度 为 r 的 字符 串 散 列 到 mm 个 槽 中 ， 并 将 其 视 为 一 个 以 128 为 基数 的 数 ， 要 
求 应 用 除法 散 列 法 。 我 们 可 以 很 容易 地 把 数 m 表示 为 一 个 32 位 的 机 器 字 ， 但 对 长 度 为 
r 的 字符 串 ， 由 于 它 被 当做 以 128 为 基数 的 数 来 处 理 ， 就 要 占用 若干 个 机 器 字 。 假 设 应 
用 除法 散 列 法 来 计算 一 个 字符 串 的 散 列 值 ， 那 么 如 何 才能 在 除了 该 串 本 身 占 用 的 空间 
外 ， 只 利用 常数 个 机 器 字 ? 

考虑 除法 散 列 法 的 另 一 种 版 本 ， 其 中 ACR) =k modm, m=2?—1, 上 为 按 基数 2* 表示 的 
字符 串 。 试 证 明 : 如 果 串 zx 可 由 串 y 通过 其 自身 的 字符 置换 排列 导出 ， 则 工 和 >y 具有 相 
同 的 散 列 值 。 给 出 一 个 应 用 的 例子 ， 其 中 这 一 特性 在 散 列 函数 中 是 不 希望 出 现 的 。 
考虑 一 个 大 小 为 m=1 000 的 散 列 表 和 一 个 对 应 的 散 列 函数 hk) =Lm(RA modl)lj， 其 中 
A=(/5—1)/2, RHAKBF 61, 62, 63, 64 和 65 被 映射 到 的 位 置 。 


*11.3-5 ”定义 一 个 从 有 限 集合 U 到 有 限 集 合 B 上 的 散 列 函数 簇 K 为 e 全域 的 ， 如 果 对 可 中 所 有 的 
ACH kL, WA 
Pr{h(k) =h(D} <e 
EPR M BRA aL RA PR TH. AER: 一 个 SAN 
列 函 数 篮 必定 满足 : 
1 1 
“1B] TUT 
*11.3-6 KUAARA Z 中 的 值 构成 的 n WARA, F B=., HP 为 素数 。 对 于 一 个 取 
自 U 的 输入 7 元 组 (ao， Qs °°*'s Qn—1)» 定义 其 上 的 散 列 函数 hy: U—BUbEZ,) H: 
hy (Cao sas" sana?) = PETT 
#HRH={h: bEZ,)}。 根 据 练 习 11. 3-5 Pe 全 域 的 定义 ， 证 明光 是 ((2 一 1)/z) 全 域 
的 。( 提 示 : WAY 31. 4-4。) 
11.4 开放 寻 址 法 


在 开放 寻 址 法 (open addressing) 中 ， 所 有 的 元 素 都 存放 在 散 列表 里 。 也 就 是 说 ， 每 个 表 项 或 
包含 动态 集合 的 一 个 元 素 ， 或 包含 NIL。 当 查找 某 个 元 素 时 ， 要 系统 地 检查 所 有 的 表 项 ， 直 到 找 
到 所 需 的 元 素 ， 或 者 最 终 查 明 该 元 素 不 在 表 中 。 不 像 链 接 法 ， 这 里 既 没有 链表 ， 也 没有 元 素 存 放 
在 散 列 表 外 。 因 此 在 开放 寻 址 法 中 ， 散 列表 可 能 会 被 填 满 ， 以 至 于 不 能 插入 任何 新 的 元 素 。 该 方 
法 导致 的 一 个 结果 便 是 装载 因子 a 绝对 不 会 超过 1。 

当然 ， 也 可 以 将 用 作 链 接 的 链表 存放 在 散 列 表 未 用 的 槽 中 ( 见 练习 11. 2-4) ， 但 开放 寻 址 法 的 
好 处 就 在 于 它 不 用 指针 ， 而 是 计算 出 要 存 取 的 槽 序列 。 于 是 ， 不 用 存储 指针 而 节省 的 空间 ， 使 得 
可 以 用 同样 的 空间 来 提供 更 多 的 槽 ， 潜 在 地 减少 了 冲突 ， 提 高 了 检索 速度 。 
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为 了 使 用 开放 寻 址 法 插入 一 个 元 素 ， 需 要 连续 地 检查 散 列 表 ， 或 称 为 探查 (probe)， 直 到 找 
到 一 个 空 覃 来 放置 待 插入 的 关键 字 为 止 。 检 查 的 顺序 不 一 定 是 0，1，…，z 一 1( 这 种 顺序 下 的 查 
找 时 间 为 8(n))， 而 是 要 依赖 于 待 插入 的 关键 字 。 为 了 确定 要 探查 哪些 模 ， 我 们 将 散 列 函 数 加 以 
扩充 ， 使 之 包含 探查 号 (从 0 开始 ) 以 作为 其 第 二 个 输入 参数 。 这 样 ， 散 列 函 数 就 变 为 : 

h:U X {0,1,°**,m—1} — {0,1,°.",mO— 1} 
对 每 一 个 关键 字 &， 使 用 开放 寻 址 法 的 探查 序列 (probe sequence) 
(h(Rk,0) ,hk,1) ,hlk,mO— 1)) 

是 (40，1，…，m 一 1 的 一 个 排列 ， 使 得 当 散 列表 逐渐 填 满 时 ， 每 一 个 表 位 最 终 都 可 以 被 考虑 为 
用 来 插入 新 关键 字 的 模 。 在 下 面 的 伪 代 码 中 ， 假 设 散 列表 工 中 的 元 素 为 无 卫星 数据 的 关键 字 ; 
KEF k 等 同 于 包含 关键 字 & 的 元 素 。 每 个 槽 或 包含 一 个 关键 字 ， 或 包含 NIL( 如 果 该 槽 为 空 ) 。 
HASH-INSERT 过 程 以 一 个 散 列 表 工 和 一 个 关键 字 & 为 输入 ， 其 要 么 返回 关键 字 & 的 存储 槽 位 ， 
要 么 因为 散 列 表 已 满 而 返回 出 错 标志 。 

HASH-INSERT(T,k) 

1 i=0 

2 repeat 

3 j=h(k,i) 

4 if T[;j]==NIL 
5 TL J=k 
6 


7 else ;一 ;十 1 
8 until ;一 一 入 


9 error “hash table overflow” 


查找 关键 字 & 的 算法 的 探查 序列 与 将 & 插 人 时 的 算法 一 样 。 因 此 ， 查 找 过 程 中 磁 到 一 个 空 槽 
时 ， 查 找 算 法 就 ( 非 成 功 地 ) 停 止 ， 因 为 如 果 在 表 中 ， 它 就 应 该 在 此 处 ， 而 不 会 在 探查 序列 随后 
的 位 置 上 (之 所 以 这 样 说 ， 是 假定 了 关键 字 不 会 从 散 列表 中 删除 )。 过 程 HASH-SEARCH 的 输入 
为 一 个 散 列表 工 和 一 个 关键 字 &， 如 果 槽 7 中 包含 了 关键 字 *， 则 返回 7; MRRRERT H, Ml 
返回 NIL. 

HASH-SEARCH(T,&) 

1 i=0 

2 repeat 

3 j=h(k,7) 
4 if T ]= =k 
5 return j 
6 i=i+1 
7 until TLj ]==NIL or i==m 
8 return NIL 


从 开放 寻 扯 法 的 散 列表 中 删除 操作 元 素 比 较 困 难 。 当 我 们 从 槽 i 中 删除 关键 字 时 ， 不 能 仅 将 


NIL 置 于 其 中 来 标识 它 为 空 。 如 果 这 样 做 ， 就 会 有 问题 : 在 插入 关键 字 & 时 ， 发 现 槽 ;被 占用 


了 ， 则 就 被 插入 到 后 面 的 位 置 上 ; 此 时 将 槽 i 中 的 关键 字 删 除 后 ， 就 无 法 检索 到 关键 字 k 了。 
有 一 个 解决 办 法 ， 就 是 在 槽 ; 中 置 一 个 特定 的 值 DELETED 替代 NIL 来 标记 该 槽 。 这 样 就 要 对 过 
程 HASH-INSERT 做 相应 的 修改 ， 将 这 样 的 一 个 槽 当做 空 模 ， 使 得 在 此 仍然 可 以 插入 新 的 关键 
F. X} HASH-SEARCH 无 需 做 什么 改动 ， 因 为 它 在 搜索 时 会 绕 过 DELETED 标识 。 但 是 ， 当 我 
们 使 用 特殊 的 值 DELETED 时 ， 查 找 时 间 就 不 再 依赖 于 装载 因子 c 了。 为 此 ， 在 必须 删除 关键 字 
的 应 用 中 ， 更 常见 的 做 法 是 采用 链接 法 来 解决 冲突 。 
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在 我 们 的 分 析 中 ， 做 一 个 均匀 散 列 (uniform hashing) MRI: 每 个 关键 字 的 探查 序列 等 可 
能 地 为 (0，1，…，m 一 1) 的 ml! 种 排列 中 的 任 一 种 。 均 匀 散 列 将 前 面 定义 过 的 简单 均匀 散 列 的 
概念 加 以 了 一 般 化 ， 推 广 到 散 列 函数 的 结果 不 只 是 一 个 数 ， 而 是 一 个 完整 的 探查 序列 。 然 而 ， 
真正 的 均匀 散 列 是 难以 实现 的 ， 在 实际 应 用 中 ， 常 常 采 用 它 的 一 些 近似 方法 (如 下 面 定义 的 双 
BRS). 

有 三 种 技术 常用 来 计算 开放 寻 址 法 中 的 探查 序列 : 线性 探查 、 二 次 探查 和 双重 探查 。 这 几 种 
技术 都 能 保证 对 每 个 关键 字 有 &，( 站 RE，0)，jPGR，1) ，…，jA(R，71 一 1) 都 是 (0，1，…，7 一 1) 的 
一 个 排列 。 但 是 ， 这 些 技术 都 不 能 满足 均匀 散 列 的 假设 ， 因 为 它们 能 产生 的 不 同 探查 序列 数 都 不 
超过 m 个 (均匀 散 列 要 求 有 m! 个 探查 序列 ) 。 在 三 种 技术 中 ， 双 重 散 列 产生 的 探查 序列 数 最 多 ， 
似乎 能 给 出 最 好 的 结果 。 

线性 探查 

给 定 一 个 普通 的 散 列 函数 六 : U 一 {0，1，…，m 一 1)， 称 之 为 辅助 散 列 函 数 (auxiliary hash 
function) ， 线 性 探查 (linear probing) 方 法 采用 的 散 列 函数 为 : 

h(k,i) = (h'(k) +i)modm, i=0,1,.…,m—1 
给 定 一 个 关键 字 k AIA Th k], BBO ROTA A. RAN T (2) +1), 
KHE, HZR T[m 一 1]。 然 后 ， 又 绕 到 槽 TL0]，TL1]，…， 直 到 最 后 探查 到 槽 T[h'(&) 一 1]。 在 
线性 探查 方法 中 ， 初 始 探查 位 置 决 定 了 整个 序列 ， 故 只 有 m 种 不 同 的 探查 序列 。 

线性 探查 方法 比较 容易 实现 ， 但 它 存在 着 一 个 问题 ， 称 为 一 次 群集 (primary clustering). 。 随 
着 连续 被 占用 的 槽 不 断 增 加 ， 平 均 查 找 时 间 也 随 之 不 断 增加 。 和 群集 现象 很 容易 出 现 ， 这 是 因为 当 
一 个 空 槽 前 有 i 个 满 的 权时， 该 空 槽 为 下 一 个 将 被 占用 的 概率 是 (i 十 1)/m。 连 续 被 占用 的 槽 就 会 
变 得 越 来 越 长 ， 因 而 平均 查找 时 间 也 会 越 来 越 大 。 

二 次 探查 

二 次 探查 (quadratic probing) RAM FLAN BA wR 

h(k,i) = (h' (k) + aiit coi? modm (11. 5) 
Hp h FBO PBR, c 和 cz 为 正 的 辅助 常数 ，; 一 0，1，…，m 一 1。 初 始 的 探查 位 置 为 
TLA' (&)]， 后 续 的 探查 位 置 要 加 上 一 个 偏 移 量 ， 该 偏 移 量 以 二 次 的 方式 依赖 于 探查 序号 i。 这 种 
探查 方法 的 效果 要 比 线性 探查 好 得 多 ， 但是， 为 了 能 够 充分 利用 散 列 表 ，c; 、cs 和 m 的 值 要 受到 
限制 。 思 考题 11-3 给 出 了 一 种 选择 这 几 个 参数 的 方法 。 此 外 ， 如 果 两 个 关键 字 的 初始 探查 位 置 相 
同 ， 那 么 它们 的 探查 序列 也 是 相同 的 ， 这 是 因为 hlk, 0O =h, OAME ACL, D=h(k, i)o 
这 一 性 质 可 导致 一 种 轻 度 的 群集 ， 称 为 二 次 群集 (secondary clustering) 。 像 在 线性 探查 中 一 样 ， 
初始 探查 位 置 决定 了 整个 序列 ， 这 样 也 仅 有 m 个 不 同 的 探查 序列 被 用 到 。 

双重 散 列 

双重 散 列 (double hashing) 是 用 于 开放 寻 址 法 的 最 好 方法 之 一 ， 因 为 它 所 产生 的 排列 具有 随 
机 选择 排列 的 许多 特性 。 双 重 散 列 采用 如 下 形式 的 散 列 函数 : 

h(k,i) = (h (k) + ih: (k))modm 
HP h Mh, 均 为 辅助 散 列 函数 。 初 始 探查 位 置 为 Th Ce)]， 后 续 的 探查 位 置 是 前 一 个 位 置 加 上 
WEE h, (8) 模 mm。 因 此 ， 不 像 线 性 探查 或 二 次 探查 ， 这 里 的 探查 序列 以 两 种 不 同方 式 依赖 于 关 
键 字 &， 因 为 初始 探查 位 置 、 偏 移 量 或 者 二 者 都 可 能 发 生变 化 。 图 11-5 给 出 了 一 个 使 用 双重 散 列 
法 进行 插入 的 例子 。 

为 了 能 查找 整个 散 列 表 ， 值 h,(%) 必 须要 与 表 的 大 小 m 互 素 ( 见 练习 11. 4-4) 。 有 一 种 简便 的 
方法 确保 这 个 条 件 成 立 ， 就 是 取 m 为 2 的 宕 ， 并 设计 一 个 总 产生 奇数 的 h,。 另 一 种 方法 是 取 m 
为 素数 ， 并 设计 一 个 总 是 返回 较 m 小 的 正 整 数 的 函数 h,。 例 如 ， 我 们 可 以 取 m 为 素数 ， 并 取 
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h, (k) = kmodm,h,(k) =1+k modm’ ) 
Ep mkh F mC tba, m—1). Plan, WR 
k=123 456, m=701, m’=700, WÆ h (2) = 
80，h,(k) 二 257， 可 知 我 们 的 第 一 个 探查 位 置 
为 80， 然 后 检查 每 第 257 SACK m), HAIR 
到 该 关键 字 ， 或 者 遍历 了 所 有 的 模 。 
当 m 为 素数 或 者 2 的 寡 时 ， 双 重 散 列 法 中 
用 到 了 Om 种 探查 序列 ， 而 线性 探查 或 二 次 
探查 中 用 了 @(xz) 种 ， 故 前 者 是 后 两 种 方法 的 一 
种 改进 。 因 为 每 一 对 可 能 的 (万 Ck), ha (RD) BB 
会 产生 一 个 不 同 的 探查 序列 。 因 此 ， 对 于 m 的 
每 一 种 可 能 取 值 ， 双 重 散 列 的 性 能 看 起 来 就 非 
常 接近 “理想 的 ”均匀 散 列 的 性 能 。 


ol 
1E 
2 = 
3 i 
4 
5 
6 
7 
8 
9| 





图 11-5 ”双重 散 列 法 的 插入 。 此 处 ， 散 列表 的 大 小 


尽管 除 素数 和 2 的 寡 以 外 的 m 值 在 理论 上 为 13， Mm (k) =k mod 13, hy (k) 一 1 十 
也 能 用 于 双重 散 列 中 ， 但 是 在 实际 中 ， 要 高 效 (modl1) 。 因 为 14=1(mod13), H 14= 
地 产生 hs。(&) 确 保 使 其 与 mr 互 素 ， 将 变 得 更 加 3(mod11)， 故 在 探查 了 权 1 和 槽 5， 并 发 现 
困难 。 部 分 原因 是 这 些 数 的 相对 密度 $Cm)/m 它们 被 占用 后 ， 关 键 字 14 被 插入 到 权 9 中 
可 能 较 小 ( 见 公 式 (31. 24))。 

开放 寻 址 散 列 的 分 析 


像 在 链接 法 中 的 分 析 一 样 ， 开 放 寻 址 法 的 分 析 也 是 以 散 列 表 的 装载 因子 a 二 n/m 来 表达 的 。 
当然 ， 使 用 开放 寻 址 法 ， 每 个 槽 中 至 多 只 有 一 个 元 素 ， 因 而 nx<m， 也 就 意味 着 a<1。 

假设 采用 的 是 均匀 散 列 。 在 这 种 理想 的 方法 中 ， 用 于 插入 或 查找 每 一 个 关键 字 & 的 探查 序列 
《h(k，0)，h(k，1)，…，h(k，m 一 1)) 等 可 能 地 为 (0，1，…，m 一 1) 的 任意 一 种 排列 。 当 然 ， 
每 一 个 给 定 的 关键 字 有 其 相应 的 唯一 固定 的 探查 序列 。 我 们 这 里 想 说 的 是 ， 考 虑 到 关键 字 空 间 
上 的 概率 分 布 及 散 列 函数 施 于 这 些 关键 字 上 的 操作 ， 每 一 种 探查 序列 都 是 等 可 能 的 。 

现在 就 来 分 析 在 均匀 散 列 的 假设 下 ， 用 开放 寻 址 法 来 进行 散 列 时 探查 的 期 望 次 数 。 先 来 分 
析 一 次 不 成 功 查 找 时 的 探查 次 数 。 

定理 11.6 给 定 一 个 装载 因子 为 a 二 n/m 二 1 的 开放 寻 址 散 列 表 ， 并 假设 是 均匀 散 列 的 ， 则 
对 于 一 次 不 成 功 的 查找 ， 其 期 望 的 探查 次 数 至 多 为 1/(1 一 a) 。 

证 明 在 一 次 不 成 功 的 查找 中 ， 除 了 最 后 一 次 探查 ， 每 一 次 探查 都 要 检查 一 个 被 占用 但 并 
不 包含 所 求 关 键 字 的 槽 ， 最 后 检查 的 槽 是 空 的 。 先 定义 随机 变量 X 为 一 次 不 成 功 查找 的 探查 次 
数 ， 再 定义 事件 A;(i 二 1，2，…) 为 第 i 次 探查 且 探 查 到 的 是 一 个 已 经 被 占用 的 柳 。 那 么 ， 事件 
{X 宇 让 即 为 事件 Ai 门 A; 门 … 门 A; 1 的 交集 。 下 面 通 过 给 出 Pr{Ai 门 A 门 … 门 4; 1) 的 界 来 得 到 
Pr{X 之 ?的 界 。 根 据 练习 C. 2-5， 有 

Pr{A, N A? N HAS N An? = Pr{Al} vf Pr{A, | Ai} ° Pr{A; | Ay 出 Agy 
Pr{A-;, | A N A: N ar N A:2} 

由 于 有 个 元 素 和 mm 个 槽 ， 所 以 Pr{Ay}=n/m, MF j>, 在 前 ;一 1 次 探查 到 的 都 是 已 占用 覃 
的 前 提 下 ， 第 j 次 探查 且 探 查 到 的 仍 是 已 占用 覃 的 概率 是 (一 7) 十 1)/(m 一 7 十 1)。 这 是 因为 要 在 
(m 一 (J 一 1)) 个 未 探查 的 模 中 ， 查 找 余 下 的 (n 一 (j 一 1)) 个 元 素 中 的 某 一 个 。 由 均匀 散 列 的 假设 
知 ， 这 一 概率 为 这 两 个 量 的 比值 。 注 意 到 n 二 m， 对 于 所 有 JOS <m), WA njam js 
n/m。 于 是 ， 对 所 有 id<i<m), A 


Pikes eh = el n—2 n= i2 
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= m—1 | ae 











第 11 章 散 WR 。 155 


现在 ， 再 利用 公式 (C. 25) 来 得 出 探查 期 望 数 的 界 : 
ELX] = D)Pr(X >i} < Ya = Dia = T 
1/0—a)=l+at é +t RARA MEMKE. Bem, ARTE ARR 
查 。 第 一 次 探查 发 现 的 是 一 个 已 占用 的 权时 ， 必 须要 进行 第 二 次 探查 ， 进 行 第 二 次 探查 的 概率 大 
约 为 a。 前 两 次 探查 所 发 现 的 槽 均 是 已 占用 时 ,需要 进行 第 三 次 探查 ， 进 行 第 三 次 探查 的 概率 大 
AH a’, SS. 

如 果 a 是 一 个 常数 ， 由 定理 11. 6 可 知 ， 一 次 不 成 功 查找 的 运行 时 间 为 O(1) 。 例 如 ， 如 果 散 
列表 一 半 是 满 的 ， 一 次 不 成 功 查 找 的 平均 探查 数 至 多 是 1/(1 一 0.5) 王 2。 如 果 散 列表 是 90% 满 
的 ， 则 平均 探查 数 至 多 为 1/(1 一 0. 9) 王 10。 

根据 定理 11. 6， 几 乎 直接 可 以 得 到 HASH-INSERT 过 程 的 性 能 。 

推论 11.7 ”假设 采用 的 是 均匀 散 列 ， 平 均 情 况 下 ， 向 一 个 装载 因子 为 e 的 开放 寻 址 散 列表 
中 插入 一 个 元 素 至 多 需要 做 1/(1 一 a) 次 探查 。 

证 明 只 有 当 表 中 有 空 槽 时 ， 才 可 以 插 和 人 新 元 素 ， 故 a 二 1。 插入 一 个 关键 字 要 先 做 一 次 不 成 
功 的 查找 ， 然 后 将 该 关键 字 置 人 第 一 个 遇 到 的 空 槽 中 。 所 以 ， 期 望 的 探查 次 数 至 多 为 1/(1 一 c) 。 国 

对 于 一 次 成 功 的 查找 ， 需 要 稍 做 一 些 工 作 来 得 到 探查 的 期 望 次 数 。 

定理 11.8 对 于 一 个 装载 因子 为 a 过 1 的 开放 寻 址 散 列 表 ， 一 次 成 功 查找 中 的 探查 期 望 数 至 
多 为 








sin 1 


Qa Ig 
假设 采用 均匀 散 列 ， 且 表 中 的 每 个 关键 字 被 查找 的 可 能 性 是 相同 的 。 

证 明 查找 关键 字 “& 的 探查 序列 与 插 人 关键 字 为 & 的 元 素 的 探查 序列 是 相同 的 。 根 据 推论 
11.7， 如 果 “& 是 第 (z 十 1) 个 被 插入 表 中 的 关键 字 ， 则 对 的 一 次 查找 中 ， 探 查 的 期 望 次 数 至 多 为 
1/1 ~i/m)=m/(m—i) . MBN PA 个 关键 字 求 平 均 ， 则 得 到 一 次 成 功 查找 的 探查 期 望 
次 数 为 : 














Ï nl ři wie 1 S 1 i 1 ] a 
er m=i n 之 m—i nate i | ”GHzdz (由 不 等 式 (A. 12)) 
一 二 Im m 三 二 1 E 
Qa mn a l—a 


如 果 散 列表 是 半 满 的 ， 则 一 次 成 功 的 查找 中 ， 探 查 的 期 望 数 小 于 1. 387。 如 果 散 列表 为 90% 
满 的 ， 则 探查 的 期 望 数 小 于 2. 559。 


练习 

11. 4-1 考虑 用 开放 寻 址 法 将 关键 字 10、22、31、4、15、28、17、88、59 插入 到 一 长 度 为 m= 
11 的 散 列表 中 ， 辅 助 散 列 函 数 为 h'(k) 一 上 &。 试 说 明 分 别 用 线性 探查 、 二 次 探查 (c 一 1， 
cz 一 3) 和 双重 散 列 (万 (R=, h: (RY) 一 1 十 (mod(m 一 1))) 将 这 些 关键 字 插 入 散 列表 的 
过 程 。 

11.4-2 试 写 出 HASH-DELETE 的 伪 代 码 ; 修改 HASH-INSERT， 使 之 能 处 理 特殊 值 
DELETED。 

11. 4-3 ”考虑 一 个 采用 均匀 散 列 的 开放 寻 址 散 列 表 。 当 装载 因子 为 3/4 和 7/8 时 ， 试 分 别 给 出 一 
次 不 成 功 查 找 和 一 次 成 功 查找 的 探查 期 望 数 上 界 。 

*11.4-4 ”假设 采用 双重 散 列 来 解决 冲突 ， 即 所 用 的 散 列 函数 为 h(k, i) =h (Rk) +ih, (k)) modm,. 
试 证 明 : 如 果 对 某 个 关键 字 ，m 和 有 h,(k) 有 最 大 公约 数 d 宇 1， 则 在 对 关键 字 的 一 次 
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不 成 功 查找 中 ， 在 返回 槽 妨 ( 刀 之 前 ， 要 检查 散 列 表 中 第 (1/d) 个 元 素 。 于 是 ， 当 4 一 1 
j, m5h OER, 查找 操作 可 能 要 检查 整个 散 列表 。( 提 示 : 见 第 31 章 。) 

*11.4-5 ”考虑 一 个 装载 因子 为 a 的 开放 寻 址 散 列表 。 找 出 一 个 非 零 的 a 值 ， 使 得 一 次 不 成 功 查 找 
的 探查 期 望 数 是 一 次 成 功 查找 的 探查 期 望 数 的 2 倍 。 这 两 个 探查 期 望 数 可 以 使 用 定理 
11. 6 和 定理 11. 8 中 给 定 的 上 界 。 


“11.5 ZERAN 


使 用 散 列 技术 通常 是 个 好 的 选择 ， 不 仅 是 因为 它 有 优异 的 平均 情况 性 能 ， 而 且 当 关键 字 集 
合 是 静态 (static) 时 ， 散 列 技 术 也 能 提供 出 色 的 最 坏 情 况 性 能 。 所 谓 静态 ， 就 是 指 一 旦 各 关键 字 
存 人 表 中 ， 关 键 字 集合 就 不 再 变化 了 。 一 些 应 用 存在 着 天 然 的 静态 关键 字 集 合 ， 如 程序 设计 语言 
中 的 保留 字 集合 ， 或 者 CD-ROM 上 的 文件 名 集合 。 一 种 散 列 方法 称 为 完全 散 列 (perfect 
hashing) ， 如 果 该 方法 进行 查找 时 ， 能 在 最 坏 情 况 下 用 OC(1) 次 访 存 完成 。 

我 们 采用 两 级 的 散 列 方法 来 设计 完全 散 列 方案 ， 在 每 级 上 都 使 用 全 域 散 列 。 图 11-6 描述 了 
该 方法 。 








11-6 利用 完全 散 列 技术 来 存储 关键 字 集 合 K 二 {10，22，37，40，52，60，70，72，75)。 外 层 的 散 列 
BCH h(k)=((ak+b)mod p)modm, X a=3, b=42, p=101, m=9, Pid, A(75)=2, A 
此 ， 关 键 字 75 散 列 到 表 工 的 槽 2 中 。 一 个 二 级 散 列 表 S 中 存储 了 所 有 散 列 到 槽 j 中 的 关键 字 。 
BON S 的 大 小 为 内 三 好， 并 且 相 关 的 散 列 函数 为 hj Ck) = (Cak +6;) mod p)modm;. AW 
性 (75) 一 7， 故 关键 字 75 被 存储 在 二 级 散 列表 S 的 槽 7 中 。 二 级 散 列 表 没 有 冲突 ， 因 而 查找 操作 
在 最 坏 情 况 下 所 需 的 时 间 为 常数 


第 一 级 与 带 链接 的 散 列 表 基 本 上 是 一 样 的 ;: 利用 从 某 一 全 域 散 列 函数 得 中 仔细 选 出 的 一 个 
散 列 函数 h， 将 n 个 关键 字 散 列 到 mm ME. 

然而 ， 我 们 采用 了 一 个 较 小 的 二 次 散 列表 (secondary hash table)S; 及 相关 的 散 列 函 数 h;， 而 
不 是 将 散 列 到 槽 7 中 的 所 有 关键 字 建 立 一 个 链表 。 利 用 精心 选择 的 散 列 函数 h;， 可 以 确保 在 第 二 
级 上 不 出 现 冲 突 。 

但 是 ， 为 了 确保 在 第 二 级 上 不 出 现 冲 突 ， 需 要 让 散 列 表 S 的 大 小 mj 为 散 列 到 槽 7 中 的 关键 
字数 请 的 平方 。 尽 管 m 对 的 这 种 二 次 依赖 看 上 去 可 能 使 得 总 体 存储 需求 很 大 ， 但 我 们 会 在 
后 面 说 明 ， 通 过 适当 地 选择 第 一 级 散 列 函数 ， 可 以 将 预期 使 用 的 总 体 存 储 空间 限制 为 O(n)。 

我 们 采用 的 散 列 函数 是 选 自 11. 3. 3 节 中 的 全 域 散 列 函数 类 。 第 一 级 散 列 函数 选 自 类 Xj， 
其 中 pz 是 一 个 比 任 何 关 键 字 值 都 要 大 的 素数 ( 见 11. 3. 3 节 )。 那 些 散 列 到 槽 ;j 中 的 关键 字 通 过 利 
用 一 个 从 类 lpn 中选 出 的 散 列 函数 h;， 被 重新 散 列 到 一 个 大 小 为 m 的 二 次 散 列 表 S 中 。9 


O 当 坟 =mj 二 1 时， 我 们 并 不 是 真 的 需要 为 模 j 选择 一 个 散 列 函数 ; 当 为 这 样 的 槽 选择 一 个 散 列 函数 ha, Ck) = 
((ak 十 by)modp)modm; 时 ， 我 们 也 只 是 用 了 a=b=0, 
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下 面 分 两 步 进行 。 首 先 ， 要 确定 如 何 才 能 保证 第 二 级 散 列 表 中 不 发 生 冲 突 。 其 次 ， 要 说 明 使 
用 总 体 存 储 空间 的 期 望 数 为 O(n)， 这 里 包括 主 散 列表 和 所 有 的 二 级 散 列表 所 占 的 空间 。 

定理 11.9 如 果 从 一 个 全 域 散 列 浮 数 类 中 随机 选 出 散 列 函 数 h， 将 nn 个 关键 字 存 储 在 一 个 大 
小 为 m 二 7 的 散 列 表 中 ， 那 么 表 中 出 现 冲突 的 概率 小 于 1/2。 


证 明 共有 (，) 对 关键 字 可 能 发 生 冲 突 ; 如 果 刀 是 从 一 个 全 域 散 列 函数 类 天 中 随机 选 出 ， 那 


么 每 一 对 关键 字 冲 突 的 概率 为 1/m。 设 X 是 一 个 统计 冲突 次 数 的 随机 变量 。 当 m=r 时 ， 期 望 
的 冲突 次 数 为 : 





are l oz. 1 1 
到 下 | 一] 


(注意 ， 这 里 的 分 析 类 似 于 5.4.1 节 中 关于 生日 悖 论 的 分 析 。) 再 运用 马尔 可 夫 不 等 式 (C. 30), 
Pr{X2>t}<ELX]/t, 将 ==1 代 入， 即 完成 证 明 。 a 

在 定理 11. 9 所 描述 的 情形 ( 即 m=), APT — TPE RELIG Hh A PRB, BEAT HT AE 
不 发 生 冲 突 。 给 定 待 散 列 的 包含 n 个 关键 字 的 集合 K CER 是 静态 的 )， 只 需 几 次 随机 的 尝试 ， 
就 能 比较 容易 地 找 出 一 个 没有 冲突 的 散 列 函数 ho 

但 当 比较 大 时 ,一 个 大 小 为 m=’? 的 散 列表 还 是 很 大 的 。 因 此 ， 我 们 采用 两 级 散 列 方法 ， 
并 利用 定理 11. 9 中 的 做 法 ， 对 每 个 槽 中 的 关键 字 仅 进 行 一 次 散 列 。 一 个 外 层 的 (或 称 为 第 一 级 
的 ) 散 列 函 数 h 用 于 将 各 关键 字 散 列 到 mm 二 x 个 槽 中 。 那 么 ， 如 果 有 nn SHES RB BT j 
中 ， 可 以 用 一 个 大 小 为 m=i RB RS; 来 提供 无 冲突 的 常数 时 间 查 找 。 [279] 

现在 再 来 看 看 如 何 确保 所 用 总 体 存 储 空间 为 OCn) 的 问题 。 由 于 第 7 个 二 级 散 列 表 的 大 小 rm 
以 所 存储 的 关键 字数 nj 的 平方 方式 增长 ， 因 而 存在 着 这 样 一 种 风险 ， 即 所 需 的 总 体 存储 空间 量 
可 能 会 很 大 。 

如 果 第 一 级 散 列表 的 大 小 为 m 二 x， 则 用 于 存储 主 散 列表 、 大 小 为 m 的 二 级 散 列表 ， 以 及 用 
于 存储 二 次 散 列 函数 有 的 参数 a; Ab; (a; Mb; 定义 取 自 11. 3. 3 节 中 类 Kp, 的 二 次 散 列 函数 hh;， 
MF nj =1 和 a=b=0 除外 ) 的 存储 空间 总 量 为 O(n)。 下 面 的 定理 和 一 个 推论 给 出 了 所 有 二 级 散 
列表 的 大 小 加 起 来 后 的 期 望 值 的 界 。 第 二 个 推论 给 出 了 所 有 二 级 散 列 表 的 大 小 加 起 来 后 超过 线 
性 时 的 概率 的 一 个 上 界 ( 实 际 上 ， 后 面 的 证 明 中 ， 超 过 线性 是 指 等 于 或 大 于 4z) 。 

定理 11. 10 ”如果 从 某 一 个 全 域 散 列 函 数 类 中 随机 选 出 散 列 函数 户 ， 用 它 将 了 个 关键 字 存 储 
到 一 个 大 小 为 m 二 n 的 散 列 表 中 ， 则 有 


EL Sint ]< 2n 





这 里 nn ARAN] 中 的 关键 字数 。 
证 明 我们 从 下 面 的 恒等式 开始 ， 这 个 等 式 对 任何 非 负 的 整数 a 成立: 


a =at2()) (11.6) 
于 是 ， 有 


m—l 


ELS] E| 33(n,+2(”)) | (由 式 (11. 6)) 


LC j=0 2 
_ ml 

一 EL >) | 十 2E| 
j=0 


= En+2E| 51() | (HALD) 


j=0 


m—1 


() | 《由 期 望 的 线性 性 ) 
2 


g= 
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=+ S) | (因为 n 不 是 一 个 随机 变量 ) 


j=0 


为 了 计算 和 式 S (”) ， 注 意 到 它 正 是 散 列表 中 发 生 冲突 的 关键 字 的 总 对 数 。 根 据 全 域 散 列 
性 质 ， 这 一 和 式 的 期 望 值 至 多 为 





因为 m= 二 nx。 于 是 
bania 2n 国 

推论 11. 11 如 果 从 菜 一 全 域 散 列 函 数 类 中 随机 选 出 散 列 函数 hh， 用 它 将 nn 个 关键 字 存 储 到 
一 个 大 小 为 m= 二 nn 的 散 列 表 中 ， 并 将 每 个 二 次 散 列 表 的 大 小 设置 为 m =n; (j=0, Ly, 5 m—1l1), 
则 在 一 个 完全 散 列 方案 中 ， 存 储 所 有 二 次 散 列 表 所 需 的 存储 总 量 的 期 望 值 小 于 2n。 

证 明 因为 mj 二 有 (j= 二 0，1，…，m 一 1)， 由 定理 11. 10 给 出 

EL Y= ELS |< 2n (11.7) 

证 毕 。 a 

推论 11.12 如果 从 菜 一 全 域 散 列 函 数 类 中 随机 选 出 散 列 函数 h， 用 它 将 nn 个 关键 字 存 储 到 
一 个 大 小 为 m 二 n 的 散 列 表 中 ， 并 将 每 个 二 级 散 列 表 的 大 小 置 为 m,;=n; (j=0, i saeg m—1), 
则 用 于 存储 所 有 二 级 散 列 表 的 存储 总 量 等 于 或 大 于 4n 的 概率 小 于 1/2。 

证 明 ”再 应 用 马尔 可 夫 不 等 式 (C. 30)， 即 Pr XSt}<ELX/t, H X= $m Me=An fk 
入 不 等 式 (11. 7): 





E[S m] i 
Pr Dm = 4n) < = <#=1/2 = 
从 推论 11. 12 可 以 看 出 ， 只 需 从 全 域 散 列 函数 类 中 随机 选 出 几 个 散 列 函数 ， 尝 试 几 次 就 可 以 


快速 地 找到 一 个 所 需 存 储量 较为 合理 的 函数 。 


练习 


*11. 5-1 假设 采用 了 开放 寻 址 法 和 均匀 散 列 技术 将 nn 个 关键 字 插 入 到 一 个 大 小 为 m 的 散 列 表 中 。 
Rp, mMm 为 没有 冲突 发 生 的 概率 。 试 证 明 : p(n, mer ?™, (提示: 见 
AC. 12),) 论 证 当 nn 超 过 Ym 时 ， 不 发 生 冲 突 的 概率 快速 趋 于 0。 





思考 题 
11-1 《〈 散 列 最 长 探查 的 界 ) 采用 开放 寻 址 法 ， 用 一 个 大 小 为 m 的 散 列表 来 存储 n(n<m/2) 个 数 
据 项 目 。 
a. 假设 采用 均匀 散 列 ， 证明: 对 于 i 二 1，2，…，n, 第 i 次 插入 需要 严格 多 于 次 探查 的 
概率 至 多 为 2“。 


b. WHH: 对 于 i 二 1，2，…，n,， 第 i 次 插入 需要 多 于 2 len 次 探查 的 概率 为 OC(1/n)。 
设 随 机 变量 X 表示 第 i 次 插入 所 需 的 探查 次 数 。 在 上 面 (b) 中 已 证 明 Pr{ X;>2 Ign} = 
O(1/mw)。 设 随机 变量 X=max X; 表示 nn 次 插入 中 所 需 探 查 数 的 最 大 值 。 


11-2 


11-3 


11-4 
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c 证 明 : Pr{X>2lgn}=OC/n). 
d. 证 明 : 最 长 探查 序列 的 期 望 长 度 为 ELzj] 二 OCgn)。 
(链接 法 中 模 大 小 的 界 ) ”假设 有 一 个 含 ”个 槽 的 散 列 表 ， 向 表 中 插入 ”个 关键 字 ， 并 用 链 
接 法 来 解决 冲突 问题 。 每 个 关键 字 被 等 可 能 地 散 列 到 每 个 槽 中 。 所 有 关键 字 被 插入 后 ， 设 
M 是 各 槽 中 所 含 关键 字数 的 最 大 值 。 读 者 的 任务 是 证 明 M 的 期 望 值 ELMJ 的 一 个 上 界 
为 O(gn/lglg n). 
a. 证 明 : 正好 有 上 个 关键 字 被 散 列 到 某 一 特定 槽 中 的 概率 Q 为 
a=) 
b. 设 P 为 M=& 的 概率 ， 即 包含 最 多 关键 字 的 槽 中 有 个 关键 字 的 概率 。 证 明 : 
P,<nQ,. 
e 应 用 斯 特 林 近似 公式 (3. 18) 来 证 明 : Qe /k* 
d. 证 明 : 存在 常数 >l, 使 得 Q 二 1/n 对 如 二 clgn/lglg nn 成立。 并 有 结论 : 对 k>k = 
clgn/Iglgn, P,<1/n’ 成 立 。 
e 证 明 : 
EMI RM) pM 28” 
并 有 结论 : ELM)]=OCgn/lglg n). 
(二 次 探查 ) ”假设 要 在 一 个 散 列 表 ( 表 中 的 各 个 位 置 为 0，1，…，m 一 1) 中 查找 关键 字 ， 
并 假设 有 一 个 散 列 函数 hh 将 关键 字 空间 映射 到 集合 {0，1，…，m 一 1} 上， 查找 方法 如 下 : 
1. 计算 值 7 一 ACE) ， 置 ;一 0。 
2. 探查 要 找 的 关键 字 的 位 置 ;， 或 者 找到 了 ,或 者 该 位 置 为 空 ， 并 结束 查找 。 
3. 置 i=i 二 1。 如 果 i=m， 则 表 已 满 ， 于 是 终止 探查 ; 否则 ， 设 7) 一 (十 7])modmz， 返 回 到 
步骤 2。 
{BLU m FE 2 FE. 
a. 通过 给 出 等 式 (11.5) 中 c 和 cs 的 适当 值 ， 来 证 明 该 方案 是 一 般 的 “二 次 探查 ”法 的 一 个 
实例 。 
b. 证 明 : 在 最 坏 情况 下 ， 这 个 算法 要 检查 表 中 的 每 一 个 位 置 。 . 
( 散 列 和 认证 ) ” 设 .为 一 个 散 列 函数 类 ， 其 中 的 每 个 散 列 函数 hE 将 关键 字 全 域 品 映 射 
到 {0，1，…，m 一 1} 上 。 我 们 称 .KK 是 全 域 的 (k-universal)， 如 果 对 每 个 由 & 个 不 同 的 关 
BE? ce, or, c® ) 构 成 的 固定 序列 ， 以 及 从 天 中 随机 选 出 的 任意 散 列 函 数 h， 序 列 
(hice), A(z), e, hP DE m 个 长 度 为 及 的 序列 (其 元 素 取 自 {10，1，…，z 一 1)) 
中 任意 一 个 的 可 能 性 相同 。 
a. TER: WRB PRICE 2 全 域 的 ， 则 它 是 全 域 的 。 
b. 设 全 域 口 为 取 自 Zz, 二 {0，1，…，p 一 1) 中 数值 的 元 组 集合 ， 此 处 p 为 素数 。 考 虑 元 
素 X==(xo，Xxzi，*"…，ZX,_1) EU。 对 于 任意 的 nn 元 组 a 二 (ao，a1，*…，a,_1) EU， 定 义 散 
列 函数 h, 为 


h,(x) = ( Saa, joda 
j=0 


HEH={h}) WH: 死 是 全 域 的 ， 但 不 是 2 全 域 的 。( 提 示 : 寻找 一 个 关键 字 ， 使 得 
中 所 有 散 列 函数 对 其 都 得 到 相同 的 值 。) 
c 假设 将 (b) 中 的 光 略 作 修 改 : 对 任意 的 aEU 和 任意 的 EZ,， 定 义 
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A! ( 2 nl 
an) = ( Sax; +6) mod p 
j=0 


且 X' 二 {h'is}。 论 证 7K' 是 2 全域 的 。( 提 示 : 考虑 固定 的 n 元 组 zxEU 和 yEU， 对 某 个 i 
有 LiF Yio M4 a; 和 b 包括 Z, 时 ， Ke (x) Fl h'a (y) 会 如 何 ?) 

d. 假设 Alice 和 Bob 悄悄 地 约定 了 一 个 取 自 2 全 域 散 列 函数 簇 歼 中 的 散 列 函数 h。 每 个 hE€ 
天 将 关键 字 全 域 U 映射 到 Z 上， 此 处 p 为 素数 。 后 来 ，Alice 通 过 互联 网 向 Bob 发 送 了 
一 个 消息 mw， 其 中 mEU。 她 同时 还 通过 发 送 一 个 认证 标记 t= AC) Bob 认证 这 一 
消息 ， 而 Bob 则 要 检查 他 所 接收 到 的 (m， 力 对 是 否 确 实 满足 二 /zz) 。 假 设 某 一 对 手 半 
路 中 截获 了 (m，z， 并 试图 将 该 值 对 替换 为 男 一 值 对 (m cK Bob。 论 证 无 论 该 
对 手 的 计算 机 性 能 多 好 ， 他 成 功 地 欺骗 Bob 接受 (mm ，z) 的 概率 至 多 为 1/p， 即 使 他 知 
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本 章 注 记 

在 有 关 散 列 算法 的 分 析 书 籍 中 ，Knuth[211] 和 Gonnet[145] 都 是 很 好 的 参考 书 。Knuth i 
为 ，H. P. Luhn(1953) 首 先 提出 了 散 列 表 技 术 ， 以 及 用 于 解决 冲突 的 链接 方法 。 在 大 约 相同 的 时 
H, G. M. Amdahl 首先 提出 了 开放 寻 址 法 的 思想 。 

Carter 和 Wegman[ 58] 于 1979 年 引入 了 全 域 散 列 函数 类 的 概念 。 

Fredman, Komlós 和 Szemerédi[ 112 ] 针 对 静态 关键 字 集 合 ( 见 11.5 节 )， 提 出 了 完全 散 列 方 
案 。Dietzfelbinger 等 人 [86j 后 来 又 将 这 一 方法 扩展 至 动态 关键 字 集 合 上 ， 其 处 理 插 入 和 删除 操作 

的 摊 还 期 望 时 间 为 OA). 
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二 叉 搜 索 树 


搜索 树 数 据 结 构 支 持 许多 动态 集合 操作 ， 包 括 SEARCH, MINIMUM, MAXIMUM, 
PREDECESSOR, SUCCESSOR, INSERT 和 DELETE 等 。 因 此， 我 们 使 用 一 棵 搜索 树 既 可 以 作 
为 一 个 字典 又 可 以 作为 一 个 优先 队列 。 

二 又 搜索 树 上 的 基本 操作 所 花费 的 时 间 与 这 棵 树 的 高 度 成 正比 。 对 于 有 个 结 点 的 一 棵 完全 
二 叉 树 来 说 ， 这 些 操作 的 最 坏 运 行 时 间 为 86(lgn)。 然 而 ， 如 果 这 棵 树 是 一 条 个 结 点 组 成 的 线 
性 链 ， 那 么 同样 的 操作 就 要 花费 8(n) 的 最 坏 运行 时 间 。 在 12. 4 节 中 ， 我们 将 看 到 一 棵 随机 构造 
的 二 又 搜索 树 的 期 望 高 度 为 OLlgn)， 因 此 这 样 一 棵 树 上 的 动态 集合 的 基本 操作 的 平均 运行 时 间 
是 @(lgn)。 

实际 上 ， 我 们 并 不 能 总 是 保证 随机 地 构造 二 叉 搜 索 树 ， 然 而 可 以 设计 二 又 搜 索 树 的 变 体 ， 来 
保证 基本 操作 具有 好 的 最 坏 情 况 性 能 。 第 13 章 给 出 了 一 个 这 样 的 变形 ， 即 红 黑 树 ， 它 的 树 高 为 
Ollgn)。 第 18 章 将 介绍 B 树 ， 它 特别 适用 于 二 级 (磁盘 ) 存 储 器 上 的 数据 库 维护 。 

在 给 出 二 又 搜 索 树 的 基本 性 质 之 后 ， 随 后 几 节 介绍 如 何 遍历 一 棵 二 又 搜 索 树 来 按 序 输出 各 
个 值 ， 如 何在 一 棵 二 又 搜索 树 上 查找 一 个 值 ， 如 何 查 找 最 小 或 最 大 元 素 ， 如 何 查找 一 个 元 素 的 前 
驱 和 后 继 ， 以 及 如 何 对 一 棵 二 又 搜索 树 进 行 插入 和 删除 。 树 的 这 些 基 本 数学 性 质 见 附录 B。 


12.1 什么 是 二 叉 搜 索 树 

顾名思义 ， 一 棵 二 又 搜索 树 是 以 一 棵 二 又 树 来 组 织 的 ， 如 图 12-1 所 示 。 这 样 一 棵 树 可 以 使 
用 一 个 链表 数据 结构 来 表示 ， 其 中 每 个 结 点 就 是 一 个 对 象 。 除 了 key 和 卫星 数据 之 外 ， 每 个 结 点 
还 包含 属性 left. right 和 妃 ， 它 们 分 别 指向 结 点 的 左 孩子 、 右 孩子 和 双亲 。 如 果 某 个 孩子 结 点 和 
父 结 点 不 存在 ， 则 相应 属性 的 值 为 NIL。 根 结 点 是 树 中 唯一 父 指针 为 NIL 的 结 点 。 


Ə 








(a) Cb) 


图 12-1 二 又 搜索 树 。 对 任何 结 点 z+， 其 左 子 树 中 的 关键 字 最 大 不 超过 x. key， 其 右 子 树 中 的 关键 字 最 小 不 
IRF x. key。 不 同 的 二 又 搜 索 树 可 以 代表 同一 组 值 的 集合 。 大 部 分 搜索 树 操作 的 最 坏 运 行 时 间 与 树 
的 高 度 成 正比 。(a) 一 棵 包含 6 个 结 点 、 高 度 为 2 的 二 叉 搜 索 树 。(b) 一 棵 包含 相同 关键 字 、 高 度 
为 4 的 低 效 二 又 搜 索 树 


二 又 搜索 树 中 的 关键 字 总 是 以 满足 二 又 搜索 树 性 质 的 方式 来 存储 : 
设 工 是 二 又 搜索 树 中 的 一 个 结 点 。 如 果 yy 是 工 左 子 树 中 的 一 个 结 点 ， 那 么 y. keys 
Z.Rey。 如 果 y 是 工 右 子 树 中 的 一 个 结 点 ， 那 么 y. heya. key, 
因此 ， 在 图 12-1(a) 中 ， 树 根 的 关键 字 为 6， 在 其 左 子 树 中 有 关键 字 2、5 和 5， 它 们 均 不 大 于 6; 
而 在 其 右 子 树 中 有 关键 字 7 和 8， 它们 均 不 小 于 6。 这 个 性 质 对 树 中 的 每 个 结 点 都 成 立 。 例 如 ， 
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树 根 的 左 孩 子 为 关键 字 5， 不 小 于 其 左 子 树 中 的 关键 字 2 并 且 不 大 于 其 右 子 树 中 的 关键 字 5。 

二 又 搜索 树 性 质 允 许 我 们 通过 一 个 简单 的 递归 算法 来 按 序 输 出 二 又 搜索 树 中 的 所 有 关键 字 ， 
这 种 算法 称 为 中 序 遍 历 (inorder tree walk) 算 法 。 这 样 命名 的 原因 是 输出 的 子 树 根 的 关键 字 位 于 
其 左 子 树 的 关键 字 值 和 右 子 树 的 关键 字 值 之 间 。( 类 似 地 ， 先 序 遍 历 (preorder tree walk) 中 输出 
的 根 的 关键 字 在 其 左右 子 树 的 关键 字 值 之 前 ， 而 后 序 遍 历 (postorder tree walk) 输 出 的 根 的 关键 
字 在 其 左右 子 树 的 关键 字 值 之 后 。) 调 用 下 面 的 过 程 INORDER-TREE-WALK(T. root)， 就 可 以 输 
出 一 棵 二 又 搜索 树 工 中 的 所 有 元 素 。 


INORDER-TREE-WALK(z) 


1 ifz+~ NIL 

2 INORDER-TREE-WALK (z, le ft) 
3 print x. key 

4 INORDER-TREE-WALK (xz. right) 


作为 一 个 例子 ， 对 于 图 12-1 中 的 两 棵 二 又 搜 索 树 ， 中 序 人 遍历 输出 的 关键 字 次 序 均 为 2?，5， 
5，6，7，8。 根 据 二 又 搜索 树 性 质 ， 可 以 直接 应 用 归纳 法 证 明 该 算法 的 正确 性 。 

遍历 一 棵 有 nn 个 结 点 的 二 又 搜索 树 需 要 耗费 Ow 的 时 间 ， 因 为 初次 调用 之 后 ， 对 于 树 中 的 
每 个 结 点 这 个 过 程 恰好 要 自己 调用 两 次 : 一 次 是 它 的 左 孩 子 ， 另 一 次 是 它 的 右 孩 子 。 下 面 的 定理 
给 出 了 执行 一 次 中 序 遍 历 耗 费 线 性 时 间 的 一 个 证 明 。 

定理 12. 1 如 果 工 是 一 哥 有 nn 个 结 点 子 树 的 根 ， 那么 调用 INORDER-TREE-WALK(Cz) 需 要 
On) i A. 

证 明 当 INORDER-TREE-WALK 作用 于 一 棵 有 nn 个 结 点 子 树 的 根 时 ， 用 T(n) 表 示 需 要 的 
时 间 。 由 于 INORDER-TREE-WALK 要 访问 这 棵 子 树 的 全 部 ”个 结 点 ， 所 以 有 TMSA). F 
面 要 证 明 T(n) 二 O(n)。 

由 于 对 于 一 棵 空 树 ，INORDER-TREE-WALK 需要 耗费 一 个 小 的 常数 时 间 ( 因 为 测试 cA 
NIL)， 因 此 对 某 个 常数 c>>0， 有 TWO)=c. 

对 n>0, 假设 调 用 INORDER-TREE-WALK 作用 在 一 个 结 点 zx 上 ，z 结 点 左 子 树 有 上 个 结 
点 且 其 右 子 树 有 nn 一 & 一 1 个 结 点 ， 则 执行 INORDER-TREE-WALK(z) 的 时 间 由 TAKT) + 
T(n 一 & 一 1) 十 d 限界 ， 其 中 常数 4 二 0。 此 式 反映 了 执行 INORDER-TREE-WALK(z) 的 一 个 时 间 
上 界 ， 其 中 不 包括 递归 调用 所 花费 的 时 间 。 

使 用 替换 法 ， 通 过 证 明 Tin)<(ct+d)n+c, MAWE Tin)=O™). XF n=0, A(ctd) 。 
Otc=c=T(0). XF n>0, & 

Ti) < TR) + Tin—k-1) +d = (e+ @Dk+0) + (c+d)(n—k—1) +c) +d 
= (ctd)n+c— (etd) +cet+d = (ct+tdnt+c 


于 是 ， 便 完成 了 定理 的 证 明 。 m 

练习 

12. 1-1 对 于 关键 字 集 合 {1，4，5，10，16，17，21)， 分别 画 出 高 度 为 2、3、4、5 和 6 的 二 又 
搜索 树 。 


12.1-2 二 又 搜索 树 性 质 与 最 小 堆 性 质 ( 见 6. 1 节 ) 之 间 有 什么 不 同 ? 能 使 用 最 小 堆 性 质 在 O(n) 
时 间 内 按 序 输出 一 棵 有 个 结 点 树 的 关键 字 吗 ? 可 以 的 话 ， 请 说 明 如 何 做 ,否则 解释 
理由 。 

12.1-3 设计 一 个 执行 中 序 遍 历 的 非 递 归 算 法 。( 提 示 : 一 种 容易 的 方法 是 使 用 栈 作为 辅助 数据 结 
构 ; 舅 一 种 较 复 杂 但 比较 简洁 的 做 法 是 不 使 用 栈 ， 但 要 假设 能 测试 两 个 指针 是 否 相等 。) 
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12. 1-4 ”对 于 一 棵 有 个 结 点 的 树 ， 请 设计 在 Cn) 时 间 内 完成 的 先 序 遍 历 算法 和 后 序 遍历 算法 。 

12.1-5 因为 在 基于 比较 的 排序 模型 中 ， 完 成 n 个 元 素 的 排序 ， 其 最 坏 情 况 下 需要 O(n len) ht 
间 。 试 证 明 : 任何 基于 比较 的 算法 从 个 元 素 的 任意 序列 中 构造 一 棵 二 又 搜 索 树 ， 其 最 
坏 情 况 下 需要 Qnlgn) 的 时 间 。 


12.2 查询 二 叉 搜索 树 


我 们 经 常 需要 查找 一 个 存储 在 二 又 搜索 树 中 的 关键 字 。 除 了 SEARCH 操作 之 外 ， 二 又 搜索 
树 还 能 支持 诸如 MINIMUM, MAXIMUM, SUCCESSOR 和 PREDECESSOR 的 查询 操作 。 本 节 
将 讨论 这 些 操 作 ， 并 且说 明 在 任何 高 度 为 h 的 二 又 搜索 树 上 ， 如 何在 OC(4) 时 间 内 执行 完 每 个 
操作 。 

查找 

我 们 使 用 下 面 的 过 程 在 一 棵 二 又 搜 索 树 中 查找 一 个 具有 给 定 关键 字 的 结 点 。 输 入 一 个 指向 
树 根 的 指针 和 一 个 关键 字 &， 如 果 这 个 结 点 存在 ，TREE-SEARCH 返回 一 个 指向 关键 字 为 的 结 
点 的 指针 ; 否则 返回 NIL. 

TREE-SEARCH (x,&k) 

1 ifz == NIL ork == z. key 

2 return x 

3 ifk< z. key 

4 return TREE-SEARCH (2, de ft,k) 

5 else return TREE-SEARCH(z. right,k) 


这 个 过 程 从 树 根 开始 查找 ， 并 沿 着 这 棵 树 中 的 一 条 简单 路 径 向 下 进行 ， 如 图 12-2 所 示 。 对 
于 遇 到 的 每 个 结 点 zx， 比较 关键 字 & 与 z. ey。 如 果 两 
个 关键 字 相 等 ， 查 找 就 终止 。 如 果 & 小 于 z.&Aey， 查 找 
在 z 的 左 子 树 中 继续 ， 因 为 二 又 搜索 树 性 质 蕴涵 了 不 
可 能 被 存储 在 右 子 树 中 。 对 称 地 ， 如 果 训 大 于 x. key, 
查找 在 右 子 树 中 继续 。 从 树 根 开始 递归 期 间 遇 到 的 结 点 
就 形成 了 一 条 向 下 的 简单 路 径 ， 所 以 TREE-SEARCH 
的 运行 时 间 为 O(h)， 其 中 是 这 棵 树 的 高 度 。 

我 们 可 以 采用 while 循环 来 展开 递归 ， 用 一 种 迭代 as 
方式 重 写 这 个 过 程 。 对 于 大 多 数 计算 机 ， 和 迭代 版 本 的 效 ”图 12-2 一 棵 二 又 搜索 树 上 的 查询 。 为 





率 要 高 得 多 。 了 查找 这 棵 树 中 关键 字 为 13 的 
结 点 ， 从 树 根 开始 沿 着 15 一 6 

ITERATIVE-TREE-SEARCH(z,k) 一 7 一 13 路 径 进行 查找 。 这 标 

1 while z Æ NIL and k Æ z. key 树 中 最 小 的 关键 字 为 2， 它 是 

2 if k < z. key 从 树 根 开 始 一 直 沿 着 left 指针 

3 x = zx. left 被 找到 的 。 最 大 的 关键 字 20 是 

4 else x = x. right 从 树 根 开始 一 直 沿 着 right 指 

o riaa 针 被 找到 的 。 关 键 字 为 15 的 结 

2 点 的 后 继 是 关键 字 为 17 的 结 

最 大 关键 字 元 素 和 最 小 关键 字 元 素 点 ， 因 为 它 是 15 的 右 子 树 中 的 
通过 从 树 根 开始 沿 着 left 孩子 指针 直到 遇 到 一 个 最 小 关键 字 。 关键 字 为 13 的 结 
NIL, 我 们 总 能 在 一 棵 二 又 搜索 树 中 找到 一 个 元 素 ， 如 eee E 
图 12-2 所 示 。 下 面 的 过 程 返回 了 一 个 指向 在 以 给 定 结 是 一 个 祖先 。 这 种 情况 下 ， 关 


点 工 为 根 的 子 树 中 的 最 小 元 素 的 指针 ， 这 里 假设 不 键 字 为 15 的 结 点 就 是 它 的 后 继 
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为 NIL: 
TREE-MINIMUM(z) 
1 while z. left Æ NIL 
2 z= q left 


3 return x 


二 叉 搜 索 树 性 质保 证 了 TREE-MINIMUM 是 正确 的 。 如 果 结 点 z 没有 左 子 树 ， 那 么 由 于 x 
右 子 树 中 的 每 个 关键 字 都 至 少 大 于 或 等 于 zx. key， 则 以 z 为 根 的 子 树 中 的 最 小 关键 字 是 z. key. 
如 果 结 点 z 有 左 子 树 ， 那 么 由 于 其 右 子 树 中 没有 关键 字 小 于 x. key， 且 在 左 子 树 中 的 每 个 关键 字 
不 大 于 x. key, WA z 为 根 的 子 树 中 的 最 小 关键 字 一 定 在 以 zx. le ft 为 根 的 子 树 中 。 

TREE-MAXIMUM 的 伪 代 码 是 对 称 的 ， 如 下 : 

TREE-MAXIMUM (z) 

1 while z. right Æ NIL 

2 z= Zz.right 


3 return x 


这 两 个 过 程 在 一 棵 高 度 为 h 的 树 上 均 能 在 OC(h) 时 间 内 执行 完 ， 因 为 与 TREE-SEARCH 一 
它们 所 过 到 的 结 点 均 形成 了 一 条 从 树 根 向 下 的 简单 路 径 。 
后 继 和 前 驱 
给 定 一 棵 二 又 搜索 树 中 的 一 个 结 点 ， 有 时 候 需 要 按 中 序 遍 历 的 次 序 查找 它 的 后 继 。 如 果 所 
有 的 关键 字 互 不 相同 ， 则 一 个 结 点 zx 的 后 继 是 大 于 z. key 的 最 小 关键 字 的 结 点 。 一 棵 二 又 搜 索 
树 的 结构 允许 我 们 通过 没有 任何 关键 字 的 比较 来 确定 一 个 结 点 的 后 继 。 如 果 后 继 存 在 ， 下 面 的 
过 程 将 返回 一 棵 二 又 搜索 树 中 的 结 点 z 的 后 继 ; 如 果 工 是 这 棵 树 中 的 最 大 关键 字 ， 则 返 
El NIL. 

TREE-SUCCESSOR(z) 

1 if x. right Æ NIL 

2 return TREE-MINIMUM(z. right) 

3 y= zp 
4 while y NIL and z == y. right 
5 
6 
7 


样 


- 


=y 
y= ep 
return y 

把 TREE-SUCCESSOR 的 伪 代 码 分 为 两 种 情况 。 如 果 结 点 z 的 右 子 树 非 空 ， 那 么 zx 的 后 继 
恰 是 xz 右 子 树 中 的 最 左 结 点 ， 通 过 第 2 行 中 的 TREE-MINIMUM(z. righz) 调 用 可 以 找到 。 例 如 ， 
在 图 12-2 中 ， 关 键 字 为 15 的 结 点 的 后 继 是 关键 字 为 17 的 结 点 。 

另 一 方面 ， 正 如 练习 12. 2-6 所 要 做 的 ， 如 果 结 点 z 的 右 子 树 非 空 并 有 一 个 后 继 y， 那 么 > 就 
是 工 的 有 左 孩 子 的 最 底层 祖先 ， 并 且 它 也 是 z 的 一 个 祖先 。 在 图 12-2 中 ， 关 键 字 为 13 的 结 点 的 
后 继 是 关键 字 为 15 的 结 点 。 为 了 找到 >， 只 需 简单 地 从 r 开始 沿 树 而 上 直到 遇 到 一 个 其 双亲 有 
左 孩 子 的 结 点 。TREE-SUCCESSOR 中 的 第 3 一 7 行 正 是 处 理 这 种 情况 。 

在 一 棵 高 度 为 h 的 树 上 ，TREE-SUCCESSOR 的 运行 时 间 为 0(h)， 因 为 该 过 程 或 者 遵从 一 
条 简单 路 径 沿 树 向 上 或 者 遵从 简单 路 径 沿 树 向 下 。 过 程 TREE-PREDECESSOR 与 TREE- 
SUCCESSOR 是 对 称 的 ， 其 运行 时 间 也 为 Och). 

即使 关键 字 非 全 不 相同 ， 我们 仍然 定义 任何 结 点 z 的 后 继 和 前 驱 为 分 别 调用 TREE- 
SUCCESSOR(z) 和 TREE-PREDECESSOR(z) 所 返回 的 结 点 。 

总 之 ， 我们 已 经 证 明了 下 面 的 定理 。 
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定理 12.2 在 一 棵 高 度 为 hh 的 二 又 搜索 树 上 ,动态 集合 上 的 操作 SEARCH, MINIMUM, 
MAXIMUM, SUCCESSOR 和 PREDECESSOR 可 以 在 O(h) 时 间 内 完成 。 


练习 


12. 2-1 


12. 2-2 
12. 2-3 
12.2-4 


12. 2-5 


12. 2-6 


12.2-7 


12. 2-8 


12. 2-9 


12.3 


假设 一 棵 二 又 搜索 树 中 的 结 点 在 1 到 1 000 之 间 ， 现 在 想 要 查找 数值 为 363 的 结 点 。 下 
面 序列 中 哪个 不 是 查找 过 的 序列 ? 

a.2, 252, 401, 398, 330, 344, 397, 363, 

b. 924, 220, 911, 244, 898, 258, 362, 363. 

c.925, 202, 911, 240, 912, 245, 363, 

d.2, 399, 387, 219, 266, 382, 381, 278, 363. 

e935, 278, 347, 621, 299, 392, 358, 363, 

写 出 TREE-MINIMUM 和 TREE-MAXIMUM 的 递归 版 本 。 

写 出 过 程 TREE-PREDECESSOR 的 伪 代 码 。 

Bunyan 教授 认为 他 发 现 了 一 个 二 又 搜索 树 的 重要 性 质 。 假 设 在 一 棵 二 又 搜索 树 中 查找 
一 个 关键 字 &， 查 找 结束 于 一 个 树叶 。 考 虑 三 个 集合 : A 为 查找 路 径 左 边 的 关键 字 集 合 ; 
B 为 查找 路 径 上 的 关键 字 集 合 ，C 为 查找 路 径 右边 的 关键 字 集合 。Bunyan 教授 声称 : 任 
ff aCA, bEB 和 cEC, 一 定 满足 a<b<c。 请 给 出 该 教授 这 个 论断 的 一 个 最 小 可 能 的 
反例 。 

证 明 : 如 果 一 棵 二 又 搜索 树 中 的 一 个 结 点 有 两 个 孩子 ， 那 么 它 的 后 继 没 有 左 孩 子 ， 它 的 
前 驱 没 有 右 孩 子 。 

考虑 一 棵 二 又 搜索 树 T， 其 关键 字 互 不 相同 。 证 明 : WR 工 中 一 个 结 点 并 的 右 子 树 为 
空 ， 且 工 有 一 个 后 继 >， 那 么 > 一定 是 z 的 最 底层 祖先 ， 并 且 其 左 孩 子 也 是 z 的 祖先 。 
(注意 到 ， 每 个 结 点 都 是 它 自己 的 祖先 。) 

对 于 一 棵 有 7 个 结 点 的 二 又 搜索 树 ， 有 男 一 种 方法 来 实现 中 序 遍历 ， 先 调用 TREE- 
MINIMUM 找到 这 棵 树 中 的 最 小 元 素 ， 然 后 再 调用 n—1 次 的 TREE-SUCCESSOR。 证 
明 : 该 算法 的 运行 时 间 为 O., 

证 明 : 在 一 棵 高 度 为 h 的 二 又 搜索 树 中 ， 不论 从 哪个 结 点 开始 ,& 次 连续 的 TREE- 
SUCCESSOR 调用 所 需 时 间 为 OTA) 。 

设 工 是 一 棵 二 又 搜索 树 ， 其 关键 字 互 不 相同 ， 设 z 是 一 个 叶 结 点 ，? 为 其 父 结 点 。 证 
H: y. tey 或 者 是 工 树 中 大 于 Z. key 的 最 小 关键 字 ， 或 者 是 工 树 中 小 于 x. key 的 最 大 关 
键 字 。 


插入 和 删除 


插入 和 删除 操作 会 引起 由 二 又 搜索 树 表 示 的 动态 集合 的 变化 。 一 定 要 修改 数据 结构 来 反映 
这 个 变化 ， 但 修改 要 保持 二 又 搜 索 树 性 质 的 成 立 。 正 如 下 面 将 看 到 的 ， 插 人 一 个 新 结 点 带 来 的 树 
修改 要 相对 简单 些 ， 而 删除 的 处 理 有 些 复 杂 。 

插入 

要 将 一 个 新 值 v 插 入 到 一 棵 二 又 搜 索 树 中 ， 需 要 调用 过 程 TREE-INSERT。 该 过 程 以 结 点 
z 作 为 输入 ， 其 中 z. key=v, z. left=NIL, z. right 一 NIL。 这 个 过 程 要 修改 工 和 > 的 某 些 属性 ， 
来 把 z 插 入 到 树 中 的 相应 位 置 上 。 


TREE-INSERT(T, z) 


1 


y = NIL 
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x = T. root 
while x # NIL 
your 
if z. key < z. key 
x = z. left 
else z = z. right 
zp=y 
if y == NIL 
T. root = z / tree T was empty 


O 0O nn fF w N 


pi p 
e oO 


elseif z. key < y. key 

12 y. left = z 

13 else y. right = z 

图 12-3 显示 了 TREE-INSERT 是 如 何 工作 的 。 正 如 过 程 TREE-SEARCH 和 ITERATIVE- 
TREE-SEARCH 一 样 ，TREE-INSERT 从 树 根 开 始 ， 指 
针 工 记录 了 一 条 向 下 的 简单 路 径 ， 并 查找 要 替换 的 输入 
项 z 的 NIL。 该 过 程 保持 遍历 指针 (trailing pointer) y 作 
为 z 的 双亲 。 初 始 化 后 ， 第 3 一 7 行 的 while 循环 使 得 这 
两 个 指针 沿 树 向 下 移动 ， 向 左 或 向 右 移 动 取决 于 z. key 
Fx. key 的 比较 ， 直 到 cH NIL. KT NIL 占据 的 位 
置 就 是 输入 项 = 要 放置 的 地 方 。 我 们 需要 遍历 指针 y， 





图 12-3 将 关键 字 为 13 的 数据 项 插入 到 


这 是 因为 找到 NIL 时 要 知道 z 属于 哪个 结 点 。 第 8 一 13 一 标 一 又 搜索 树 中 。 浅 阴影 结 点 
行 设置 相应 的 指针 ， 使 得 z 插 入 其 中 。 指示 了 一 条 从 树 根 向 下 到 要 插入 
与 其 他 搜索 树 上 的 原始 操作 一 样 ， 过 程 TREE- 数据 项 位 置 处 的 简单 路 径 。 虚 线 
INSERT 在 一 棵 高 度 为 h 的 树 上 的 运行 时 间 为 O(h)。 表示 了 为 插入 数据 项 而 加 入 的 树 
删除 中 的 一 条 链 
从 一 棵 二 又 搜 索 树 工 中 删除 一 个 结 点 z 的 整个 策略 分 为 三 种 基本 情况 (如 下 所 述 ), 但 只 有 
一 种 情况 有 点 棘手 。 
。 如 果 = 没有 孩子 结 点 ， 那 么 只 是 简单 地 将 它 删 除 ， 并 修改 它 的 父 结 点 ， 用 NIL 作为 孩子 
来 替换 zo 
。 WR z 只 有 一 个 孩子 ， 那 么 将 这 个 孩子 提升 到 树 中 = 的 位 置 上 ， 并 修改 = 的 父 结 点 ， 用 > 
的 孩子 来 蔡 换 zo 


。 如 果 zx 有 两 个 孩子 ， 那 么 找 z 的 后 继 y( 一 定 在 = 的 右 子 树 中 )， 并 让 y 占据 树 中 z 的 位 
置 。z 的 原来 右 子 树 部 分 成 为 y 的 新 的 右 子 树 ， 并 且 z 的 左 子 树 成 为 y 的 新 的 左 子 树 。 
这 种 情况 稍 显 麻烦 (如 下 所 述 ) ， 因 为 还 与 y 是 否 为 z 的 右 孩子 相关 。 

从 一 棵 二 又 搜索 树 工 中 删除 一 个 给 定 的 结 点 xz， 这 个 过 程 取 指 向 工 和 >z 的 指针 作为 输入 参 
数 。 考 虑 在 图 12-4 中 显示 的 4 种 情况 ， 它 与 前 面 概括 出 的 三 种 情况 有 些 不 同 。 

。 WR > 没有 左 孩 子 (图 12-4(a))， 那 么 用 其 右 孩 子 来 替换 z， 这 个 右 孩 子 可 以 是 NIL, 也 
可 以 不 是 。 当 z 的 右 孩 子 是 NIL 时 ， 此 时 这 种 情况 归 为 > 没有 和 孩子 结 点 的 情形 。 当 z 的 
右 孩 子 非 NIL 时 ， 这 种 情况 就 是 xz 仅 有 一 个 孩子 结 点 的 情形 ， 该 孩子 是 其 右 孩 子 。 

。 WR zx 仅 有 一 个 孩子 是 为 其 左 孩子 (图 12-4(b))， 那 么 用 其 左 孩子 来 替换 z. 

。 否则 ，z 既 有 一 个 左 孩 子 又 有 一 个 右 孩 子 。 我 们 要 查找 z 的 后 继 y， 这 个 后 继 位 于 z 的 右 
子 树 中 并 且 没 有 左 孩 子 ( 见 练习 12. 2-5) 。 现 在 需要 将 y 移出 原来 的 位 置 进行 拼接 ， 并 替 
换 树 中 的 zo 

。 WR y 是 z 的 右 孩 子 ( 图 12-4(c))， 那么 用 y 替换 z， 并 仅 留 下 y 的 右 孩 子 。 
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。 否则 ，y 位 于 z 的 右 子 树 中 但 并 不 是 z 的 右 孩 子 (图 12-4(d)) 。 在 这 种 情况 下 ， 先 用 y 的 
右 孩 子 替换 y， 然 后 再 用 y 替换 =。 





(d) 


图 12-4 从 一 棵 二 叉 搜 索 树 中 删除 结 点 z。 结 点 z 可 以 是 树 根 ， 可 以 是 结 点 g 的 一 个 左 孩 子 ， 也 可 以 是 g 的 
一 个 右 孩 子 。(a) 结 点 = 没有 左 孩 子 。 用 其 右 孩 子 ~ 来 替换 z， 其 中 > 可 以 是 NIL， 也 可 以 不 是 。 
(b) 结 点 z 有 一 个 左 孩 子 ! 但 没有 右 孩 子 。 用 /来 替换 z。(c) 结 点 z 有 两 个 孩子 ， 其 左 孩 子 是 结 点 
l, HABT y 还 是 其 后 继 ，y 的 右 孩 子 是 结 点 zx。 用 y 替换 z， 修 改 使 ! 成 为 y 的 左 孩 子 ， 但 保留 
工 仍 为 y 的 右 孩 子 。(d) 结 点 z 有 两 个 孩子 ( 左 孩 子 ! 和 右 孩 子 >) ， 并 且 = 的 后 继 y 关 7 位 于 以 7 为 
根 的 子 树 中 。 用 > 自己 的 右 孩 子 z 来 代替 >， 并 且 置 > 为 > 的 双亲 。 然 后 ， 再 置 > 为 g 的 孩子 和 7/ 
的 双亲 


为 了 在 二 又 搜索 树 内 移动 子 树 ， 定 义 一 个 子 过 程 TRANSPLANT， 它 是 用 另 一 棵 子 树 替换 
一 棵 子 树 并 成 为 其 双亲 的 孩子 结 点 。 当 TRANSPLANT 用 一 棵 以 "为 根 的 子 树 来 蔡 换 一 棵 以 zx 
为 根 的 子 树 时 ， 结 点 的 双亲 就 变 为 结 点 v 的 双亲 ， 并 且 最 后 v 成 为 的 双亲 的 相应 孩子 。 


6 
l 
297 
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TRANSPLANT(T,u,v) 
1 ifu. p == NIL 
2 T. root = v 

3 elseif u == u. p,left 
4 u. p. left =v 
5 else zx. p. right = v 
6 ifv # NIL 

7 v. p = u. p 


第 1 一 2 行 处 理 x 是 工 的 树 根 的 情况 。 否 则 ，w 是 其 双亲 的 左 孩 子 或 右 孩 子 。 如 果 是 一 个 
EZAT, 第 3~4 行 负责 u. p. left 的 更 新 ;如果 是 一 个 右 孩 子 ， 第 5 TE u. p. right. RMR 
W uA NIL, WR v HAE NIL 时 , 第 6 一 7 IEX v po HEB], TRANSPLANT 并 没有 处 理 
v. left 和 wv. right 的 更 新 ; 这 些 更 新 都 由 TRANSPLANT 的 调用 者 来 负责 。 

利用 现成 的 TRANSPLANT 过 程 ， 下 面 是 从 二 又 搜索 树 工 中 删除 结 点 z 的 删除 过 程 : 


TREE-DELETE(T, z) 
1 if z. left == NIL 
2 TRANSPLANT(T;, z, z. right) 
3 elseif z. right == NIL 
4 TRANSPLANT(T, z,z. left) 
5 else y = TREE-MINIMUMCz. right) 
6 ify. p Æ z 
7 TRANSPLANT(T, y, y. right) 
8 y. right = z. right 
9 


y. right. p = y 
10 TRANSPLANT(T,z,y) 
TI y. left = z. left 
12 y left.p = y 


TREE-DELETE 过 程 处 理 4 种 情况 如 下 。 第 1 一 2 行 处 理 结 点 = 没有 左 孩 子 的 情况 ， 第 3 一 4 
行 处 理 x 有 一 个 左 孩子 但 没有 右 孩 子 情 况 。 第 5 一 12 行 处 理 剩 下 的 两 种 情况 ， 也 就 是 > 有 两 个 孩 
子 的 情形 。 第 5 行 查找 结 点 y»， 它 是 z 的 后 继 。 因 为 z 的 右 子 树 非 空 ， 这 样 后 继 一 定 是 这 个 子 树 
中 具有 最 小 关键 字 的 结 点 ， 因 此 就 调用 TREE-MINIMUM(z. right)。 如 前 所 述 ，y 没有 左 孩 子 。 
将 y 移 出 它 的 原来 位 置 进行 拼接 ， 并 替换 树 中 的 zx。 如 果 y 是 z 的 右 孩 子 ， 那么 第 10 一 12 行 用 y 
替换 = 并 成 为 = 的 双亲 的 一 个 孩子 ， 用 = HEATER y 的 左 孩 子 。 如 果 y 不 是 z HEBT, 第 
7 一 9 行 用 > WERTER y 并 成 为 y 的 双亲 的 一 个 孩子 ， 然 后 将 = 的 右 孩 子 转变 为 y 的 右 孩 子 ， 
最 后 第 10 一 12 FH y 替换 z 并 成 为 z 的 双亲 的 一 个 孩子 ， 再 用 z 的 左 孩 子 蔡 换 为 y 的 左 孩子 。 

除了 第 5 行 调 用 TREE-MINIMUM 之 外 ，TREE-DELETE 的 每 一 行 ， 包 括 调 用 
TRANSPLANT， 都 只 花费 常数 时 间 。 因 此 ， 在 一 棵 高 度 为 h 的 树 上 ，TREE-DELETE 的 运行 时 
EA OCA). 

总 之 ， 我 们 证 明了 下 面 的 定理 。 

定理 12.3 在 一 棵 高 度 为 彤 的 二 又 搜索 树 上 ， 实 现 动态 集合 操作 INSERT 和 DELETE 的 运 
行 时 间 均 为 Oh). a 


练习 
12.3-1 给 出 TREE-INSERT 过 程 的 一 个 递归 版 本 。 
12. 3-2 假设 通过 反复 向 一 棵 树 中 插入 互 不 相同 的 关键 字 来 构造 一 棵 二 又 搜索 树 。 证 明 : ARR 
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树 中 查找 关键 字 所 检查 过 的 结 点 数目 等 于 先前 插入 这 个 关键 字 所 检查 的 结 点 数目 加 1。 

12.3-3 ”对 于 给 定 的 nn 个 数 的 集合 ， 可 以 通过 先 构 造 包含 这 些 数 据 的 一 棵 二 叉 搜索 树 ( 反 复 使 用 
TREE-INSERT 逐个 插入 这 些 数 ) ， 然 后 按 中 序 遍 历 输出 这 些 数 的 方法 ， 来 对 它们 排序 。 
这 个 排序 算法 的 最 坏 情况 运行 时 间 和 最 好 情况 运行 时 间 各 是 多 少 ? 

12.3-4 删除 操作 可 交换 吗 ? 可 交换 的 含义 是 ， 先 删除 xz 再 删除 > 留 下 的 结果 树 与 先 删除 > 再 删 
Ro 留 下 的 结果 树 完 全 一 样 。 如 果 是 ， 说 明 为 什么 ? 否则 ， 给 出 一 个 反例 。 

12.3-5 ”假设 为 每 个 结 点 换 一 种 设计 ， 属 性 x. p 指向 z 的 双亲 ， 属 性 z. succ 指向 的 后 继 。 试 
给 出 使 用 这 种 表示 法 的 二 又 搜索 树 丰 上 SEARCH, INSERT 和 DELETE 操作 的 伪 代 码 。 
这 些 伪 代码 应 在 0(4) 时 间 内 执行 完 ， 其 中 有 为 树 T HAE. Ger: 应 该 设计 一 个 返回 
某 个 结 点 的 双亲 的 子 过 程 。) 

12.3-6 当 TREE-DELETE 中 的 结 点 zx 有 两 个 孩子 时 ， 应 该 选择 结 点 y 作为 它 的 前 驱 ， 而 不 是 
作为 它 的 后 继 。 如 果 这 样 做 ， 对 TREE-DELETE 应 该 做 些 什么 必要 的 修改 ? 一 些 人 提 
出 了 一 个 公平 策略 ， 为 前 驱 和 后 继 赋 予 相等 的 优先 级 ， 这 样 得 到 了 较 好 的 实验 性 能 。 如 
何 对 TREE-DELETE 进行 修改 来 实现 这 样 一 种 公平 策略 ? 


12.4 ”随机 构建 二 又 搜索 树 


我 们 已 经 证 明了 二 又 搜索 树 上 的 每 个 基本 操作 都 能 在 O(h) 时 间 内 完成 ， 其 中 有 为 这 棵 树 
的 高 度 。 然 而 ， 随 着 元 素 的 插 人 和 删除 ， 二 又 搜索 树 的 高 度 是 变化 的 。 例 如 ， 如 果 n REF 
按 严格 递增 的 次 序 被 插入 ， 则 这 棵 树 一 定 是 高 度 为 "一 1 的 一 条 链 。 另 外 ， 练 习 B. 5-4 说 明了 
h 宇 llgnj。 和 快速 排序 一 样 ， 我 们 可 以 证 明 其 平均 情形 性 能 更 接近 于 最 好 情形 ， 而 不 是 最 坏 情 
形 时 的 性 能 。 

遗憾 的 是 ， 当 一 棵 二 又 搜 索 树 同时 由 插入 和 删除 操作 生成 时 ， 我 们 对 这 棵 树 的 平均 高 度 了 
解 的 其 少 。 当 树 是 由 插入 操作 单独 生成 时 ， 分 析 就 会 变 得 容易 得 多 。 因 此 ， 我 们 定义 n 个 关键 字 
的 一 棵 随机 构建 二 又 搜 索 树 (randomly built binary search tree) 为 按 随机 次 序 插入 这 些 关 键 字 到 一 
棵 初始 的 空 树 中 而 生成 的 树 ， 这 里 输入 关键 字 的 n! 个 排列 中 的 每 个 都 是 等 可 能 地 出 现 。( 练 习 
12. 4-3 要 求 读者 证 明 ， 这 个 概念 与 假定 每 棵 含有 个 关键 字 的 二 又 搜索 树 为 等 可 能 的 概念 不 同 ,) 
接 下 来 ， 这 里 要 证 明 下 面 的 定理 。 

定理 12.4 一 棵 有 7 个 不 同 关 键 字 的 随机 构建 二 又 搜索 树 的 期 望 高 度 为 Ol(lgn)。 

证 明 从 定义 三 个 随机 变量 开始 ， 这 些 随 机 变量 有 助 于 度量 一 棵 随机 构建 二 又 搜索 树 。 用 
X, 表示 一 棵 及 个 不 同 关键 字 的 随机 构建 二 又 搜 索 树 的 高 度 ， 并 定义 指数 高 度 (exponential 
height) Y, 二 2* 。 当 构造 一 棵 有 个 关键 字 的 二 又 搜索 树 时 ， 选 择 一 个 关键 字 作 为 树 根 ， 并 设 R, 
为 一 个 随机 变量 ， 表 示 这 个 关键 字 在 ”个 关键 字 集 合 中 的 秩 (rank)， 即 R, 代表 的 是 这 些 关 键 字 
排 好 序 后 这 个 关键 字 应 占据 的 位 置 。R, 的 值 对 于 集合 {L，2，…，z2)} 中 的 任何 元 素 都 是 等 可 能 
的 。 如 果 R, 二 i， 那 么 根 的 左 子 树 是 一 棵 有 i 一 1 个 关键 字 的 随机 构建 二 又 搜索 树 ， 并 且 右 子 树 是 
一 棵 有 nn 一 i 个 关键 字 的 随机 构建 二 又 搜索 树 。 因 为 二 叉 树 的 高 度 比 根 的 两 棵 子 树 较 高 的 那 棵 子 
树 大 1， 因此 二 叉 树 的 指数 高 度 是 根 的 两 棵 子 树 较 高 的 那 棵 子 树 的 2 倍 。 如 果 R=, WA 

Y= mak Y aY) 

作为 基础 情况 , 设 也 二 1， 因 为 1 个 结 点 的 树 的 指数 高 度 是 2 二 1， 为 了 方便 起 见 ， 我 们 定义 Y.=0. 


接 下 来 ， 定 义 指示 器 随机 变量 2 ，2,,2，…，2Zi,»， 其 中 Zm = HR, =i) KA R, 对 于 集合 
{Ls Zig e n} 中 的 任何 元 素 都 是 等 可 能 的 ， 即 有 Pr{R,=i}=1/n, 其 中 i=l, 2; eSa My 所 以 
由 引 理 5.1， 有 


E(Z,,:] = 1/n (12.1) [300] 
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其 中 i 二 1，2，…，n。 由 于 2: 恰 有 一 个 值 为 1， 其 余 所 有 的 值 为 0， 因 此 有 
Y, = Dz. (2 + maxO¥..¥,)) 

下 面 将 证 明 ELY, JÆ ”的 一 个 多 项 式 ， 由 此 最 终 推出 ELX, ]=O(gn). 

指示 器 随机 变量 Z,,; 二 I(R, 二 让 独立 于 Y;_1 和 YY,_; 的 值 。 已 经 选择 了 R, 一 1， 左 子 树 ( 其 指数 
RREY) Eh i 一 1 个 关键 字 随 机 构建 的 ， 其 每 个 元 素 的 秩 都 小 于 i。 这 棵 子 树 就 像 任何 其 他 
由 i 一 1 个 关键 字 随 机 构建 的 二 叉 搜索 树 一 样 。 除 了 所 包含 的 关键 字数 目 之 外 ， 这 棵 子 树 的 结构 
完全 不 受 R, =i 选择 的 影响 ， 因 此 随机 变量 Y 和 2,, 是 独立 的 。 同 样 ， 右 子 树 (其 指数 高 度 是 
Y,-;) 是 由 ”一 ; 个 关键 字 随 机 构建 的 ， 其 每 个 元 素 的 秩 都 大 于 i。 它 的 结构 独立 于 R, 的 值 ， 因 此 
REPLAY, AZ, SAWN. MU, A 


ELY,] = EL} Z.: (2 © max(¥-15Y.4)) ] 
= YELZ,.(2 + max¥i¥))] (由 期 望 的 线性 性 质 ) 


= S) ELZ, JEL? .max(Yi4oY,)] 《由 独立 性 ) 


= > + » El 2 e max(Y;,,Y,;) ] (#12. 19) 

= 29) Emax. Yea) ] (由 式 (C. 22)) 
i=1 

a eh A (由 练习 C. 3-4) 
i=1 


在 上 面 最 后 一 个 和 式 中 ， 因 为 ELY], EY], s EY FPE MIAA, REH 
ELY,-. J, 一 次 作为 El Yol» 所 以 有 下 面 的 递归 式 : 


301 CRAL 45e (12. 2) 
使 用 苦 换 法 ， 下 面 证 明 对 于 所 有 的 正 整数 *， 递 归 式 (12. DAR 
EPZ 二 于 ape a 
在 求解 过 程 中 ， 将 使 用 下 面 的 等 式 : 
ToT (22.3) 


(练习 12. 4-1 要 求 读者 去 证 明 这 个 等 式 。) 
对 于 基础 情况 ， 注 意 到 两 个 界 0=Y。 二 E[Y,]<(1/4) e =1/4 M 1=Y, =ELY, J<(1/4) 


ae 


。 ) 一 1 成立。 对 于 归纳 情况 ， 有 


rl rl 
Myles Serle a 
i=0 


《由 归纳 假设 ) 


1 
4 
Cte T =i") (由 式 (12. 3)) 


7 =O) 3 
i arl Oe LR 
n 4 


4!(n—1)! 4 31n! 3 
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虽然 我 们 有 了 E[Y,] 界 ， 但 最 终 的 目标 是 要 得 到 ELX, ] 的 界 。 正 如 练习 12.44 要 求 读者 证 明 的 
函数 f(r) =2? 是 凸 的。 因此， 应 用 Jensen 不 等 式 (C. 26)， 也 就 有 


gel E[2% | = ELY, | 


如 下 可 得 : 
2x, symyd, GLADE A ter +11n+6 
“SAX 3 fA 6 24 
两 边 取 对 数 ， 得 到 ELX, |=OUgn). a 
练习 
12. 4-1 证 明 等 式 (12. 3) 。 


12. 4-2 


12. 4-3 


12. 4-4 
*12. 4-5 


请 描述 这 样 一 棵 有 个 结 点 的 二 又 搜索 树 ， 其 树 中 结 点 的 平均 深度 为 B(lgz)， 但 这 棵 树 
的 高 度 是 wllgn)。 一 棵 有 个 结 点 的 二 又 搜索 树 中 结 点 的 平均 深度 为 6(lgn)， 给 出 这 棵 
树 高 度 的 一 个 渐 近 上 界 。 

WHEA n 个 关键 字 的 随机 选择 二 叉 搜 索 树 的 概念 ， 这 里 每 一 棵 个 结 点 的 二 又 搜索 树 
是 等 可 能 地 被 选择 ， 不 同 于 本 节 中 给 出 的 随机 构建 二 又 搜索 树 的 概念 。( 提 示 : 4n=3 
时 ， 列 出 所 有 的 可 能 。) 

WEH: 函数 f(x) 二 2* BOW. 

考虑 RANDOMIZED-QUICKSORT 操作 在 ”个 互 不 相同 的 输入 数据 的 序列 上 。 证 明 : 
对 于 任何 常数 二 0,，n! 种 输入 排列 除了 其 中 的 O(1/w) 种 之 外 ， 运 行 时 间 都 
为 Otnlgn)。 


思考 题 


12-1 


12-2 


( 带 有 相同 关键 字 的 二 又 搜索 树 ) ”相同 关键 字 给 二 叉 搜 索 树 的 实现 带 来 了 问题 。 

a. 当 用 TREE-INSERT 将 nn 个 其 中 带 有 相同 关键 字 的 数据 插入 到 一 棵 初始 为 空 的 二 又 搜 
索 树 中 时 ， 其 渐 近 性 能 是 多 少 ? 

建议 通过 在 第 5 行 之 前 测试 = key= zx. key 和 在 第 11 行 之 前 测试 z. key= y. key WH 

法 ， 来 对 TREE-INSERT 进行 改进 。 如 果 相 等 ， 根 据 下 面 的 策略 之 一 来 实现 。 对 于 每 个 策 

略 ， 得 到 将 n 个 其 中 带 有 相同 关键 字 的 数据 插入 到 一 棵 初始 为 空 的 二 又 搜索 树 中 的 渐 近 性 

能 。( 对 第 5 行 描述 的 策略 是 比较 z 和 <z 的 关键 字 ， 用 于 第 11 行 的 策略 是 用 y Rx.) 

b. 在 结 点 工 设置 一 个 布尔 标志 a.b, HRE r b WE, E rX ar. left X zx. rights MHA 
一 个 与 z 关 键 字 相 同 的 结 点 时 ， 每 次 访问 x 时 交替 地 置 z.0 为 FALSE 或 TRUE。 

c 在 工 处 设置 一 个 与 x 关键 字 相同 的 结 点 列表 ， 并 将 z 插 入 到 该 列表 中 。 

d. 随机 地 置 z 为 zx. left 或 zx.right。( 给 出 最 坏 情 况 性 能 ， 并 非 形 式 地 导出 期 望 运行 
时 间 。) 

(基数 树 ) 给 定 两 个 串 aT aad "ap 和 b=bb +b, ’ 这 里 每 个 a; 和 b; 是 以 字符 集 的 某 种 次 序 出 


现 的 ， 如 果 下 面 两 种 规则 之 一 成 立 ， 就 称 串 a 按 字典 序 小 于 (lexicographically less than) 串 b; 


14 存在 一 个 整数 j， 其 中 0<j<min(p, q), 使 得 对 所 有 的 一 a;=b; 成 
Ww, Haab. 

. p 二 q， 且 对 所 有 的 i 二 0, 1, +, p, a=;. 
例如 ， 如 果 a Alb WB, ABA 10 100<10 110( 由 规则 1, He j= 二 3)，10 100<101 000 
(由 规则 2)。 这 种 次 序 类 似 于 英语 字典 中 使 用 的 排序 。 


bo 


基数 树 (radix tree) 数 据 结构 如 图 12-5 所 示 ， 这 个 树 存 储 了 位 串 1011, 10, 011, 100 和 0。 
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当 对 一 个 关键 字 aaa a, 进行 查找 时 ， 在 深度 为 i 的 一 个 结 点 处 ， 如 果 a 二 0， 则 走 左 侧 ; 如 
果 a 二 1， 则 走 右 侧 。 设 S 是 一 个 不 同位 串 组 成 的 集合 ， 各 个 串 长 度 值 和 为 nx。 说明 如 何 使 用 一 
棵 基数 树 在 9(Cz) 时 间 内 按 字典 序 对 S 进行 排序 。 对 于 图 12-5 所 示 的 例子 ， 排 序 输出 的 应 该 是 序 
3j os O11, 10, 100, 1011. 


12-3 


12-4 





图 12-5 “一 棵 基数 树 存 储 了 位 串 1011, 10, 011, 100 和 0。 每 个 结 点 的 关键 字 可 以 通过 从 
树 根 到 该 结 点 的 一 条 简单 路 径 来 确定 。 这 样 就 没有 必要 在 这 些 结 点 中 存储 关键 字 ; 
图 中 出 现 的 关键 字 仅仅 作为 描述 之 用 。 如 果 一 些 结 点 的 关键 字 不 在 树 中 ， 它 们 就 
被 标 为 深 阴 影 ; 这 些 结 点 的 存在 仅 是 为 了 建立 起 一 条 通 往 其 他 结 点 的 路 径 


(随机 构建 二 又 搜索 树 中 的 平均 结 点 深度 ) ”在 本 题 中 ， 要 证 明 有 个 结 点 的 一 棵 随机 构建 
二 叉 搜 索 树 中 的 结 点 平均 深度 为 Ol(lgn)。 虽 然 这 个 结果 弱 于 定理 12.4， 但 我 们 使 用 的 方 
法 显露 出 构建 一 棵 二 又 搜 索 树 与 7.3 节 中 的 RANDOMIZED-QUICKSORT 的 执行 之 间 有 
着 惊人 的 相似 之 处 。 

定义 一 棵 二 叉 树 工 的 路 径 总 长 度 (total path length PCD} T PRAHAA t 的 深度 之 
和 ， 对 每 个 结 点 z 的 深度 表示 为 4(zx，7T)。 
a. WEH: 工 中 的 一 个 结 点 平均 深度 是 


1 a 
raa T) = PT) 


因此 ， 我 们 希望 进一步 证 明 PC(T) 的 期 望 值 为 O(nlgn)。 
b. RT, 和 Ta 分 别 表示 树 工 的 左 子 树 和 右 子 树 ， 证 明 : WRTA nT M 
PD = POD +P Tta 
c 设 PWMRRA n MAR MUM RRR PAKE, 证明: 


nl 
PG) = 15 POL Pan i Dia- 
d. 说 明 如 何 将 P(n) 重 写 为 : 
nl 
P(n) 一 全 >) PR) + On) 
k=1 


e 思考 题 7-3 曾 给 出 随机 快速 排序 的 另 一 种 分 析 ， 试 证 明 结 论 : P(n) 二 O(nlgn)。 

在 快速 排序 的 每 次 递归 调用 时 ， 总 要 选择 一 个 随机 划分 元 来 为 待 排序 的 元 素 集合 进行 
划分 。 二 又 搜索 树 的 每 个 结 点 都 是 对 以 该 结 点 为 根 的 子 树 中 所 有 元 素 进行 划分 。 

f 请 给 出 快速 排序 的 一 种 实现 ， 使 快速 排序 中 对 一 组 元 素 的 比较 与 将 这 些 元 素 插入 一 棵 二 
又 搜索 树 中 所 需 的 比较 恰好 相同 。( 这 些 比较 的 次 序 可 以 不 同 ， 但 出 现 的 比较 一 定 要 
一 样 。) 

(不 同 二 又 树 的 数目 ) 设 馈 表示 含有 ?2 个 结 点 的 不 同 二 又 树 的 数目 。 在 本 题 中 ， 试 给 出 一 

TR b, 的 公式 和 一 个 渐 近 估计 。 

a. WEH: % 王 1 且 对 zx 之 1， 有 
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ee 
b 参考 恩 考题 44 中 生成 函数 的 定义 ， 设 BCz) 是 下 面 的 生成 函数 : 
Bea) = Sb 
E: BCz) 二 zxB(z)* 十 1， 因 此 以 闭 形式 表示 B(z) 的 一 种 方式 是 
B(x) = LU — VI—42) 
f(z) 在 点 x 二 a 处 的 泰勒 展开 式 (Taylor expansion) 4 
f(z) = > F Oaa 


这 里 SO (x) FETE x AbH k 阶 导 数 。 
. 使 用 1 一 4x 在 zx 二 0 处 的 泰勒 展开 式 ， 证 明 : 
= 1 a 
~~ welt 2 
( 即 第 ”个 Catalan 数 )。( 如 果 读 者 愿意 ， 可 以 不 用 泰勒 展开 式 ， 而 是 将 二 项 展开 式 
CC. 4) 推 广 到 非 整 数 的 指数 n 上去， 也 就 是 对 于 任何 实数 n 和 任何 整数 k， 当 宇 0 时 ， 
(局 可 以 表示 为 mx 一 D…Cz 一 人 DA， 否则 为 0。) 


ie) 





4” 


d. 证 明 : 6,= 
证 明 Ja 





C1-+-OC /n)) 


本 章 注 记 

KnuthL211] 一 书 提供 了 对 简单 二 又 搜索 树 及 其 许多 变形 的 很 好 讨论 。 二 叉 搜 索 树 似乎 在 20 
世纪 50 年 代 的 后 期 由 许多 人 独立 提出 和 发 现 。 基 数 树 经 常 被 称 为 “检索 树 ”(tries)， 它 来 自 于 单 
词 “retrieval” 的 中 间 字 母 。KnuthL211] 也 讨论 过 它们 。 

许多 教材 包括 本 书 的 前 两 个 版 本 ， 对 于 删除 一 棵 二 又 搜索 树 中 两 个 孩子 都 存在 的 结 点 ， 都 
给 出 了 一 个 稍 简单 的 方法 。 我 们 不 是 用 z 的 后 继 y 来 替代 结 点 z， 而 是 删除 结 点 y BAH y 的 
关键 字 和 其 卫星 数据 到 结 点 z 中 。 这 种 方法 的 缺陷 是 实际 被 删除 的 结 点 也 许 并 不 是 被 传递 到 删除 
过 程 中 的 那个 结 点 。 如 果 一 个 程序 的 其 他 部 分 要 维持 指向 树 中 一 些 结 点 的 指针 ， 那 么 它们 可 能 
被 这 些 指向 已 删除 结 点 的 “过 时 ?指针 带 来 错误 影响 。 虽 然 本 书 新 版 中 给 出 的 删除 方法 略 显 复杂 ， 
但 它 保 证 了 删除 结 点 z 的 调用 删除 了 结 点 z 而 仅 删除 该 结 点 。 

当 在 构建 树 前 已 知 各 个 关键 字 的 查找 频率 时 ，15. 5 节 将 讨论 如 何 构建 一 棵 最 优 的 二 又 搜索 
树 。 也 就 是 说 ， 给 定 了 每 个 关键 字 的 查找 频率 和 查找 落 在 树 中 各 关键 字 之 间 值 的 频率 ， 我 们 能 构 
建 一 棵 二 又 搜索 树 ， 使 得 服从 这 些 查 找 频率 的 查找 集合 检查 结 点 数目 最 少 。 

12.4 节 中 的 证 明 给 出 了 一 棵 随机 构建 二 又 搜索 树 的 期 望 高 度 的 界 ， 这 一 工作 归功 于 Aslam 
[24]. Martinez 和 RouraL 243] 给 出 了 用 于 二 又 搜索 树 的 插入 和 删除 的 随机 算法 ， 该 算法 使 得 使 
用 这 两 种 操作 的 结果 树 是 一 棵 随机 二 又 搜 索 树 。 然 而 ， 他 们 对 于 随机 二 又 搜索 树 的 定义 不 同 于 
本 章 中 的 随机 构建 二 叉 搜 索 树 ， 只 是 略微 不 同 而 已 。 
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第 12 章 介绍 了 一 棵 高 度 为 h 的 二 又 搜索 树 ， 它 可 以 支持 任何 一 种 基本 动态 集合 操作 ， 如 
SEARCH, PREDECESSOR, SUCCESSOR, MINIMUM, MAXIMUM, INSERT 和 DELETE 等 ， 
其 时 间 复 杂 度 均 为 OC(h)。 因 此 ， 如 果 搜 索 树 的 高 度 较 低 时 ， 这 些 集合 操作 会 执行 得 较 快 。 然 而 ， 
如 果树 的 高 度 较 高 时 ， 这 些 集合 操作 可 能 并 不 比 在 链表 上 执行 得 快 。 红 黑 树 (red-black tree) 是 许多 
“平衡 ”搜索 树 中 的 一 种 ， 可 以 保证 在 最 坏 情况 下 基本 动态 集合 操作 的 时 间 复 杂 度 为 Olgn)。 


13.1 红 黑 树 的 性 质 


红 黑 树 是 一 棵 二 又 搜索 树 ， 它 在 每 个 结 点 上 增加 了 一 个 存储 位 来 表示 结 点 的 颜色 ， 可 以 是 
RED 或 BLACK。 通过 对 任何 一 条 从 根 到 叶子 的 简单 路 径 上 各 个 结 点 的 颜色 进行 约束 ， 红 黑 树 确 
保 没 有 一 条 路 径 会 比 其 他 路 径 长 出 2 倍 ， 因 而 是 近似 于 平衡 的 。 

树 中 每 个 结 点 包含 5 个 属性 : color, key, left, right 和 p。 如 果 一 个 结 点 没有 子 结 点 或 父 
结 点 ， 则 该 结 点 相应 指针 属性 的 值 为 NIL。 我 们 可 以 把 这 些 NIL 视 为 指向 二 义 搜索 树 的 叶 结 点 
(外 部 结 点 ) 的 指针 ， 而 把 带 关键 字 的 结 点 视 为 树 的 内 部 结 点 。 

一 棵 红 黑 树 是 满足 下 面 红 黑 性 质 的 二 又 搜索 树 : 

. 每 个 结 点 或 是 红色 的 ， 或 是 黑色 的 。 

. 根 结 点 是 黑色 的 。 

. 每 个 叶 结 点 (NIL) 是 黑色 的 。 

. 如 果 一 个 结 点 是 红色 的 ， 则 它 的 两 个 子 结 点 都 是 黑色 的 。 

. 对 每 个 结 点 ， 从 该 结 点 到 其 所 有 后 代 叶 结 点 的 简单 路 径 上 ， 均 包含 相同 数目 的 黑色 结 点 。 

图 13-1(a) 显 示 了 一 个 红 黑 树 的 例子 。 

为 了 便于 处 理 红 黑 树 代码 中 的 边界 条 件 ， 使 用 一 个 哨兵 来 代表 NIL( 参 见 10. 2 节 )。 对 于 一 
棵 红 黑 树 T, HR T. nil 是 一 个 与 树 中 普通 结 点 有 相同 属性 的 对 象 。 它 的 color 属性 为 BLACK, 
而 其 他 属性 p, left, right 和 key 可 以 设 为 任意 值 。 如 图 13-1(b) 所 示 ， 所 有 指向 NIL 的 指针 都 
用 指向 哨兵 T. nil 的 指针 替换 。 

使 用 哨兵 后 ， 就 可 以 将 结 点 ch NIL 孩子 视 为 一 个 普通 结 点 ， 其 父 结 点 为 zx。 尽管 可 以 为 树 
内 的 每 一 个 NIL 新 增 一 个 不 同 的 哨兵 结 点 ， 使 得 每 个 NIL 的 父 结 点 都 有 这 样 的 良 定义 ， 但 这 种 做 法 
会 浪费 空间 。 取 而 代 之 的 是 ， 使 用 一 个 哨兵 T. nil 来 代表 所 有 的 NIL: 所 有 的 叶 结 点 和 根 结 点 的 父 结 
点 。 哨 兵 的 属性 p, left, right 和 key 的 取 值 并 不 重要 ， 尽 管 为 了 方便 起 见 可 以 在 程序 中 设 定 它们 。 

我 们 通常 将 注意 力 放 在 红 黑 树 的 内 部 结 点 上 ， 因 为 它们 存储 了 关键 字 的 值 。 在 本 章 的 后 面 
部 分 ， 所 画 的 红 黑 树 都 忽略 了 叶 结 点 ， 如 图 13-1(c) 所 示 。 

从 某 个 结 点 工 出 发 (不 含 该 结 点 ) 到 达 一 个 叶 结 点 的 任意 一 条 简单 路 径 上 的 黑色 结 点 个 数 称 为 该 结 
点 的 黑 高 (black-height)， 记 为 bhCz) 。 根 据 性 质 5， 黑 高 的 概念 是 明确 定义 的 ， 因 为 从 该 结 点 出 发 的 所 
有 下 降 到 其 叶 结 点 的 简单 路 径 的 黑 结 点 个 数 都 相同 。 于 是 定义 红 黑 树 的 黑 高 为 其 根 结 点 的 黑 高 。 

下 面 的 引 理 说 明了 为 什么 红 黑 树 是 一 种 好 的 搜索 树 。 

引 理 13.1 一 棵 有 nn 个 内 部 结 点 的 红 黑 树 的 高 度 至 多 为 2lg(z 十 1) 。 

证 明 ” 先 证 明 以 任 一 结 点 zx 为 根 的 子 树 中 至 少 包含 2"2 一 1 个 内 部 结 点 。 要 证 明 这 点 ， 对 工 
的 高 度 进行 归纳 。 如 果 z 的 高 度 为 0， 则 z 必 为 叶 结 点 (Tnil)， 且 以 z 为 根 结 点 的 子 树 至 少 包含 
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2h 一 1 一 2 一 1 一 0 个 内 部 结 点 。 对 于 归纳 步 又 ， 考 虑 一 个 高 度 为 正 值 且 有 两 个 子 结 点 的 内 部 结 点 
zx。 每 个 子 结 点 有 黑 高 bh(z) 或 bh(z) 一 1， 其 分 别 取决 于 自身 的 颜色 是 红 还 是 黑 。 由 于 工 子 结 点 的 
高 度 比 zx 本 身 的 高 度 要 低 ， 可 以 利用 归纳 假设 得 出 每 个 子 结 点 至 少 有 OO 一 1 个 内 部 结 点 的 结 
论 。 于是， 以 z 为 根 的 子 树 至 少 包 含 (2n2 二 一 1D) 十 (282 一 一 1]) 十 1 一 2292 一 1 个 内 部 结 点 ， 因 此 得 证 。 





图 13-1 一 棵 红 黑 树 ， 其 中 黑 结 点 涂 黑 ， 红 结 点 以 浅 阴影 表示 。 在 一 棵 红 黑 树 内 ， 每 个 结 点 或 
红 或 黑 ， 红 结 点 的 两 个 子 结 点 都 是 黑色 ， 且 从 每 个 结 点 到 其 后 代 叶 结 点 的 每 条 简单 路 
径 上 ， 都 包含 相同 数目 的 黑 结 点 。(a) 每 个 标 为 NIL 的 叶 结 点 都 是 黑 的 。 每 个 非 NIL 结 
点 都 标 上 它 的 黑 高 ; NIL 的 黑 高 为 0。(b) 同 样 的 这 棵 红 黑 树 ， 不 是 用 一 个 个 的 NIL 表 
示 ， 而 用 一 个 总 是 黑色 的 哨兵 T. nil 来 代替 ， 它 的 黑 高 也 被 省 略 。 根 结 点 的 父 结 点 也 是 
这 个 哨兵 。(c) 同 样 的 这 棵 红 黑 树 ， 其 叶 结 点 与 根 结 点 的 父 结 点 全 部 被 省 略 。 本 章 的 其 


余部 分 也 采用 这 种 画图 方式 
为 完成 引 理 的 证 明 ， 设 及 为 树 的 高 度 。 根 据 性 质 4， 从 根 到 叶 结 点 (不 包括 根 结 点 ) 的 任何 一 、[309 
条 简单 路 径 上 都 至 少 有 一 半 的 结 点 为 黑色 。 因 此 ， 根 的 黑 高 至 少 为 h/2; 于 是 有 He 
n> 2—1 
把 1 移 到 不 等 式 的 左边 ， 再 对 两 边 取 对 数 ， 得 到 lg(n 十 1) 宇 h/2, 或 者 h<21g(n 十 1)，。 m 


由 该 引 理 可 知 ， 动 态 集合 操作 SEARCH, MINIMUM, MAXIMUM, SUCCESSOR 和 
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PREDECESSOR 可 在 红 黑 树 上 在 O(lgn) 时 间 内 执行 ， 因 为 这 些 操作 在 一 棵 高 度 为 h 的 二 叉 搜索 
树 上 的 运行 时 间 为 OC(h) (参见 第 12 章 )， 而 任何 包含 个 结 点 的 红 黑 树 又 都 是 高 度 为 Ollgn) 的 二 
叉 搜 索 树 。( 当 然 ， 在 第 12 章 的 算法 中 ，NIL 的 引用 必须 用 T. nil 来 代替 。) 虽 然 当 给 定 一 棵 红 黑 
树 作为 输入 时 ， 第 12 章 的 算法 TREE-INSERT 和 TREE-DELETE 的 运行 时 间 为 O(lgn)， 但 是 
这 两 个 算法 并 不 直接 支持 动态 集合 操作 INSERT 和 DELETE， 因 为 它们 并 不 能 保证 被 这 些 操作 
修改 过 的 二 叉 搜 索 树 仍 是 红 黑 树 。 那 么 如 何在 时 间 OCgn) 内 支持 这 两 个 操作 呢 ， 我 们 将 在 13. 3 
节 和 13.4 节 中 介绍 。 


练习 


13.1-1 按照 图 13-1(a) 的 方式 ， 画 出 在 关键 字 集合 (1，2，…，15} 上 高 度 为 3 的 完全 二 又 搜索 
树 。 以 三 种 不 同方 式 向 图 中 加 入 NIL 叶 结 点 并 对 各 结 点 着 色 ， 使 所 得 的 红 黑 树 的 黑 高 分 
别 为 2、3 和 4。 

13.1-2 ”对 图 13-1 中 的 红 黑 树 ， 画 出 对 其 调用 TREE-INSERT 操作 插入 关键 字 36 后 的 结果 。 如 
果 插 人 的 结 点 被 标 为 红色 ， 所 得 的 树 是 否 还 是 一 棵 红 黑 树 ? 如 果 该 结 点 被 标 为 黑色 呢 ? 

13. 1-3 ”定义 一 棵 松弛 红 黑 树 (relaxed red-black tree) 为 满足 红 黑 性 质 1、3、4 和 5 的 二 又 搜索 
树 。 换 句 话说 ， 根 结 点 可 以 是 红色 或 是 黑色 。 考 虑 一 棵 根 结 点 为 红色 的 松弛 红 黑 树 T。 
如 果 将 工 的 根 结 点 标 为 黑色 而 其 他 都 不 变 ， 那 么 所 得 到 的 是 否 还 是 一 棵 红 黑 树 ? 

13. 1-4 假设 将 一 棵 红 黑 树 的 每 一 个 红 结 点 “吸收 ”到 它 的 黑色 父 结 点 中 ， 使 得 红 结 点 的 子 结 点 变 
成 黑色 父 结 点 的 子 结 点 (忽略 关键 字 的 变化 ) 。 当 一 个 黑 结 点 的 所 有 红色 子 结 点 都 被 吸收 
后 ， 它 可 能 的 度 为 多 少 ? 所 得 的 树 的 叶 结 点 深度 如 何 ? 

13. 1-5 证 明 : 在 一 棵 红 黑 树 中 ， 从 某 结 点 并 到 其 后 代 叶 结 点 的 所 有 简单 路 径 中 ， 最 长 的 一 条 至 
多 是 最 短 一 条 的 2 倍 。 

13. 1-6 ”在 一 棵 黑 高 为 & 的 红 黑 树 中 ， 内 部 结 点 最 多 可 能 有 多 少 个 ? 最 少 可 能 有 多 少 个 ? 

13.1-7 试 描述 一 棵 含有 个 关键 字 的 红 黑 树 ， 使 其 红色 内 部 结 点 个 数 与 黑色 内 部 结 点 个 数 的 比 
值 最 大 。 这 个 比值 是 多 少 ? 该 比值 最 小 的 树 又 是 怎样 呢 ? 比值 是 多 少 ? 


13.2 旋转 


搜索 树 操作 TREE-INSERT 和 TREE-DELETE 在 舍 n 个 关键 字 的 红 黑 树 上， 运行 花费 时 间 
为 Ol(lgn)。 由 于 这 两 个 操作 对 树 做 了 修改 ， 结 果 可 能 违反 13. 1 节 中 列 出 的 红 黑 性 质 。 为 了 维护 
这 些 性 质 ， 必 须要 改变 树 中 某 些 结 点 的 颜色 以 及 指针 结构 。 

指针 结构 的 修改 是 通过 旋转 (ratation) 来 完成 的 ， 这 是 一 种 能 保持 二 又 搜索 树 性 质 的 搜索 树 局 
部 操作 。 图 13-2 中 给 出 了 两 种 旋转 : 左旋 和 右 旋 。 当 在 某 个 结 点 zx 上 做 左旋 时 ,假设 它 的 右 孩 子 
为 y 而 不 是 Tnil; 可 以 为 其 右 孩 子 不 是 T. nil 结 点 的 树 内 任意 结 点 。 左 旋 以 x 到 y 的 链 为 “ 支 
轴 ” 进 行 。 它 使 y 成 为 该 子 树 新 的 根 结 点 ，z 成 为 y 的 左 孩 子 ，y 的 左 孩 子 成 为 zx 的 右 孩 子 。 


CREEROMTE # 


RIGHT-ROTATE(T y) 





图 13-2 ”二 叉 搜索 树 上 的 旋转 操作 。 操 作 LEFT-ROTATE (T，z) 通 过 改变 常数 数目 的 指针 ， 可 以 将 右边 两 
个 结 点 的 结构 转变 成 左边 的 结构 。 左 边 的 结构 可 以 使 用 相反 的 操作 RIGHT-ROTATE (T，y) 来 转 
变 成 右边 的 结构 。 字 和 母 a、B 和 7 代表 任意 的 子 树 。 旋 转 操作 保持 了 二 叉 搜索 树 的 性 质 : a 的 
KEFE. key 之 前 ，z. key 在 PB 的 关键 字 之 前 ，B 的 关键 字 在 y. key 之 前 ，y. key Ey 的 关 
键 字 之 前 
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在 LEFT-ROTATE 的 伪 代 码 中 ， 假 设 x. rightAT. nil 且 根 结 点 的 父 结 点 为 T. nil. 


LEFT-ROTATE(T, x) 
1 y= zx. right // set y 

x. right = y. left // turn y’s left subtree into x’s right subtree 
if y. left Æ T. nil 

y. left. p = zx 
y.p = z.p // link x’s parent to y 
if z. p == T. nil 

T. root = y 
elseif r == x. p. left 

az. p: left=y 

10 else x. p. right = y 
11 y.left =z // put x on y’s left 


wo O n Ooan A wo Wd 


12 xup=y 

图 13-3 给 出 了 一 个 LEFT-ROTATE 操作 修改 二 又 搜索 树 的 例子 。RIGHT-ROTATE 操作 的 
代码 是 对 称 的 。LEFT-ROTATE 和 RIGHT-ROTATE 都 在 O(1) 时 间 内 运行 完成 。 在 旋转 操作 中 
只 有 指针 改变 ， 其 他 所 有 属性 都 保持 不 变 。 





图 13-3 过 程 LEFT-ROTATE(T，z) 修 改 二 叉 搜 索 树 的 例子 。 输 入 的 树 
和 修改 过 的 树 进行 中 序 遍 历 ， 产 生 相同 的 关键 字 值 列表 


练习 

13.2-1 写 出 RIGHT-ROTATE WARE. 

13.2-2 证 明 : 在 任何 一 棵 有 7 个 结 点 的 二 又 搜 索 树 中 ， 恰 有 nn 一 1 种 可 能 的 旋转 。 

13.2-3 WER 13-2 左边 一 棵 树 中 ，a、2 和 < 分别 为 子 树 a、B8 和 7 中 的 任意 结 点 。 当 结 点 并 左 
WZ, a, bc 的 深度 会 如 何 变化 ? 

13.2-4 证 明 : 任何 一 棵 含 ” 个 结 点 的 二 又 搜索 树 可 以 通过 O(z) 次 旋转 ， 转 变 为 其 他 任何 一 棵 
En TAAR LURRA. GAT: 先 证 明 至 多 "一 1 次 右 旋 足 以 将 树 转 变 为 一 条 右 侧 伸 
展 的 链 。) 
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*13.2-5 如果 能 够 使 用 一 系列 的 RIGHT-ROTATE 调用 把 一 个 二 又 搜索 树 T, 变 为 二 又 搜索 树 
Tr,» WERK T, 可 以 右 转 (right-converted) 成 T;。 试 给 出 一 个 例子 表示 两 棵 树 T, MAT, H 


7 ET REBERR To RE WE: 如 果 全 TUERR To BGA EMT LOGE ) 次 
314 RIGHT-ROTATE 调用 来 实现 右 转 。 
13.3 插入 


我 们 可 以 在 Ol(lgn) 时 间 内 完成 向 一 棵 含 ”个 结 点 的 红 黑 树 中 插入 一 个 新 结 点 。 为 了 做 到 这 
一 点 ， 利 用 TREE-INSERT 过 程 ( 参 见 12. 3 节 ) 的 一 个 略 作 修 改 的 版 本 来 将 结 点 = 插 人 树 工 内 ， 
就 好 像 工 是 一 棵 普通 的 二 叉 搜 索 树 一 样 ， 然 后 将 z 着 为 红色 。 (练习 13. 3-1 要 求解 释 为 什么 选择 
将 结 点 = 着 为 红色 ， 而 不 是 黑色 。) 为 保证 红 黑 性 质 能 继续 保持 ， 我 们 调用 一 个 辅助 程序 RB- 
INSERT-FIXUP 来 对 结 点 重新 着 色 并 旋转 。 调 用 RB-INSERT(T，z) 在 红 黑 树 工 内 插入 结 点 z， 
假设 z 的 key 属性 已 被 事先 赋值 。 


RB-INSERT(T, z) 
l y= T.nil 
2 x= T.root 
3 while z Æ T. nil 
4 =e 
5 if z. key < x. key 
6 x = z. left 
7 else z = x. right 
8 zp=y 
9 ify == T.nil 
10 T. root = z 
11 elseif z. key < y. key 
12 y. left =z 
13 else y. right = z 
l4 zleft = T. nil 
15 z. right = T. nil 
16 z. color = RED 
17 RB-INSERT-FIXUP(T, z) 


过 程 TREE-INSERT 和 RB-INSERT 之 间 有 4 处 不 同 。 第 一 ，TREE-INSERT 内 的 所 有 NIL 
都 被 工 nil RÆ. EL, RBINSERT 的 第 14 一 15 47E x. left Az. right 为 T.nil， 以 保持 合理 的 
树 结构 。 第 三 ， 在 第 16 行将 = 着 为 红色 。 第 四 ， 因 为 将 z 着 为 红色 可 能 违反 其 中 的 一 条 红 黑 性 
质 ， 所 以 在 RB-INSERT 的 第 17 行 中 调用 RB-INSERT-FIXUP(T，z) 来 保持 红 黑 性 质 。 
RB-INSERT-FIXUP(T, z) 
1 while z. p. color == RED 
2 if z. p == z. p. p. left 


3 y = z. p. p. right 

4 if y. color == RED 

5 z. p. color = BLACK // case 1 
6 y. color = BLACK // case 1 
7 z. p. p. color = RED // case 1 
8 z=z. p.p // case 1 
9 else if z == z. p. right 


10 z=z. p // case 2 
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11 LEFT-ROTATEC(T, z) // case 2 
12 z. p. color = BLACK // case 3 
13 z. p. p. color = RED // case 3 
14 RIGHT-ROTATECT, z. p. p) // case 3 
15 else(same as then clause 


with “right” and “left” exchanged) 
16 T. root. color = BLACK 


为 了 理解 RB-INSERT-FIXUP 过 程 如 何 工作 ， 把 代码 分 为 三 个 主要 的 步 又。 首先 ， 要 确定 
当 结 点 z 被 插入 并 着 为 红色 后 ， 红 黑 性 质 中 有 哪些 不 能 继续 保持 。 其 次 ， 应 分 析 第 1 一 15 行 中 
while 循环 的 总 目标 。 最 后 ， 要 分 析 while 循环 体 中 的 三 种 情况 ?3， 看 看 它们 是 如 何 完成 目标 的 。 
图 13-4 给 出 一 个 范例 ， 显 示 在 一 棵 红 黑 树 上 RB-INSERT-FIXUP 如 何 操作 。 


(a) 


(b) 


CG) 





13-4 RB-INSERT-FIXUP 操作 。(a) 插 入 后 的 结 点 z。 由 于 2 和 它 的 父 结 点 z. p 都 是 红色 
的 ， 所 以 违反 了 性 质 4。 由 于 z 的 叔 结 点 y 是 红色 的 ， 可 以 应 用 程序 中 的 情况 1。 结 
点 被 重新 着 色 ， 并 且 指 针 = 沿 树 上 升 ， 所 得 的 树 如 (b) 所 示 。 再 一 次 = 及 其 父 结 点 又 
都 为 红色 ， 但 z 的 叔 结 点 y 是 黑色 的 。 因 为 z 是 z.p 的 右 孩 子 ， 可 以 应 用 情况 2。 在 
执行 1 次 左旋 之 后 ， 所 得 结果 树 见 (c) 。 现 在 ，z 是 其 父 结 点 的 左 孩 子 ， 可 以 应 用 情 
况 3。 重 新 着 色 并 执行 一 次 右 旋 后 得 (d) 中 的 树 ， 它 是 一 棵 合法 的 红 黑 树 


日 ”情况 2 可 以 转 为 情况 3， 于 是 这 两 种 情况 就 不 是 各 自 独立 的 了 。 
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在 调用 RB-INSERT-FIXUP 操作 时 ， 哪 些 红 黑 性 质 可 能 会 被 破坏 呢 ? 性 质 1 和 性 质 3 继续 成 
立 ， 因 为 新 插入 的 红 结 点 的 两 个 子 结 点 都 是 哨兵 T.nil。 性 质 5， 即 从 一 个 指定 结 点 开始 的 每 条 
简单 路 径 上 的 黑 结 点 的 个 数 都 是 相等 的 ， 也 会 成 立 ， 因 为 结 点 = 代替 了 (黑色 ) 哨 兵 ， 并 且 结 点 = 
本 身 是 有 哨兵 孩子 的 红 结 点 。 这 样 来 看 ， 仅 可 能 被 破坏 的 就 是 性 质 2 和 性 质 4， 即 根 结 点 需要 为 
黑色 以 及 一 个 红 结 点 不 能 有 红 孩 子 。 这 两 个 性 质 可 能 被 破坏 是 因为 = 被 着 为 红色 。 如 果 z 是 根 结 
点 ， 则 破坏 了 性 质 2; 如 果 z 的 父 结 点 是 红 结 点 ， 则 破坏 了 性 质 4。 图 13-4(a) 显示 在 插入 结 点 zx 
之 后 性 质 4 被 破坏 的 情况 。 

第 1 一 15 行 中 的 while 循环 在 每 次 迭代 的 开头 保持 下 列 3 个 部 分 的 不 变 式 : 

a. 结 点 z 是 红 结 点 。 

b. 如 果 z. p 是 根 结 点 ， 则 z p 是 黑 结 点 。 

_c. 如 果 有 任何 红 黑 性 质 被 破坏 ， 则 至 多 只 有 一 条 被 破坏 ,或 是 性 质 2， 或 是 性 质 4。 如 果 性 
质 2 被 破坏 ， 其 原因 为 z 是 根 结 点 且 是 红 结 点 。 如 果 性 质 4 被 破坏 ， 其 原因 为 zA z. p 都 是 红 
结 点 。 

c 部 分 处 理 红 黑 性 质 的 破坏 ， 相 比 a 部 分 和 部 分 来 说 ， 显 得 更 是 RB-INSERT-FIXUP 保持 
红 黑 性 质 的 中 心 内 容 ， 我 们 以 此 来 理解 代码 中 的 各 种 情形 。 由 于 将 注意 力 集 中 在 结 点 z 以 及 树 中 
靠近 它 的 结 点 上 ， 所 以 有 助 于 从 a 部 分 得 知 z 为 红 结 点 。 当 在 第 2、3、7、8、13 和 14 行 中 引用 
z. p. p 时 ,我们 使 用 b 部 分 来 表明 它 的 存在 。 

需要 证 明 在 循环 的 第 一 次 迭代 之 前 循环 不 变 式 为 真 ， 每 次 迭代 都 保持 这 个 循环 不 变 式 成 立 ， 
并 且 在 循环 终止 时 ， 这 个 循环 不 变 式 会 给 出 一 个 有 用 的 性 质 。 

先 从 初始 化 和 终止 的 不 变 式 证 明 开始 。 然 后 ， 依 据 细 致 地 考察 循环 体 如 何 工 作 ， 来 证 明 循环 
在 每 次 迭代 中 都 保持 这 个 循环 不 变 式 。 同 时 ， 还 要 说 明 循 环 的 每 次 迭代 会 有 两 种 可 能 的 结果 : 或 
者 指针 = 沿 着 树 上 移 ， 或 者 执行 某 些 旋转 后 循环 终止 。 

初始 化 : 在 循环 的 第 一 次 迭代 之 前 ， 从 一 棵 正常 的 红 黑 树 开 始 ， 并 新 增 一 个 红 结 点 z。 

要 证 明 当 RB-INSERT-FIXUP 被 调用 时 ， 不 变 式 的 每 个 部 分 都 成 立 。 

a. 当 调 用 RB-INSERT-FIXUP BY, z 是 新 增 的 红 结 点 。 

b. WR z. p 是 根 ， 那 么 z p 开始 是 黑色 的 ， 且 在 调用 RB-INSERT-FIXUP 之 前 保持 不 变 。 

ce 注意 到 在 调用 RB-INSERT-FIXUP Hj, 性质 1、 性 质 3 和 性 质 5 成 立 。 

如 果 违 反 了 性 质 2， 则 红色 根 结 点 一 定 是 新 增 结 点 z， 它 是 树 中 唯一 的 内 部 结 点 。 因 为 z 的 
父 结 点 和 两 个 子 结 点 都 是 黑色 的 哨兵 ， 没 有 违反 性 质 4。 这 样 ， 对 性 质 2 的 违反 是 整 棵 树 中 唯一 
违反 红 黑 性 质 的 地 方 。 

如 果 违 反 了 性 质 4， 则 由 于 z 的 子 结 点 是 黑色 哨兵 ， 且 该 树 在 z 加 入 之 前 没有 其 他 性 质 的 违 
反 ， 所 以 违反 必然 是 因为 z 和 xz. zp 都 是 红色 的 。 而且， 没有 其 他 红 黑 性 质 被 违反 。 

终止 : 循环 终止 是 因为 z. p 是 黑色 的 。( 如 果 z 是 根 结 点 ， 那 么 z p PREM T. nil,) 这 
样 ， 树 在 循环 终止 时 没有 违反 性 质 4。 根 据 循环 不 变 式 ， 唯 一 可 能 不 成 立 的 是 性 质 2。 第 16 行 恢 
复 这 个 性 质 ， 所 以 当 RB-INSERT-FIXUP 终止 时 ， 所 有 的 红 黑 性 质 都 成 立 。 

保持 : 实际 需要 考虑 while 循环 中 的 6 种 情况 ， 而 其 中 三 种 与 另外 三 种 是 对 称 的 。 这 取决 于 第 2 
行 中 zz 的 父 结 点 zp 是 z 的 祖父 结 点 z p p EBT, BERBAT. RIRAN z p 是 左 孩 子 时 的 代 
码 。 根 据 循环 不 变 式 的 b 部 分 ， 如果 z p 是 根 结 点 ， 那 么 z p 是 黑色 的 ， 可 知 结 点 z p p 存在。 因为 
只 有 在 p 是 红色 时 才 进 入 一 次 循环 迭代 ， 所 以 z p 不 可 能 是 根 结 点 。 因 此 ，z. p. p 存在 。 

情况 1 和 情况 2、 情 况 3 的 区 别 在 于 z 父 亲 的 兄弟 结 点 (或 称 为 “ 叔 结 点 ”) 的 颜色 不 同 。 第 3 行 
使 y 指 向 z 的 叔 结 点 z p. p right， 在 第 4 行 测试 y 的 颜色 。 如 果 y 是 红色 的 ， 那么 执行 情况 1。 否 
则 ， 控 制 转向 情况 2 和 情况 3 上 。 在 所 有 三 种 情况 中 ，z 的 祖父 结 点 z. p p 是 黑色 的 ， 因 为 它 的 
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父 结 点 = p 是 红色 的 ， 故 性 质 4 只 在 z 和 zx. 之 间 被 破坏 了 。 

情况 1: z 的 叔 结 点 y 是 红色 的 

图 13-5 显示 了 情况 1( 第 5 一 8 行 ) 的 情形 ， 这 种 情况 在 z p 和 yy 都 是 红色 时 发 生 。 因 为 
z. p p ERER, AK z p Ay 都 着 为 黑色 ， 以 此 解决 z 和 xz. p 都 是 红色 的 问题 ,将 z. p pE 
为 红色 以 保持 性 质 5。 然 后 ， 把 z. p. p 作为 新 结 点 z REM while 循环 。 指针 = 在 树 中 上 移 两 层 。 





图 13-5 过程 RB-INSERT-FIXUP 中 的 情况 1。 性 质 4 被 违反 ， 因 为 z 和 它 的 父 结 点 z. p 
都 是 红色 的 。 无 论 是 一 个 右 孩 子 (图 (a)) 还 是 一 个 左 孩 子 ( 图 (b))， 都 同样 处 
理 。 每 一 棵 子 树 <、B、7Y、6 和 e 都 有 一 个 黑色 根 结 点 ， 而 且 具 有 相同 的 黑 高 。 
情况 1 的 代码 改变 了 某 些 结 点 的 颜色 ， 但 保持 了 性 质 5: 从 一 个 结 点 向 下 到 一 个 
叶 结 点 的 所 有 简单 路 径 都 有 相同 数目 的 黑 结 点 。while 循环 将 结 点 z 的 祖父 
z. p. 作为 新 的 z 以 继续 迭代 。 现 在 性 质 4 的 破坏 只 可 能 发 生 在 新 的 红色 结 点 z 
和 它 的 父 结 点 之 间 ， 条 件 是 如 果 父 结 点 也 为 红色 的 


现在 ， 证 明 情 况 1 在 下 一 次 循环 迭代 的 开头 会 保持 这 个 循环 不 变 式 。 用 z 表示 当前 迭代 中 的 
结 点 z， 用 x =z. p. p 表示 在 下 一 次 迭代 第 1 行 测试 时 的 结 点 zo 

a. 因为 这 次 迭代 把 =. p. p 着 为 红色 ， 结 点 x 在 下 次 迭代 的 开始 是 红色 的 。 

b 在 这 次 迭代 中 结 点 z.p 是 z. p. p. p， 且 这 个 结 点 的 颜色 不 会 改变 。 如 果 它 是 根 结 点 ， 则 
在 此 次 迭代 之 前 它 是 黑色 的 ， 且 它 在 下 次 迭代 的 开头 仍然 是 黑色 的 。 

c. 我 们 已 经 证 明 情 况 1 保持 性 质 5， 而 且 它 也 不 会 引起 性 质 1 或 性 质 3 的 破坏 。 

如 果 结 点 z 在 下 一 次 迭代 开始 时 是 根 结 点 ， 则 在 这 次 迭代 中 情况 1 修正 了 唯一 被 破坏 的 性 质 
4。 由 于 是 红色 的 而 且 是 根 结 点 ， 所 以 性 质 2 成 为 唯一 被 违反 的 性 质 ， 这 是 由 x 导致 的 。 

如 果 结 点 x 在 下 一 次 迭代 开始 时 不 是 根 结 点 ， 则 情况 1 不 会 导致 性 质 2 的 破坏 。 情 况 1 修正 
了 在 这 次 迭代 的 开始 唯一 违反 的 性 质 4。 然 后 它 把 x 着 为 红色 而 zx'.p 不 变 。 如 果 z. p 是 黑色 的 ， 
则 没有 违反 性 质 4。 如 果 2’. p 是 红色 的 ， 则 把 x 着 为 红色 会 在 z' Se. p 之 间 造 成 性 质 4 的 违反 。 

情况 2: z ORAA y 是 黑色 的 且 z 是 一 个 右 孩 子 

情况 3: “的 叔 结 点 是 黑色 的 且 z 是 一 个 左 孩 子 

在 情况 2 和 情况 3 中 ，z 的 叔 结 点 y 是 黑色 的 。 通 过 > 是 =. p 的 右 孩 子 还 是 左 孩 子 来 区 别 这 
两 种 情况 。 第 10 一 11 行 构成 了 情况 2， 它 和 情况 3 一 起 显示 在 图 13-6 中 。 在 情况 2 中 ， 结 点 z 
是 它 的 父 结 点 的 右 孩 子 。 可 以 立即 使 用 一 个 左旋 来 将 此 情形 转变 为 情况 3( 第 12~14 行 )， 此 时 
结 点 z 为 左 孩 子 。 因 为 z 和 xz. zp 都 是 红色 的 ， 所 以 该 旋转 对 结 点 的 黑 高 和 性 质 5 都 无 影响 。 无 论 
是 直接 进入 情况 2， 还 是 通过 情况 3 进入 情况 2，z 的 叔 结 点 y 总 是 黑色 的 ， 因 为 否则 就 要 执行 情 
Bil. Wb, Bis z p.p 存 在， 因为 已 经 推断 在 执行 第 2 行 和 第 3 行 时 该 结 点 存在 ， 且 在 第 10 
行将 z 往 上 移 一 层 ， 然 后 在 第 11 行将 z 往 下 移 一 层 之 后 ，z. P p 的 身份 保持 不 变 。 在 情况 3 中 ， 
改变 某 些 结 点 的 颜色 并 做 一 次 右 旋 ， 以 保持 性 质 5。 这 样 ， 由 于 在 一 行 中 不 再 有 两 个 红色 结 点 ， 
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所 有 的 处 理 到 此 完毕 。 因 为 此 时 z. p 是 黑色 的 ， 所 以 无 需 再 执行 一 次 while 循环 。 





情况 2 情况 3 


图 13-6 ”过程 RB-INSERT-FIXUP 中 的 情况 2 和 情况 3。 如 同情 况 1， 由 于 x 和 它 的 父 结 点 z.p 
都 是 红色 的 ， 性 质 4 在 情况 2 或 情况 3 中 会 被 破坏 。 每 一 棵 子 树 a、B、Y 和 6 都 有 一 个 
黑色 根 结 点 (a、B 和 7 是 由 性 质 4 而 来 ， 6 也 有 黑色 根 结 点 ， 因 为 否则 将 导致 情况 1), 
而 且 具 有 相同 的 黑 高 。 通 过 左旋 将 情况 2 转变 为 情况 3， 以 保持 性 质 5: 从 一 个 结 点 向 
下 到 一 个 叶 结 点 的 所 有 简单 路 径 都 有 相同 数目 的 黑 结 点 。 情 况 3 引起 某 些 结 点 颜色 的 
改变 ， 以 及 一 个 同样 为 了 保持 性 质 5 的 右 旋 。 然 后 while 循环 终止 ， 因 为 性 质 4 已 经 得 
到 了 满足 : 一 行 中 不 再 有 两 个 红色 结 点 


现在 来 证 明 情 况 2 和 情况 3 保持 了 循环 不 变 式 。( 正 如 已 经 讨论 的 ，z. p ER 1 行 中 下 一 次 
测试 会 是 黑色 ， 循 环 体 不 会 再 次 执行 。) 

a. 情况 2 让 z 指向 红色 的 z. p。 在 情况 2 和 情况 3 中 z 或 z 的 颜色 都 不 再 改变 。 

b. 情况 3 把 z. p 着 成 黑色 ， 使 得 如 果 z. p 在 下 一 次 迭代 开始 时 是 根 结 点 ， 则 它 是 黑色 的 。 

c 如 同情 况 1， 性 质 1、 性 质 3 和 性 质 5 在 情况 2 与 情况 3 中 得 以 保持 。 

由 于 结 点 z 在 情况 2 和 情况 3 中 都 不 是 根 结 点 ， 所 以 性 质 2 没有 被 破坏 。 情 况 2 和 情况 3 不 会 
引起 性 质 2 的 违反 ， 因 为 唯一 着 为 红色 的 结 点 在 情况 3 中 通过 旋转 成 为 一 个 黑色 结 点 的 子 结 点 。 

情况 2 和 情况 3 修正 了 对 性 质 4 的 违反 ， 也 不 会 引起 对 其 他 红 黑 性 质 的 违反 。 

证 明了 循环 的 每 一 次 迭代 都 会 保持 循环 不 变 式 之 后 ， 也 就 证 明了 RB-INSERT-FIXUP 能 够 
正确 地 保持 红 黑 性 质 。 

分 析 

RB-INSERT 的 运行 时 间 怎 样 呢 ? 由 于 一 棵 有 nn 个 结 点 的 红 黑 树 的 高 度 为 Ol(lgn)， 因 此 RB- 
INSERT 的 第 1 一 16 行 要 花费 Ol(lgn) 时 间 。 在 RB-INSERT-FIXUP 中 ， 仅 当 情 况 1 发 生 ， 然 后 指 
针 z 沿 着 树 上 升 2 层 ，while 循环 才 会 重复 执行 。 所 以 while 循环 可 能 被 执行 的 总 次 数 为 O(lgn)。 
因此 ，RB-INSERT 总 共 花 费 Ol(lgn) 时 间 。 此 外 ， 该 程序 所 做 的 旋转 从 不 超过 2 次 ， 因 为 只 要 执 
行 了 情况 2 或 情况 3，while 循环 就 结束 了 。 


练习 


13.3-1 在 RB-INSERT 的 第 16 行 ， 将 新 插入 的 结 点 = GAA. ERE, WRK z 着 为 黑色 ， 
则 红 黑 树 的 性 质 4 就 不 会 被 破坏 。 那 么 为 什么 不 选择 将 z 着 为 黑色 呢 ? 

13.3-2 将 关键 字 41、38、31、12、19、8 连续 地 插入 一 棵 初始 为 空 的 红 黑 树 之 后 ， 试 画 出 该 结 
果树 。 

13.3-3 假设 图 13-5 和 图 13-6 PFR a. B y OMe 的 黑 高 都 是 k。 给 每 张 图 中 的 每 个 结 点 标 上 
黑 高 ， 以 验证 图 中 所 示 的 转换 能 保持 性 质 5。 

13.3-4 Teach 教授 担心 RB-INSERT-FIXUP 可 能 将 T. nil. color 设 为 RED， 这 时 ， 当 z 为 根 时 ， 
第 1 行 的 测试 就 不 会 让 循环 终止 。 通 过 讨论 RB-INSERT-FIXUP 永远 不 会 将 T. nil. color 
设置 为 RED， 来 说 明 这 位 教授 的 担心 是 没有 必要 的 。 

13.3-5 考虑 一 棵 用 RB-INSERT 插入 nn 个 结 点 而 成 的 红 黑 树 。 证 明 : 如 果 zx 之 1， 则 该 树 至 少 有 
一 个 红 结 点 。 
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13.3-6 说明 如 果 红 黑 树 的 表示 中 不 提供 父 指针 ， 应 当 如 何 有 效 地 实现 RB-INSERT 


13.4 删除 

与 n 个 结 点 的 红 黑 树 上 的 其 他 基本 操作 一 样 ， 删 除 一 个 结 点 要 花费 OC(lgn) 时 间 。 与 插入 操 
作 相 比 ， 删 除 操作 要 稍微 复杂 些 。 

从 一 棵 红 黑 树 中 删除 结 点 的 过 程 是 基于 TREE-DELETE 过 程 ( 见 12. 3 节 ) 而 来 的 。 首 先 ， 需 
要 特别 设计 一 个 供 TREE-DELETE 调用 的 子 过 程 TRANSPLANT， 并 将 其 应 用 到 红 黑 树 上 : 


RB-TRANSPLANT(T, u, v) 

1 ifu. p == T. nil 

2 T. root = v 

3 elseif u == u. p. left 

4 up. left=v 

5 else u. p. right = v 

6up=up 

过 程 RB-TRANSPLANT 5 TRANSPLANT 有 两 点 不 同 。 首 先 ， 第 1 行 引用 哨兵 T. nil 而 不 
Æ NIL, EK, $ 6 行 对 v p 的 赋值 是 无 条 件 执 行 :， 即使 v 指 向 哨兵 ， 也 要 对 v p 赋值 。 实 际 
Es 当 v= T. nil 时 ， 也 能 给 Us 力 赋 值 。 

过 程 RB-DELETE 与 TREE-DELETE 类 似 ， 只 是 多 了 几 行 伪 人 代码。 多 出 的 几 行 代码 记录 结 
点 > 的 踪迹 ，y 有 可 能 导致 红 黑 性 质 的 破坏 。 当 想 要 删除 结 点 z， 且 此 时 z 的 子 结 点 少 于 2 个 时 ， 
z 从 树 中 删除 ， 并 让 y 成 为 >。 当 = 有 两 个 子 结 点 时 ，y 应 该 是 z 的 后 继 ， 并且 > 将 移 至 树 中 的 z 
位 置 。 在 结 点 被 移 除 或 者 在 树 中 移动 之 前 ， 必 须 记 住 y 的 颜色 ， 并 且 记 录 结 点 工 的 踪迹 ， 将 工 移 
至 树 中 y 的 原来 位 置 ， 因 为 结 点 工 也 可 能 引起 红 黑 性 质 的 破坏 。 删 除 结 点 z 之 后 ，RB-DELETE 
调用 一 个 辅助 过 程 RB-DELETE-FIXUP， 该 过 程 通过 改变 颜色 和 执行 旋转 来 恢复 红 黑 性 质 。 


RB-DELETE(T, z) 
1 y=2z 
2 yoriginal-color = y. color 
3 if z. left == T. nil 
4 x = z right 
5 RB-TRANSPLANT(T, z, z. right) 
6 elseif z. right == T. nil 
7 x= z. left 
8 RB-TRANSPLANT(T, z, z. left) 
9 else y = TREE-MINIMUMCz. right) 
10 y-original-color = y. color 
11 x = y. right 
12 if y. p == z 


13 wD = 

14 else RB-TRANSPLANT(T, y, y. right) 
15 y. right = z. right 

16 y. right. p = y 


i7 RB-TRANSPLANT(T, z, y) 
18 y. left = z. left 

19 y. left. p = y 

20 y. color = z. color 

21 if yoriginal-color == BLACK 
22 RB-DELETE-FIXUP(T, z) 
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虽然 RB-DELETE 包含 的 伪 代 码 行 数 几乎 是 TREE-DELETE 的 2 倍 ， 但 这 两 个 过 程 具 有 相 
同 的 基本 结构 。 在 RB-DELETE 中 能 够 找到 TREE-DELETE 的 每 一 行 语句 (其 中 NIL 被 蔡 换 成 
了 T.nil， 而 调用 TRANSPLANT H THH RB-TRANSPLANT)， 其 执行 的 条 件 相 同 。 

下 面 是 两 个 过 程 之 间 的 其 他 区 别 : 


始终 维持 结 点 y 为 从 树 中 删除 的 结 点 或 者 移 至 树 内 的 结 点 。 当 z 的 子 结 点 少 于 2 个 时 ， 

第 1 行将 y 指向 z， 并 因此 要 移 除 。 当 z 有 两 个 子 结 点 时 ,第 9 行将 y 指向 z 的 后 继 ， 这 

与 TREE-DELETE 相同 ，y 将 移 至 树 中 z 的 位 置 。 

由 于 结 点 y 的 颜色 可 能 改变 ， 变 量 y-original-color 存储 了 发 生 改 变 前 的 y 颜色 。 第 2 行 

和 第 10 行 在 给 > 赋值 之 后 ， 立 即 设置 该 变量 。 当 > 有 两 个 子 结 点 时 ， 则 yrz 且 结 点 y 

移 至 红 黑 树 中 结 点 z 的 原始 位 置 第 20 行 给 > 赋予 和 zx 一样 的 颜色 。 我 们 需要 保存 y 的 

原始 颜色 ， 以 在 RB-DELETE 结束 时 测试 它 ， 如 果 它 是 黑色 的 ， 那 么 删除 或 移动 y 会 引 

起 红 黑 性 质 的 破坏 。 

正如 前 面 讨论 过 的 ， 我 们 保存 结 点 工 的 踪迹 ， 使 它 移 至 结 点 y 的 原始 位 置 上 。 第 4、7 和 

1] 行 的 赋值 语句 令 z 或 指向 y 的 唯一 子 结 点 或 指向 哨兵 T. niL( 如 果 y 没有 子 结 点 )。( 回 

忆 一 下 12. 3 节 y 没 有 左 孩 子 的 情形 。) 

因为 结 点 zx 移动 到 结 点 y 的 原始 位 置 ， 属 性 zx. p 总 是 被 设置 指向 树 中 yy 父 结 点 的 原始 位 

A, HRH EIR T. nil 时 也 是 这 样 。 除 非 z 是 y 的 原始 父 结 点 (该 情况 只 在 > 有 两 个 

孩子 且 它 的 后 继 y 是 z 的 右 孩 子 时 发 生 )， 否 则 对 x. p 的 赋值 在 RB-TRANSPLANT 的 第 

6 行 。( 注 意 到 ， 在 第 5、8 或 14 行 调用 RB-TRANSPLANT 时 ， 传 递 的 第 2 个 参数 与 zx 

相同 。) 然 而 ， 当 y 的 原 父 结 点 是 z 时 ， 我 们 并 不 想 让 r. p 指向 y 的 原始 父 结 点 ， 因 为 要 

在 树 中 删除 该 结 点 。 由 于 结 点 y 将 在 树 中 向 上 移动 占据 z 的 位 置 ， 第 13 行将 x. p 设置 为 

y， 使 得 x. p 指向 y 父 结 点 的 原始 位 置 ， 甚 至 当 zx 一 下 nil 时 也 是 这 样 。 

最 后 ， 如 果 结 点 y 是 黑色 ,就 有 可 能 已 经 引信 了 一 个 或 多 个 红 黑 性 质 被 破坏 的 情况 ， 所 

以 在 第 22 行 调用 RB-DELETE-FIXUP 来 恢复 红 黑 性 质 。 如 果 > 是 红色 ， 当 y 被 删除 或 

移动 时 ， 红 黑 性 质 仍 然 保 持 ， 原 因 如 下 : 

1. 树 中 的 黑 高 没有 变化 。 

2. 不 存在 两 个 相 邻 的 红 结 点 。 因 为 y 在 树 中 占据 了 = 的 位 置 ， 再 考虑 到 z 的 颜色 ， 树 中 y 
的 新 位 置 不 可 能 有 两 个 相 邻 的 红 结 点 。 另 外 ， 如 果 y 不 是 = 的 右 孩子 ， 则 y 的 原 右 孩子 
CRE yo WR > 是 红色 ， 则 工 一 定 是 黑色 ， 因 此 用 z 蔡 代 y 不 可 能 使 两 个 红 结 点 相 邻 。 

3. 如 果 y 是 红色 ， 就 不 可 能 是 根 结 点 ， 所 以 根 结 点 仍旧 是 黑色 。 


如 果 结 点 y 是 黑色 的 ， 则 会 产生 三 个 问题 ， 可 以 通过 调用 RB-DELETE-FIXUP 进行 补救 。 
第 一 ， 如 果 y 是 原来 的 根 结 点 ， 而 y 的 一 个 红色 的 孩子 成 为 新 的 根 结 点 ， 这 就 违反 了 性 质 2。 第 
二 ， 如 果 z 和 xz.zp 是 红色 的 ， 则 违反 了 性 质 4。 第 三 ， 在 树 中 移动 y 将 导致 先前 包含 y 的 任何 简 
单 路 径 上 黑 结 点 个 数 少 1。 因 此 ，y 的 任何 祖先 都 不 满足 性 质 5。 改 正 这 一 问题 的 办 法 是 将 现在 
占有 > 原来 位 置 的 结 点 x 视 为 还 有 一 重 额 外 的 黑色 。 也 就 是 说 ， 如 果 将 任意 包含 结 点 工 的 简单 路 
径 上 黑 结 点 个 数 加 1， 则 在 这 种 假设 下 ， 性 质 5 成 立 。 当 将 黑 结 点 y 删除 或 移动 时 ， 将 其 黑色 
“下 推 ? 给 结 点 zx。 现 在 问题 变 为 结 点 并 可 能 既 不 是 红色 ， 又 不 是 黑色 ， 从 而 违反 了 性 质 1。 现 在 
的 结 点 工 是 双重 黑色 或 者 红 黑 色 ， 这 就 分 别 给 包含 zx 的 简单 路 径 上 黑 结 点 数 贡 献 了 2 或 1。z 的 
color 属性 仍然 是 RED( 如 果 工 是 红 黑 色 的 ) 或 者 BLACK( 如 果 工 是 双重 黑色 的 )。 换 名 话说 ， 结 
点 额外 的 黑色 是 针对 了 工 结 点 的 ， 而 不 是 反映 在 它 的 color 属性 上 的 。 

现在 我 们 来 看 看 过 程 RBDELETE-FIXUP 是 如 何 恢复 搜索 树 的 红 黑 性 质 的 。 
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RB-DELETE-FIXUP(T，z) 
1 while z Æ T. root and x. color == BLACK 


2 if x == zx. p. left 

3 w = x. p. right 

4 if w. color == RED 

5 w. color = BLACK // case 1 
6 z. p. color = RED // case 1 
7 LEFT-ROTATECT, z. p) // case 1 
8 w = x. p. right // case 1 
9 if w. left. color == BLACK and w. right. color == BLACK 
10 w. color = RED // case 2 
11 让 二 WB // case 2 
12 else if w. right. color == BLACK 

13 w. left. color = BLACK // case 3 
14 w. color = RED // case 3 
15 RIGHT-ROTATE(T, w) // case 3 
16 w = x. p. right // case 3 
17 w. color = x. p. color // case 4 
18 z. p. color = BLACK // case 4 
19 w. right. color = BLACK // case 4 
20 LEFT-ROTATE(CT, x. p) // case 4 
21 x = T. root // case 4 
22 else (same as then clause with “right” and “left” exchanged) 


23 x. color = BLACK 


过 程 RB-DELETE-FIXUP 恢复 性 质 1、 性 质 2 和 性 质 4. AY 13. 4-1 和 13. 4-2 要 求 读 者 说 
明 这 个 过 程 是 如 何 恢复 性 性 质 2 和 性 质 4 的， 因此， 本 节 的 其 余部 分 将 专注 于 性 质 1。 第 1 一 22 
行 中 while 循环 的 目标 是 将 额外 的 黑色 沿 树 上 移 ， 直 到 

1. 工 指向 红 黑 结 点 ， 此 时 在 第 23 行 中 ， 将 BAAD BA, 

2. 工 指向 根 结 点 ， 此 时 可 以 简单 地 “ 移 除 ” 额 外 的 黑色 。 

3. 执行 适当 的 旋转 和 重新 着 色 ， 退 出 循环 。 

在 while 循环 中 ，z 总 是 指向 一 个 具有 双重 黑色 的 非 根 结 点 。 在 第 2 行 中 要 判断 xz 是 其 父 结 
点 工 . 旋 的 左 孩子 还 是 右 孩 子 。( 已 经 给 出 了 z 为 左 孩 子 时 的 代码 ; z 为 右 孩 子 的 第 22 行 的 代码 是 
对 称 的 。) 保 持 指针 也 指向 z HL. PAA sc EWR, Mw RAR T. nil, AAG 
则 ， 从 切记 至 ( 单 黑色 ) 叶 子 记 的 简单 路 径 上 的 黑 结 点 个 数 就 会 小 于 从 z. 丸 到 z 的 简单 路 径 上 的 
黑 结 点 数 。 

图 13-7 给 出 了 代码 中 的 4 种 情况 ? 。 在 具体 研究 每 一 种 情况 之 前 ， 先 看 看 如 何 证 实 每 种 情况 
中 的 变换 保持 性 质 5。 关 键 思 想 是 在 每 种 情况 中 ， 从 子 树 的 根 ( 包 括 根 ) 到 每 棵 子 树 a, Br vrs E 
之 间 的 黑 结 点 个 数 ( 包 括 z 的 额外 黑色 ) 并 不 被 变换 改变 。 因 此 ， 如 果 性 质 5 在 变换 之 前 成 立 ， 那 
么 变换 之 后 也 仍然 成 立 。 举 例 说 明 ， 图 13-7(a) 说 明了 情况 1， 在 变换 前 后 ， 根 结 点 至 子 树 a 或 B 
之 间 的 黑 结 点 数 都 是 3。 (再 次 记 住 ， 结 点 工 增加 了 额外 一 重 黑色 。) 类 似 地 ， 在 变换 前 后 根 结 点 
至 子 树 Y、5、e 和 中 的 任何 一 个 之 间 的 黑 结 点 数 都 是 2。 在 图 13-7(b) 中 ， 计 数 时 还 要 包括 所 示 
子 树 的 根 结 点 的 color 属性 的 值 <， 它 或 是 RED 或 是 BLACK。 如 果 定 义 count(RED) =0 以 及 
count(BLACK) 王 1， 那 么 变换 前 后 根 结 点 至 a 的 黑 结 点 数 都 为 2 十 count(c)。 在 此 情况 下 ， 变 换 


日 ”参见 过 程 RB-INSERT-FIXUP, RB-DELETE-FIXUP 中 的 4 种 情况 并 不 是 完全 独立 的 。 
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之 后 新 结 点 过 具有 color 属性 值 c<， 但 是 这 个 结 点 的 颜色 是 红 黑 (如 果 c 王 RED) 或 者 双重 黑色 的 
(如 果 c= 王 BLACK) 。 其 他 情况 可 以 类 似 地 加 以 验证 ( 见 练习 13. 4-5) 。 


(a) 


(b) 


Ce) 


Cd) 





x ô E ¢ a B ? 6 


new x=T-root 


图 13-7 ”过程 RB-DELETE-FIXUP 中 while 循环 的 各 种 情况 。 加 黑 的 结 点 color REX BLACK, RH 
影 的 结 点 color 属性 为 RED， 浅 阴影 的 结 点 color 属性 用 c 和 c 表示 ， 它 既 可 为 RED 也 可 为 
BLACK。 字 母 c，8，…,， 5 代表 任意 的 子 树 。 在 每 种 情况 中 ， 通 过 改变 某 些 结 点 的 颜色 及 /或 
进行 一 次 旋转 ， 可 以 将 左边 的 结构 转化 为 右边 的 结构 。z 指向 的 任何 结 点 都 具有 人 额外 的 一 重 
黑色 而 成 为 双重 黑色 或 红 黑 色 。 只 有 情况 2 引起 循环 重复 。(a) 通 过 交换 结 点 BAD 的 颜色 
以 及 执行 一 次 左旋 ， 可 将 情况 1 转化 为 情况 2、3 或 4。(b) 在 情况 2 中 ， 在 将 结 点 DD 着 为 红 
E, PK 工 设 为 指向 结 点 B 后 ， 由 指针 所 表示 的 额外 黑色 沿 树 上 升 。 如 果 通 过 情况 1 进入 
情况 2， 则 while 循环 结束 ， 因 为 新 的 结 点 x 是 红 黑 的 ， 因 此 其 color 属性 < 是 RED。(c) 通 过 
交换 结 点 CHD 的 颜色 并 执行 一 次 右 旋 ， 可 以 将 情况 3 转换 成 情况 4。(d) 在 情况 4 中， 通过 
改变 某 些 结 点 的 颜色 并 执行 一 次 左旋 (不 违反 红 黑 性 质 )， 可 以 将 由 zx 表示 的 额外 黑色 去 掉 ， 
然后 循环 终止 


情况 1: x 的 兄弟 结 点 w 是 红色 的 

情况 1( 见 RB-DELETE-FIXUP 的 第 5~8 行 和 图 13-7(a) ) 发 生 在 结 点 xz 的 兄弟 结 点 ww 为 红 
色 时 。 因 为 ww 必须 有 黑色 子 结 点 ， 所 以 可 以 改变 ww 和 zx. p 的 颜色 ， 然 后 对 x. p 做 一 次 左旋 而 不 
违反 红 黑 树 的 任何 性 质 。 现 在 ，z 的 新 兄弟 结 点 是 旋转 之 前 w 的 某 个 子 结 点 ， 其 颜色 为 黑色 。 这 
样 ， 就 将 情况 1 转换 为 情况 2、3 或 4 处 理 。 

当 结 点 ww 为 黑色 时 ， 属 于 情况 2、3 和 4; 这 些 情况 是 由 zw 的 子 结 点 的 颜色 来 区 分 的 。 
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情况 2: x 的 兄弟 结 点 w 是 黑色 的 ， 而 且 w 的 两 个 子 结 点 都 是 黑色 的 

在 情况 2( 见 RB-DELETE-FIXUP fy 10~11 行 和 图 13-76) P, w 的 两 个 子 结 点 都 是 黑色 
的 。 因 为 ww 也 是 黑色 的 ， 所 以 从 x 和 w 上 去 掉 一 重 黑色 ,使 得 x 只 有 一 重 黑色 而 w 为 红色 。 为 
TAME z Aw 中 去 掉 的 一 重 黑色 ， 在 原来 是 红色 或 黑色 的 r. p 上 新 增 一 重 额外 的 黑色 。 通 过 
将 x. p 作为 新 结 点 xz 来 重复 while 循环 。 注 意 到 ， 如 果 通 过 情况 1 进入 到 情况 2， 则 新 结 点 工 是 
红 黑 色 的 ， 因 为 原来 的 x. p 是 红色 的 。 因 此 ， 新 结 点 工 的 color 属性 值 c 为 RED， 并 且 在 测试 循 
环 条 件 后 循环 终止 。 然 后 ， 在 第 23 行 中 将 新 结 点 z 着 为 (单一 ) 黑 色 。 

情况 3: x 的 兄弟 结 点 w 是 黑色 的 ，w 的 左 孩 子 是 红色 的 ，w 的 右 孩 子 是 黑色 的 

情况 3( 见 第 13~16 行 和 图 13-7(c)) 发 生 在 w 为 黑色 且 其 左 孩 子 为 红色 、 右 孩子 为 黑色 时 。 
可 以 交换 w 和 其 左 孩 子 w. left 的 颜色 ， 然 后 对 w 进行 右 旋 而 不 违反 红 黑 树 的 任何 性 质 。 现 在 z 
的 新 兄弟 结 点 记 是 一 个 有 红色 右 孩 子 的 黑色 结 点 ， 这 样 我 们 就 将 情况 3 转换 成 了 情况 4。 

情况 4: x 的 兄弟 结 点 w 是 黑色 的 ， 且 w 的 右 孩 子 是 红色 的 

情况 4( 见 第 17~21 行 和 图 13-7(d) ) 发 生 在 结 点 z 的 兄弟 结 点 w HREH w 的 右 孩 子 为 红色 时 。 
通过 进行 某 些 颜色 修改 并 对 x. p 做 一 次 左旋 ， 可 以 去 掉 工 的 额外 黑色 ， 从 而 使 它 变 为 单 重 黑色 ， 而 且 
不 破坏 红 黑 树 的 任何 性 质 。 将 z+ 设置 为 根 后 ， 当 while 循环 测试 其 循环 条 件 时 ， 循 环 终 止 。 

分 析 

RB-DELETE 的 运行 时 间 怎 样 呢 ? 因为 含 ”个 结 点 的 红 黑 树 的 高 度 为 OD(lgz)， 不 调用 RB- 
DELETE-FIXUP 时 该 过 程 的 总 时 间 代 价 为 OUgn)。 在 RB-DELETE-FIXUP 中 ,情况 1、3 和 4 
在 各 执行 常数 次 数 的 颜色 改变 和 至 多 3 次 旋转 后 便 终止 。 情 况 2 是 while 循环 可 以 重复 执行 的 唯 
一 情况 ， 然 后 指针 工 沿 树 上 升 至 多 O(lg2) 次 ， 且 不 执行 任何 旋转 。 所 以 ， 过 程 RB-DELETE- 
FIXUP 要 花费 OUgn) Mla], (HEA 3 次 旋转 ， 因 此 RB-DELETE 运行 的 总 时 间 为 O(lgn)。 


练习 


13. 4-1 在 执行 RB-DELETE-FIXUP 之 后 ， 证明: 树 根 一 定 是 黑色 的 。 

13.4-2 在 RB-DELETE 中 ， 如 果 z M r. p 都 是 红色 的 , 证明: 可 以 通过 调用 RB-DELETE- 
FIXUP(GT，z) 来 恢复 性 质 4。 

13. 4-3 在 练习 13. 3-2 中 ， 将 关键 字 41、38、31、12、19、8 连续 插入 一 棵 初始 的 空 树 中 ， 从 而 
得 到 一 棵 红 黑 树 。 请 给 出 从 该 树 中 连续 删除 关键 字 8、12、19、31、38、41 后 的 红 
黑 树 。 

13.4-4 在 RB-DELETE-FIXUP 代码 的 哪些 行 中 ， 可 能 会 检查 或 修改 哨兵 T nil? 

13.45 在 图 13-7 的 每 种 情况 中 ， 给 出 所 示 子 树 的 根 结 点 至 每 棵 子 树 <，8，…，5 之 间 的 黑 结 点 
个 数 ， 并 验证 它们 在 转换 之 后 保持 不 变 。 当 一 个 结 点 的 color 属性 为 c 或 < 时， 在 计数 
中 用 记号 count(c) 或 count(c ) 来 表示 。 

13.4-6 Skelton 和 Baron 教授 担心 在 RB-DELETE-FIXUP 的 情况 1 开始 时 ， 结 点 x. p 可 能 不 是 
黑色 的 。 如 果 这 两 位 教授 是 对 的 ， 则 第 5 一 6 行 就 是 错 的 。 证 明 : x. p 在 情况 1 开始 时 
必 是 黑色 的 ， 从 而 说 明 这 两 位 教授 没有 担心 的 必要 。 

13.4-7 假设 用 RB-INSERT 将 一 个 结 点 工 插入 一 棵 红 黑 树 ， 紧 接着 又 用 RB-DELETE 将 它 从 树 
中 删除 。 结 果 的 红 黑 树 与 初始 的 红 黑 树 是 否 一 样 ? 证 明 你 的 答案 。 


思考 题 
13-1 (持久 动态 集合 ) 有 时 在 算法 的 执行 过 程 中 ， 我 们 会 发 现在 更 新 一 个 动态 集合 时 ， 需 要 维 
护 其 过 去 的 版 本 。 我 们 称 这 样 的 集合 为 持久 的 (persistent) 。 实 现 持 久 集合 的 一 种 方法 是 每 
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当 该 集合 被 修改 时 ， 就 将 其 完整 地 复制 下 来 ， 但 是 这 种 方法 会 降低 一 个 程序 的 执行 速度 ， 
而 且 占用 过 多 的 空间 。 有 时 候 ， 我 们 可 以 做 得 更 好 些 。 

考虑 一 个 有 INSERT, DELETE 和 SEARCH 操作 的 持久 集合 S， 我 们 使 用 如 图 13-8(a) 
所 示 的 二 叉 搜 索 树 来 实现 。 对 集合 的 每 一 个 版 本 都 维护 一 个 不 同 的 根 。 为 了 将 关键 字 5 插入 
到 集合 中 ， 创 建 一 个 具有 关键 字 5 的 新 结 点 。 该 结 点 成 为 具有 关键 字 7 的 新 结 点 的 左 孩 子 ， 
因为 我 们 不 能 更 改 具 有 关键 字 7 的 已 存在 结 点 。 类 似 地 ， 具 有 关键 字 7 的 新 结 点 成 为 具有 关 
键 字 8 的 新 结 点 的 左 孩 子 ， 后 者 的 右 孩子 为 具有 关键 字 10 的 已 存在 结 点 。 关 键 字 为 8 的 新 
结 点 又 成 为 关键 字 为 4 的 新 根 结 点 r 的 右 孩 子 ， 而 的 左 孩 子 是 关键 字 为 3 的 已 存在 结 
A. EE, 我 们 只 是 复制 了 树 的 一 部 分 ， 新 树 共享 了 原 树 的 一 些 结 点 ， 如 图 13-8(b) 所 示 。 


(4): 





(a) 


图 13-8 〈a) 包 含 关键 字 2. 3. 4. 7. 8, 10M -RONBAM. (MAKERS 5 后 得 
到 的 持久 二 又 搜索 树 。 该 集合 的 最 新 版 本 包括 由 根 x 出 发 可 到 达 的 结 点 ， 而 前 
一 个 版 本 包括 由 根 r 可 到 达 的 结 点 。 深 阴影 的 结 点 是 插入 关键 字 5 时 增加 的 


假设 树 中 每 个 结 点 都 有 属性 key, left 和 right， 但 没有 属性 parent。( 参 见 练习 

13.36.) 

a. 对 于 一 棵 一 般 的 持久 二 叉 搜索 树 ， 为 插 和 人 一 个 关键 字 & 或 删除 一 个 结 点 >， 需要 改变 哪 

b. 请 写 出 一 个 过 程 PERSISTENT-TREE-INSERT， 使 得 在 给 定 一 棵 持久 树 工 和 一 个 要 插 
入 的 关键 字 & 时 ， 它 返回 将 & 插 人 下 后 得 到 的 新 的 持久 树 工 。 

c. 如 果 持 久 二 叉 搜 索 树 的 高 度 为 h， 实 现 PERSISTENT-TREE-INSERT 过 程 的 时 间 和 
空间 需求 分 别 是 多 少 ? (空间 需求 与 新 分 配 的 结 点 数 成 正比 。) 

. 假设 在 每 个 结 点 中 增加 一 个 父 结 点 属性 。 这 种 情况 下 ，PERSISTENT-TREE-INSERT 

需要 做 一 些 额外 的 复制 工作 。 证 明 : PERSISTENT-TREE-INSERT 的 时 间 需 求 和 空间 

需求 为 Q0(n)， 其 中 为 树 中 的 结 点 个 数 。 

说 明 如 何 利用 红 黑 树 来 保证 每 次 插入 或 删除 的 最 坏 情 况 运 行 时 间 和 空间 为 OC gn) 。 

( 红 黑 树 上 的 连接 操作 ) ”连接 (join) 操 作 取 两 个 动态 集合 Sn S 和 一 个 元 素 xz， 使 得 对 任 

fA] 2, ES, MES, A Zz.key<x.key<<xz. key。 该 操作 返回 一 个 集合 S=S, U{zx} US. 

在 这 个 问题 中 ， 讨 论 如 何在 红 黑 树 上 实现 连接 操作 。 

a. 给 定 一 棵 红 黑 树 工 ， 其 黑 高 被 存放 在 新 属性 T. bh 中 。 证 明 : 在 不 需要 树 中 结 点 的 额外 
存储 空间 和 不 增加 渐 近 运行 时 间 的 前 提 下 ，RB-INSERT 和 RB-DELETE 可 以 维护 这 个 
属性 。 并 证 明 : 当 沿 工 下 降 时 ， 可 以 对 每 个 被 访问 的 结 点 在 OGL) 时 间 内 确定 其 黑 高 。 

要 求实 现 操作 RB-JOINCI zs Tz); EH T, Al T, 并 返回 一 棵 红 黑 树 l=] U 

DUT: EnH T AT, PHAR BR. 


a 


e 
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b. 假设 Ti. bh 宇 Ts. bh。 试 描述 一 个 O(lgn) 时 间 的 算法 ， 使 之 能 从 黑 高 为 To. bh 的 结 点 中 
选 出 具有 最 大 关键 字 的 五 中 的 黑 结 点 y。 

c. 设 开 ,是 以 y 为 根 结 点 的 子 树 。 试 说 明 如 何在 不 破坏 二 又 搜索 树 性 质 的 前 提 下 ， 在 OA) 
时 间 内 用 T, U {r} UT, KER T,. 

d 要 保持 红 黑 性 质 1、3 和 5， 应 将 2 AMAR? 试 说 明 如 何在 Ol(gn) 时 间 内 维护 性 
质 2 和 性 质 4。 

e 论证 使 用 (b) 部 分 的 假设 是 不 失 一 般 性 的 ， 并 描述 当 T,. bAT. bh 时 所 出 现 的 对 称 情况 。 

f. 证明: RB-JOIN 的 运行 时 间 是 O(lgn)。 

(AVL AH AVL 树 是 一 种 高 度 平衡 的 (height balanced) 二 又 搜索 树 : 对 每 一 个 结 点 x+，z 的 

左 子 树 与 右 子 树 的 高 度 差 至 多 为 1。 要 实现 一 棵 AVL 树 ， 需 要 在 每 个 结 点 内 维护 一 个 额外 

的 属性 : 六 天 为 结 点 工 的 高 度 。 与 任何 其 他 的 二 叉 搜 索 树 工 一 样 ， 假 设 工 root 指向 根 结 点 。 

a. 证 明 : 一 棵 有 7 个 结 点 的 AVL 树 高 度 为 O(gn)。( 提 示 : 证 明 高 度 为 hh 的 AVL 树 至 少 
A F, 个 结 点 ， 其 中 F 是 斐 波 那 契 数列 的 第 h 个 数 。) 

b. 要 在 一 棵 AVL 树 中 插入 一 个 结 点 ， 首 先 以 二 又 搜索 树 的 顺序 把 该 结 点 放 在 适当 的 位 置 
上 。 此 时 ， 这 棵 树 可 能 就 不 再 是 高 度 平衡 的 。 具 体 来 说 ， 某 些 结 点 的 左 子 树 与 右 子 树 的 
高 度 差 可 能 会 到 2。 请 描述 一 个 过 程 BALANCE(x), 输入 一 棵 以 z 为 根 的 子 树 ， 其 左 子 
树 与 右 子 树 都 是 高 度 平衡 的 ， 而 且 它 们 的 高 度 差 至 多 是 2， 即 | z. right.h—zx. left. h| <2, 
并 将 这 棵 以 z 为 根 的 子 树 转 变 为 高 度 平衡 的 。( 提 示 : 使 用 旋转 。) 

c. 利用 (b) 来 描述 一 个 递归 过 程 AVL-INSERT(z，z)， 该 操作 输入 一 个 AVL 树 中 的 结 点 
工 以 及 一 个 新 创建 的 结 点 (其 关键 字 已 经 填 人 )， 然 后 将 z 添加 到 以 z 为 根 的 子 树 中 ， 
并 保持 xz 是 一 棵 AVL 树 的 根 结 点 。 和 12. 3 节 中 的 TREE-INSERT 一 样 ， 假 设 = key B 
ARAA, H z. left=NIL, z.right=NIL; 再 假设 z.h 二 0。 因 此 要 把 结 点 zz 插入 到 
AVL#§ Th, 需要 调用 AVL-INSERT(T. root, z), 

d. 证 明 : 在 一 棵 ”个 结 点 的 AVL 树 上 AVL-INSERT 操作 需 花 费 O(lgn) 时 间 ， 且 执行 
O(1) 次 旋转 。 

(treap 树 ) 如 果 将 一 个 含 2 个 元 素 的 集合 插入 到 一 棵 二 又 搜索 树 中 ， 所 得 到 的 树 可 能 会 

相当 不 平衡 ， 从 而 导致 查找 时 间 很 长 。 然 而 从 12.4 节 可 知 ， 随 机 构造 二 叉 搜索 树 是 趋向 

于 平衡 的 。 因 此 ， 一般 来 说 ， 要 为 一 组 固定 的 元 素 建 立 一 棵 平衡 树 ， 可 以 采用 的 一 种 策略 

就 是 先 随机 排列 这 些 元 素 ， 然 后 按照 排列 的 顺序 将 

它们 插入 到 树 中 。 

如 果 没 法 同时 得 到 所 有 的 元 素 ， 应 该 怎样 处 理 
YE? 如果 一 次 收 到 一 个 元 素 ， 是 否 仍 然 能 用 它们 来 
随机 建立 一 棵 二 又 搜索 树 ? 

我 们 将 通过 考察 一 个 数据 结构 来 正面 回答 这 个 
问题 。 一 棵 treap 树 是 一 棵 更 改 了 结 点 排序 方式 的 二 a A 
又 搜索 树 。 图 13-9 显示 了 一 个 例子 。 通 常 ， 树 内 的 COO aati, ANER 
每 个 结 点 z 都 有 一 个 关键 字 值 z. key。 另 外 ， 还 要 为 标记 。 例如， 根 结 点 的 关 
每 个 结 点 指定 x. priority， 它 是 一 个 独立 选取 的 随机 键 字 是 G， 优 先 级 为 4 
数 。 假 设 所 有 的 优先 级 都 是 不 同 的 ， 而 且 所 有 的 关键 字 也 是 不 同 的 。treap 树 的 结 点 被 排 
列 成 让 关键 字 遵 循 二 又 搜索 树 的 性 质 ， 且 优先 级 遵循 最 小 堆 顺序 性 质 : 

。 如 果 wv 是 的 左 孩 子 ， 则 v. key<u. key. 

。 WR vu MEET. Mil v. key>u. key. 
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。 如 果 wv 是 的 孩子 ， 则 v. priority>u. priority. 
(这 两 个 性 质 的 结合 就 是 这 种 树 被 称 为 “treap” 树 的 原因 : 它 同 时 具有 二 又 搜索 树 和 堆 的 
特征 。) 
用 以 下 方式 考虑 treap 树 是 会 有 帮助 的 。 假 设 将 已 有 相应 关键 字 的 结 点 x11, T, > 
x, 插入 到 一 棵 treap 树 内 。 得 到 的 treap 树 是 通过 将 这 些 结 点 以 它们 的 优先 级 (随机 选取 
的 ) 顺 序 插入 一 棵 正常 的 二 叉 搜索 树 形成 的 ， 即 ax. priority<z;. priority 表示 zz; TEx; 之 前 
被 插入 。 
a. 证 明 : 给 定 一 个 已 有 相应 关键 字 和 优先 级 ( 互 异 ) 的 结 点 Tis Tos ”9 Ln 组 成 的 集合 ， 
存在 唯一 的 一 棵 treap 树 与 这 些 结 点 相关 联 。 
b. 证 明 : treap 树 的 期 望 高 度 是 @(lgn)， 因 此 在 treap 内 查找 一 个 值 所 花 的 时 间 为 OClgn). 
让 我 们 看 看 如 何 将 一 个 新 的 结 点 插 人 到 一 个 已 存在 的 treap 树 中 。 要 做 的 第 一 件 事 就 是 


«a 将 一 个 随机 的 优先 级 赋予 这 个 新 结 点 。 然 后 调用 称 为 TREAT-INSERT 的 插入 算法 ， 其 
334 操作 如 图 13-10 所 示 。 
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图 13-10 TREAP-INSERT 操作 。(a) 在 插 和 人 之 前 的 原 treap 树 。(b) 插 入 一 个 关键 字 为 C、 优 先 级 为 25 的 
结 点 之 后 的 treap 树 。(c) 一 (d) 插 入 一 个 关键 字 为 D, RERA 9 的 结 点 时 的 中 间 阶 段 。(e) 在 
335 (中 和 (d) 的 插入 完成 后 的 treap 树 。(D 在 插入 一 个 关键 字 为 下、 优先 级 为 2 的 结 点 后 的 treap 树 


c. 解释 TREAP-INSERT 是 如 何 工作 的 。 说 明 其 思想 并 给 出 伪 代 码 。( 提 示 : 执行 通常 的 


第 13 章 2 黑 树 + 191 


二 又 搜索 树 插 和 过程， 然后 做 旋转 来 恢复 最 小 堆 顺 序 的 性 质 。) 
d. 证 明 : TREAP-INSERT 的 期 望 运行 时 间 是 Ogn). 

TREAP-INSERT 先 执行 一 个 查找 ， 然 后 做 一 系列 旋转 。 虽 然 这 两 种 操作 的 期 望 运行 
时 间 相 同 ， 但 它们 的 实际 代价 不 同 。 查 找 操作 从 treap 树 中 读 取 信息 而 不 做 修改 。 相 反 ， 
旋转 操作 会 改变 treap 树 内 的 父 结 点 和 子 结 点 的 指针 。 在 大 部 分 的 计算 机 上 ， 读 取 操 作 要 
比 写 人 操作 快 很 多 。 所 以 我 们 希望 TREAP-INSERT 执行 少量 的 旋转 。 后 面 将 说 明 所 执行 
旋转 的 期 望 次 数 有 一 个 常数 界 。 

为 此 ， 需 要 做 一 些 定义 ， 如 图 13-11 所 示 。 一 棵 二 又 搜索 树 工 的 左 背 柱 (left spine) 是 
从 根 结 点 到 有 最 小 关键 字 的 结 点 的 简单 路 径 。 换 句 话 说 ， 左 峭 柱 是 从 根 结 点 开始 只 包含 左 
边缘 的 简单 路 径 。 对 称 地 ， 工 的 右 背 柱 (right spine) 是 从 根 结 点 开始 只 包含 右边 缘 的 简单 
路 径 。 一 条 痊 柱 的 长 度 是 它 包 含 的 结 点 数目 。 





(a) 


图 13-11 一 棵 二 又 搜 索 树 的 消 柱 。 左 举 柱 在 Ca) 中 用 阴影 表示 ， 右 消 柱 在 (b) 中 用 阴影 表示 


. 考虑 利用 TREAP-INSERT 插 入 结 点 x 后 的 treap T. 设 C 为 z 左 子 树 的 右 疹 柱 的 长 度 ，D 
为 z 右 子 树 的 左 疹 柱 的 长 度 。 证 明 : 在 插入 z 期 间 所 执行 的 旋转 的 总 次 数 等 于 CHD., 
现在 来 计算 CHAD 的 期 望 值 。 不 失 一 般 性 ， 假 设 关键 字 为 1，2，…，n， 因 为 只 是 将 它 
们 两 两 比较 。 

对 treap 工 中 的 结 点 x 和 yy， 其 中 yAx, W k=. key 以 及 ;一 y key。 定 义 指示 器 随机 
变量 


@ 


Xi 一 I(y 在 z 的 左 子 树 的 右 状 柱 中 》 
f. WEH: Xi 二 1 HAIL y. priority>x. priority, y. key 二 x. key 成 立 ， 且 对 于 每 个 满足 
y. Rey<z. key<z. key Wz, A y. priority<z. priority. 
g. 证 明 : 


i Ri DD! l 
PriXa = 1 = FD! (k—iF1)(k— i) 





h. 证 明 : 





a kel 1 = E 
HO Agro 1-3 
i 利用 对 称 性 证 明 : 
1 
ELD] = 1 n— kh 1 
j 得 出 如 下 结论 : 当 在 一 棵 treap 树 中 插入 一 个 结 点 时 ， 执 行 旋转 的 期 望 次 数 小 于 2。 
本 章 注 记 
使 搜索 树 平衡 的 想法 源 自 Adel’son-Vel’skii 和 Landis[2]， 他 们 在 1962 年 提出 了 一 类 称 为 
“AVL 树 ”的 平衡 搜索 树 ， 如 思考 题 13-3 所 述 。 另外 一 类 称 为 “2-3 树 ” 的 搜索 树 是 由 
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J. E. Hopcroft 在 1970 年 提出 的 (未 发 表 ) 。2-3 树 是 通过 操纵 结 点 的 度数 来 维持 平衡 的 。Bayer 和 
McCreight[35] 提 出 了 一 种 2-3 树 的 推广 ， 称 为 B 树 ， 有关 内容 将 在 第 18 章 中 介绍 。 

红 黑 树 是 由 Bayer[34] 以 “对 称 的 二 又 B 树 ”的 名 字 发 明 的 。Guibas 和 Sedgewick[ 155 fF 48 Ht 
究 了 它们 的 性 质 ， 并 引入 了 红 / 黑 着 色 的 有 关 约 定 。Andersson[ 15 ] 提 出 了 一 种 代码 更 简单 些 的 红 
黑 树 变种 。Weiss[L351] 把 这 种 变种 称 为 AA 树 。AA 树 和 红 黑 树 类 似 ， 只 是 左边 的 孩子 永远 不 能 
为 红色 。 

思考 题 13-4 中 的 treap 树 是 由 Seidel 和 Aragon[ 309] 提 出 的 。 它 们 是 LEDAL[253] 内 字典 的 默 
认 实 现 ，LEDA 是 一 组 精心 实现 的 数据 结构 和 算法 。 

平衡 二 叉 树 还 有 很 多 其 他 的 变种 ， 包 括 带 权 平衡 树 [264]、& 近邻 树 L245]， 以 及 替罪羊 树 
[127]。 或 许 其 中 最 有 趣 的 要 数 Sleator 和 TarjanL320] 提 出 的 “伸展 树 ”， 它 可 以 “自我 调整 ”。( 参 
GL Tarjan[L330]， 该 文 给 出 了 有 关 伸 展 树 的 详细 描述 。) 伸 展 树 不 需要 明确 的 平衡 条 件 ( 如 颜色 ) 来 
维持 平衡 。 替 代 的 是 ， 每 次 存 取 时 “伸展 操作 ”( 涉 及 旋转 ) 在 树 内 执行 。 在 一 棵 有 个 结 点 的 树 上 
每 个 操作 的 挫 还 代价 是 OUgn) (参见 第 17 Æ), 

跳 表 [286 是 另 一 种 平衡 的 二 叉 树 。 跳 表 是 扩充 了 一 些 人 额外 指针 的 链表 。 在 一 个 包含 nn 个 元 
素 的 跳 表 上 ， 每 一 种 字典 操作 都 在 OUgn) 期 望 时 间 内 执行 。 


| 第 14 章 


Introduction to Algorithms, Third Edition 


数据 结构 的 扩张 


一 些 工程 应 用 需要 的 只 是 一 些 “ 教 科 书 ”中 的 标准 数据 结构 ， 比 如 双 链表 、 散 列表 或 二 又 搜索 
树 等 ， 然 而 也 有 许多 其 他 的 应 用 需要 对 现 有 数据 结构 进行 少许 地 创新 和 改造 ， 但 是 只 在 很 少 情 
况 下 需要 创造 出 一 类 全 新 类 型 的 数据 结构 。 更 经 常 的 是 ， 通 过 存储 额外 信息 的 方法 来 扩张 一 种 
标准 的 数据 结构 ， 然 后 对 这 种 数据 结构 ， 编 写 新 的 操作 来 支持 所 需要 的 应 用 。 然 而 对 数据 结构 的 
扩张 并 不 总 是 简单 直接 的 ， 因 为 添加 的 信息 必须 要 能 被 该 数据 结构 上 的 常规 操作 更 新 和 维护 。 

本 章 讨论 通过 扩张 红 黑 树 构造 出 的 两 种 数据 结构 。14. 1 节 介绍 一 种 支持 一 般 动态 集合 上 顺 
序 统计 操作 的 数据 结构 。 通 过 这 种 数据 结构 ， 我 们 可 以 快速 地 找到 一 个 集合 中 的 第 i 小 的 数 ， 或 
给 出 一 个 指定 元 素 在 集合 的 全 序 中 的 位 置 。14. 2 节 抽象 出 数据 结构 的 扩张 过 程 ， 并 给 出 一 个 简 
化 红 黑 树 扩张 的 定理 。14. 3 节 使 用 这 个 定理 来 设计 一 种 用 于 维护 由 区 间 ( 如 时 间 区 间 ) 构 成 的 动 
态 集合 的 数据 结构 。 给 定 一 个 要 查询 的 区 间 ， 我 们 能 快速 地 找到 集合 中 一 个 能 与 其 重 状 的 区 间 。 


14. 1 动态 顺序 统计 

第 9 章 中 介绍 了 顺序 统计 的 概念 。n 个 元 素 集合 中 的 第 IGE {1，2，…，n}) 个 顺序 统计 量 就 
是 简单 地 规定 为 该 集合 中 的 具有 第 i 小 关键 字 的 元 素 。 对 于 一 个 无 序 的 集合 ， 我 们 知道 能 够 在 OCn) 
的 时 间 内 确定 任何 的 顺序 统计 量 。 本 节 将 介绍 如 何 修改 红 黑 树 ， 使 得 可 以 在 Og 办 时 间 内 确定 任何 的 
顺序 统计 量 。 我 们 还 将 看 到 如 何在 Clgn) 时 间 内 计算 一 个 元 素 的 秩 ， 即 它 在 集合 线性 序 中 的 位 置 。 

图 14-1 显示 了 一 种 支持 快速 顺序 统计 操作 的 数据 结构 。 顺 序 统计 树 (order-statistic tree) T A 
是 简单 地 在 每 个 结 点 上 存储 附加 信息 的 一 棵 红 黑 树 。 在 红 黑 树 的 结 点 x 中 ,除了 通常 属性 
x. key, x. color, x. p, x. left 和 x. right 之 外 ， 还 包括 另 一 个 属性 x. size。 这 个 属性 包含 了 以 
为 根 的 子 树 ( 包 括 zx 本 身 ) 的 (内 ) 结 点 数 ， 即 这 棵 子 树 的 大 小 。 如 果 定 义 哨兵 的 大 小 为 0， 也 就 是 
WH T. nil. size 为 0， 则 有 等 式 : 

x. size = x. left. size + x. right. ize +1 








图 14-1 一 棵 顺序 统计 树 ， 它 是 一 棵 扩张 的 红 黑 树 。 浅 阴影 结 点 为 红色 ， 深 阴影 结 点 为 黑 
色 。 除 了 通常 的 红 黑 树 所 具有 的 属性 外 ， 每 个 结 点 x 还 具有 属性 zx. size, BI z 为 
根 的 子 树 ( 除 哨兵 外 ) 的 结 点 个 数 


在 一 棵 顺序 统计 树 中 ， 我 们 并 不 要 求 关键 字 各 不 相同 。( 例 如 ， 图 14-1 中 的 树 就 包含 了 两 个 值 
为 14 的 关键 字 和 两 个 值 为 21 的 关键 字 。) 在 有 相等 关键 字 的 情况 下 ， 前 面 秩 的 定义 便 不 再 适合 。 为 
此 ， 我 们 通过 定义 一 个 元 素 的 秩 为 在 中 序 遍 历 树 时 输出 的 位 置 ， 来 消除 原 顺序 统计 树 定义 的 不 确定 
性 。 如 图 14-1 所 示 ， 存 储 在 黑色 结 点 的 关键 字 14 的 秩 为 5， 存储 在 红色 结 点 的 关键 字 14 的 秩 为 6。 

查找 具有 给 定 秩 的 元 素 

在 说 明 插 入 和 删除 过 程 中 如 何 维护 size 信息 之 前 ， 我 们 先 来 讨论 利用 这 个 附加 信息 来 实现 
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的 两 个 顺序 统计 查询 。 首 先 一 个 操作 是 对 具有 给 定 秩 的 元 素 的 检索 。 过 程 OS-SELECT(zx, 11k 
回 一 个 指针 ， 其 指向 以 为 根 的 子 树 中 包含 第 ; 小 关键 字 的 结 点 。 为 找 出 顺序 统计 树 荆 中 的 第 i 
小 关键 字 ， 我 们 调用 过 程 OSSELECT(T. root, i). 
OS-SELECT(z, i) 
1 r= zx. left. size+1 
2 ifi—r 
3 return 工 
4 elseifi <r 
5 return OS-SELECT (z. left,i) 
6 else return OSSELECT (2z. right,i—r) 


OS-SELECT 的 第 1 行 计算 以 z 为 根 的 子 树 中 结 点 工 的 秩 ~。z. left. size 的 值 是 对 以 二 为 根 的 子 
树 进行 中 序 遍 历 后 排 在 z 之 前 的 结 点 个 数 。 因 此 ，z left. size 十 1 就 是 以 z 为 根 的 子 树 中 结 点 工 的 
秩 。 如 果 i=r， 那 么 结 点 xz 就 是 第 i 小 元 素 ， 这 样 第 3 行 返回 zx。 如 果 <， 那么 第 ;小 元 素 在 z 的 
左 子 树 中 ， 因 此 在 第 5 行 中 对 x left 进行 递归 调用 。 如 果 >r, BAR i 小 元 素 在 z 的 右 子 树 中 。 因 
为 在 对 以 z 为 根 的 子 树 进行 中 序 遍 历时 ， 共 有 7 个 元 素 排 在 x 的 右 子 树 之 前 ， 故 在 以 z 为 根 的 子 树 中 
第 i 小 元 素 就 是 以 x right 为 根 的 子 树 中 第 (i 一 四 小 元 素 。 第 6 行 通过 递归 调用 来 确定 这 个 元 素 。 

为 明白 OS-SELECT 是 如 何 操 作 的 ， 考 察 在 图 14-1 所 示 的 顺序 统计 树 上 查找 第 17 小 元 素 的 查 
找 过 程 。 以 z 为 根 开 始 ， 其 关键 字 为 26，i 二 17。 因 为 26 的 左 子 树 的 大 小 为 12， 故 它 的 秩 为 13。 
因此 ， 秩 为 17 的 结 点 是 26 的 右 子 树 中 第 17 一 13 三 4 小 的 元 素 。 递 归 调 用 后 ，z 为 关键 字 41 的 结 
点 ， 计 4。 因 为 41 的 左 子 树 大 小 为 5， 故 它 的 秩 为 6。 这样， 可 以 知道 秩 为 4 的 结 点 是 41 的 左 子 
树 中 第 4 小 元 素 。 再 次 递归 调用 后 ，z 为 关键 字 30 的 结 点 ， 在 其 子 树 中 它 的 秩 为 2。 如 此 ， 再 进行 
一 次 递归 调用 ， 就 能 找到 以 关键 字 38 的 结 点 为 根 的 子 树 中 第 4 一 2 二 2 小 的 元 素 。 它 的 左 子 树 大 小 
为 1， 这 意味 着 它 就 是 第 2 小 元 素 。 最 终 ， 该 过 程 返回 一 个 指向 关键 字 为 38 的 结 点 的 指针 。 

因为 每 次 递归 调用 都 在 顺序 统计 树 中 下 降 一 层 ，OS-SELECT 的 总 时 间 最 差 与 树 的 高 度 成 正 
比 。 又 因为 该 树 是 一 棵 红 黑 树 ， 其 高 度 为 Ol(lgn)， 其 中 为 数 的 结 点 数 。 所 以 ， 对 于 个 元 素 的 
动态 集合 ，OS-SELECT 的 运行 时 间 为 O(lgn)。 

确定 一 个 元 素 的 秩 

给 定 指向 顺序 统计 树 中 结 点 xz 的 指针 ， 过 程 OS-RANK 返回 对 工 中 序 遍 历 对 应 的 线性 序 
H r 的 位 置 。 


OS-RANK(T, zx) 

1 r= z. left. sizet1 

2y=2 

3 while y Æ T. root 

4 if y == y. p. right 

5 r =r + y.p. left. sizet+1 
6 y=yp 

7 returnr 


这 个 过 程 工作 如 下 。 我 们 可 以 认为 zx 的 秩 是 中 序 遍 历次 序 排 在 z 之 前 的 结 点 数 再 加 上 1( 代 
表 工 自身 )。OS-RANK 保持 了 以 下 的 循环 不 变 式 : 

第 3 一 6 FF while 循 环 的 每 次 迭代 开始 ,7 为 以 结 点 y 为 根 的 子 树 中 工 . key WK. 

下 面 使 用 这 个 循环 不 变 式 来 说 明 OS-RANK 能 正确 地 工作 。 

初始 化 : 第 一 次 迭代 之 前 ,第 1 行 置 r 为 以 z 为 根 的 子 树 中 z. key 的 秩 。 第 2 行 置 y 二 x, 使 
得 首次 执行 第 3 行 中 的 测试 时 ， 循 环 不 变 式 为 真 。 
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保持 : 在 每 一 次 while 循环 迭代 的 最 后 ， 都 要 置 y—y. p。 这 样 ， 我 们 必须 要 证 明 : WR rÆ 
在 循环 体 开始 处 以 y 为 根 的 子 树 中 z. key 的 秩 ， 那么 7 是 在 循环 体 结尾 处 以 y. p 为 根 的 子 树 中 
a. key 的 秩 。 在 while 循环 的 每 次 迭代 中 ， 考 虑 以 y p 为 根 的 子 树 。 我 们 对 以 结 点 y 为 根 的 子 树 
已 经 计数 了 以 中 序 遍 历次 序 先 于 xz 的 结 点 个 数 ， 故 要 加 上 以 y 的 兄弟 结 点 为 根 的 子 树 以 中 序 遍 历 
次 序 先 于 z 的 结 点 数 ， 如 果 > p 也 先 于 zx， 则 该 计数 还 要 加 1。 如 果 y 是 左 孩 子 ，y.p 和 y.p 的 
右 子 树 中 的 所 有 结 点 都 不 会 先 于 工 ， -保持 不 变 ; 否则 ，y 是 右 孩 子 ， 并且 y.p 和 y.p 左 子 树 中 
的 所 有 结 点 都 先 于 x， 于 是 在 第 5 行 中 ， 将 当前 的 ~ 值 再 加 上 y. p. left. Size 十 1。 

终止 : 当 y=T. root 时， 循环 终止 ， 此 时 以 y 为 根 的 子 树 是 一 棵 完整 树 。 因 此 ，r 的 值 就 是 
这 棵 完整 树 中 z. key 的 秩 。 

作为 一 个 例子 ， 当 我 们 在 图 14-1 的 顺序 统计 树 上 运行 OS-RANK， 以 确定 关键 字 为 38 的 结 
点 的 秩 时 ， 在 while 循环 的 开始 处 ，y key Mr 的 一 系列 值 如 下 : 


we R y. key 
1 38 
2 30 
3 41 
4 26 17 
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该 过 程 返回 的 秩 为 17。 

因为 while 循环 的 每 次 迭代 耗费 O(1) 时 间 ， 且 y 在 每 次 迭代 中 沿 树 上 升 一 层 ， 所 以 最 坏 情况 
下 OS-RANK 的 运行 时 间 与 树 的 高 度 成 正比 : 在 n 个 结 点 的 顺序 统计 树 上 为 O(lgn)。 

对 子 树 规模 的 维护 

给 定 每 个 结 点 的 size 属性 后 ，OS-SELECT 和 OS-RANK 能 迅速 计算 出 所 需 的 顺序 统计 信息 。 
然而 除非 能 用 红 黑 树 上 经 过 修改 的 基本 操作 对 size 属性 加 以 有 效 的 维护 ， 和 否则， 我 们 的 工作 将 变 
得 没 意 义 。 下 面 就 来 说 明 在 不 影响 插 人 和 删除 操作 的 渐 近 运行 时 间 的 前 提 下 ， 如 何 维护 子 树 规模 。 

由 13. 3 节 可 知 ， 红 黑 树 上 的 插 和 人 操作 包括 两 个 阶段 。 第 一 阶段 从 根 开始 沿 树 下 降 ， 将 新 结 点 
插入 作为 某 个 已 有 结 点 的 孩子 。 第 二 阶段 沿 树 上 升 ， 做 一 些 变 色 和 旋转 操作 来 保持 红 黑 树 性 质 。 

在 第 一 阶段 中 为 了 维护 子 树 的 规模 ， 对 由 根 至 叶子 的 路 径 上 遍历 的 每 一 个 结 点 z， 都 增加 
zx. size 属性 。 新 增加 结 点 的 size 为 1。 由 于 一 条 遍历 的 路 径 上 共有 Oden) S45. RAED size 属 

的 额外 代价 为 Ol(lgn)。 

在 第 二 阶段 ， 对 红 黑 树 结构 上 的 改变 仅仅 是 由 旋转 所 致 ， 旋 转 次 数 至 多 为 2。 此 外 ， 旋 转 是 
一 种 局 部 操作 : 它 仅 会 使 两 个 结 点 的 size 属性 失效 ， 而 围绕 旋转 操作 的 链 就 是 与 这 两 个 结 点 关 
联 。 参 照 13. 2 节 的 LEFT-ROTATE(T，z) 代 码 ， 增 加 下 面 两 行 : 

13 y. size = zx. size 


14 x. size = zx. left. sizet+ x. right. sizet+1 


图 14-2 说 明了 size 属性 是 如 何 被 更 新 的 。 对 RIGHT-ROTATE 做 相应 的 改动 。 





图 14-2 在 旋转 过 程 中 修改 子 树 的 大 小 。 与 围绕 旋转 的 链 相 关联 的 两 个 结 
点 ， 它 们 的 size 属性 要 更 新 。 这 些 更 新 是 局 部 的 ， 仅 需要 存储 在 x 
Al y 中 的 size 信息 ， 以 及 图 中 三 角形 子 树 的 根 中 的 size 信息 
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因为 在 红 黑 树 的 插入 过 程 中 至 多 进行 两 次 旋转 ， 所 以 在 第 二 阶段 更 新 size 属性 只 需要 OC) 
的 额外 时 间 。 因 此 ， 对 一 棵 有 个 结 点 的 顺序 统计 树 插入 元 素 所 需要 的 总 时 间 为 Ol(lgn)， 从 浙 
近 意 义 上 看 ， 这 与 一 般 的 红 黑 树 是 一 样 的 。 

红 黑 树 上 的 删除 操作 也 包括 两 个 阶段 : 第 一 阶段 对 搜索 树 进行 操作 ， 第 二 阶段 做 至 多 三 次 
旋转 ， 其 他 对 结构 没有 任何 影响 ( 见 13.4 节 )。 第 一 阶段 中 ,要么 将 结 点 y 从 树 中 删除 ， 要么 将 
它 在 树 中 上 移 。 为 了 更 新 子 树 的 规模 ,我们 只 需要 遍历 一 条 由 结 点 y( 从 它 在 树 中 的 原始 位 置 开 
始 ) 至 根 的 简单 路 径 ， 并 减少 路 径 上 每 个 结 点 的 size 属性 的 值 。 因 为 在 nn 个 结 点 的 红 黑 树 中 ， 这 
样 一 条 路 径 的 长 度 为 Ollgn)， 所 以 第 一 阶段 维护 size 属性 所 耗费 的 额外 时 间 为 Ol(lgn)。 第 二 阶 
段 采 用 与 插入 相同 的 方式 来 处 理 删 除 操作 中 的 O(1) 次 旋转 。 所 以 对 有 个 结 点 的 顺序 统计 树 进 
行 插入 与 删除 操作 ， 包 括 维护 size 属性 ， 都 只 需要 Ollgn) 的 时 间 。 


练习 

14. 1-1 对 于 图 14-1 中 的 红 黑 树 T， 说 明 执行 OS-SELECT(T. root，10) 的 过 程 。 

14.1-2 ”对 于 图 14-1 PHARRR OT MES r. hey 为 35 的 结 点 zx， 说 明 执 行 OS-RANK(T, x) 
的 过 程 。 

14.1-3” 写 出 OS-SELECT 的 非 递归 版 本 。 

14. 1-4 ” 写 出 一 个 递归 过 程 OSKEY-RANK(T,，k)， 以 一 棵 顺序 统计 树 下 和 一 个 关键 字 有 作为 
输入 ， 要 求 返 回 在 由 了 表示 的 动态 集合 中 的 秩 。 假 设 醋 的 所 有 关键 字 都 不 相同 。 

14. 1-5 RE nn 个 元 素 的 顺序 统计 树 中 的 一 个 元 素 x 和 一 个 自然 数 i， 如 何在 OClgz) 的 时 间 内 确 
定 z 在 该 树 线 性 序 中 的 第 i 个 后 继 ? 

14. 1-6 在 OS-SELECT 或 OS-RANK 中 ， 注意 到 无 论 什 么 时 候 引 用 结 点 的 size 属性 都 是 为 了 计 
算 一 个 秩 。 相 应 地 ,假设 每 个 结 点 都 存储 它 在 以 自己 为 根 的 子 树 中 的 秩 。 试 说 明 在 插入 
和 删除 时 ， 如 何 维护 这 个 信息 。( 注 意 ， 这 两 种 操作 都 可 能 引起 旋转 。) 

14.1-7 说明 如 何在 Olnlgn) 时 间 内 ， 利 用 顺序 统计 树 对 大 小 为 n 的 数组 中 的 道 序 对 ( 见 思考 题 
2-4) 进 行 计数 。 

*14.1-8 现 有 一 个 圆 上 的 ”条 弱 ， 每 条 弦 都 由 其 端点 来 定义 。 请 给 出 一 个 能 在 O(nlgn) 时 间 内 确 
定 圆 内 相交 弦 对 数 的 算法 。( 例 如 ， 如 果 nn 条 弦 都 为 直径 ,它们 相交 于 圆心 ， 则 正确 的 


答案 为 (”) .) 假 设 任意 两 条 弦 都 不 会 共享 端点 。 


14.2 如何 扩张 数据 结构 

对 基本 的 数据 结构 进行 扩张 以 支持 一 些 附 加 功能 ， 在 算法 设计 过 程 中 是 相当 常见 的 。 在 下 
一 节 中 ， 我 们 将 再 次 通过 对 数据 结构 进行 扩张 ， 来 设计 一 种 支持 区 间 操 作 的 数据 结构 。 本 节 先 来 
介绍 这 种 扩张 过 程 的 步 又 ， 同 时 证 明 一 个 定理 ， 在 许多 情况 下 ， 该 定理 使 得 我 们 可 以 很 容易 地 扩 
张 红 黑 树 。 

扩张 一 种 数据 结构 可 以 分 为 4 个 步骤; 

1. 选择 一 种 基础 数据 结构 。 

2. 确定 基础 数据 结构 中 要 维护 的 附加 信息 。 

3. 检验 基础 数据 结构 上 的 基本 修改 操作 能 否 维护 附加 信息 。 

4. 设计 一 些 新 操作 。 

以 上 仅 作 为 一 个 一 般 模 式 ， 读 者 不 应 盲目 地 按照 上 面 给 定 的 次 序 来 执行 这 些 步骤 。 大 多 数 
的 设计 工作 都 包含 试探 和 纠 错 的 成 分 ， 过 程 中 的 所 有 步 又 通常 都 可 以 并 行进 行 。 例 如 ， 如 果 我 们 
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不 能 有 效 地 维护 附加 信息 ， 那 么 确定 附加 信息 以 及 设计 新 的 操作 (步骤 2 和 步骤 4) 就 没有 任何 意 
义 。 然 而 ， 这 个 4 步 法 可 以 使 读者 在 扩张 数据 结构 时 ， 目 标明 确 且 有 条 不 紊 。 

在 14. 1 节 设 计 顺序 统计 树 时 ， 我 们 就 依照 了 这 4 个 步骤 。 对 于 步骤 1， 选择 红 黑 树 作为 基 
础 数据 结构 。 红 黑 树 是 一 种 合适 的 选择 ， 这 源 于 它 能 有 效 地 支持 一 些 基 于 全 序 的 动态 集合 操作 ， 
如 MINIMUM, MAXIMUM, SUCCESSOR 和 PREDECESSOR. 

对 于 步骤 2， 添 加 了 size 属性 ， 在 每 个 结 点 zx 中 的 size 属性 存储 了 以 xz 为 根 的 子 树 的 大 小 。 
一 般 地 ， 附 加 信息 可 使 得 各 种 操作 更 加 有 效 。 例 如 ， 我 们 本 可 以 仅 用 树 中 存储 的 关键 字 来 实现 
OS-SELECT 和 OS-RANK, 但 它们 却 不 能 在 O(lgz) 运 行 时 间 内 完成 。 有 时 候 ， 附 加 信息 是 指针 
类 信息 ， 而 不 是 具体 的 数据 ， 如 练习 14. 2-1。 

对 于 步骤 3， 我 们 保证 了 插入 和 删除 操作 仍 能 在 OClgz) 时间 内 维护 size 属性 。 比 较 理想 的 
是 ， 只 需要 更 新 该 数据 结构 中 的 几 个 元 素 就 可 以 维护 附加 信息 。 例 如 ， 如 果 把 每 个 结 点 的 秩 存储 
在 树 中 ， 那 么 OS-SELECT 和 OS-RANK 能 够 较 快运 行 ， 但 是 当 插 入 一 个 新 的 最 小 元 素 时 ， 会 导 
致 树 中 每 个 结 点 的 秩 发 生变 化 。 如 果 我 们 存储 的 是 子 树 的 大 小 ， 则 插入 一 个 新 的 元 素 时 仅 会 使 
Og 个 结 点 的 信息 发 生 改 变 。 

对 于 步骤 4， 我们 设计 了 新 操作 OS-SELECT 和 OS-RANK。 归 根 结 底 ,一 开始 考虑 去 扩张 
一 个 数据 结构 的 原因 就 是 为 了 满足 新 操作 的 需要 。 然 而 有 时 并 不 是 为 了 设计 一 些 新 操作 ， 而 是 
利用 附加 信息 来 加 速 已 有 的 操作 ， 如 练习 14. 2-1。 

对 红 黑 树 的 扩张 

当红 黑 树 作为 基础 数据 结构 时 ， 可 以 证 明 ， 某 些 类 型 的 附加 信息 总 是 可 以 用 插入 和 删除 操 
作 来 进行 有 效 的 维护 ， 从 而 使 步骤 3 非常 容易 做 到 。 下 面 定理 的 证 明 与 14. 1 节 用 顺序 统计 树 来 
维护 size 属性 的 论证 类 似 。 

定理 14. 1( 红 黑 树 的 扩张 ) 设 f 是 nn 个 结 点 的 红 黑 树 芽 扩张 的 属性 ， 且 假设 对 任 一 结 点 a, 
了 的 值 仅 依赖 于 结 点 工 、Z left Fox. right 的 信息 ， 还 可 能 包括 x. left. f fox. right. fe RMA, 我 
们 可 以 在 插入 和 删除 操作 期 间 对 本 的 所 有 结 点 的 f 值 进行 维护 ， 并 且 不 影响 这 两 个 操作 的 
OU gn) oi at A EAE . 

证 明 证 明 的 主要 思想 是 ， 对 树 中 某 结 点 工 的 太 属 性 的 变动 只 会 影响 到 z 的 祖先 。 也 就 是 
说 ， 修 改 z. f 只 需要 更 新 zx. p. f， 改 变 xz. p. 了 的 值 只 需要 更 新 x. p. p. f， 如 此 沿 树 向 上 。 一 旦 
更 新 到 T. root. f， 就 不 再 有 其 他 任何 结 点 依赖 于 新 值 ， 于 是 过 程 结束 。 因 为 红 黑 树 的 高 度 为 
Oldgn)， 所 以 改变 某 结 点 的 f 属性 要 耗费 Ol(lgn) 时 间 ， 来 更 新 被 该 修改 所 影响 的 所 有 结 点 。 

一 个 结 点 xz 插入 到 树 工 由 两 个 阶段 构成 ( 见 13. 3 节 )。 第 一 阶段 是 将 zx 作为 一 个 已 有 结 点 x. p 
的 孩子 被 插入 。z. f 的 值 可 以 在 O(1) 时 间 内 计算 出 。 因 为 根据 假设 ，z. f 仅 依 赖 于 xz 本 身 的 其 他 
属性 信息 和 z 的 子 结 点 中 的 信息 ， 而 此 时 z 的 子 结 点 都 是 哨兵 T. nil, 4 x. f 被 计算 出 时 ， 这 个 变 
化 就 沿 树 向 上 传播 。 这 样 ， 插 入 第 一 阶段 的 全 部 时 间 为 O(lgn)。 在 第 二 阶段 期 间 ， 树 结构 的 仅 有 
变动 来 源 于 旋转 操作 。 由 于 在 一 次 旋转 过 程 中 仅 有 两 个 结 点 发 生变 化 ， 所 以 每 次 旋转 更 新 S 属性 
的 全 部 时 间 为 Ol(lgn)。 又 因为 插入 操作 中 的 旋转 次 数 至 多 为 2， 所 以 插入 的 总 时 间 为 O(lgn)。 

与 插入 操作 类 似 ， 删 除 操作 也 由 两 个 阶段 构成 ( 见 13.4 节 )。 在 第 一 阶段 中 ， 当 被 删除 的 结 
点 从 树 中 移 除 时 ， 树 发 生变 化 。 如 果 被 删除 的 结 点 当时 有 两 个 孩子 ， 那 么 它 的 后 继 移 入 被 删除 结 
点 的 位 置 。 这 些 变 化 引起 f 的 更 新 传播 的 代价 至 多 为 O(lgn)， 因 为 这 些 变化 对 树 的 修改 是 局 部 
的 。 第 二 阶段 对 红 黑 树 的 修复 至 多 需要 三 次 旋转 ， 且 每 次 旋转 至 多 需要 Ollgn) 的 时 间 就 可 完成 了 
的 更 新 传播 。 因 此 ， 和 插入 一 样 ， 删 除 的 总 时 间 也 是 Ogn). a 

在 很 多 情况 下 ， 比 如 维护 顺序 统计 树 的 size 属性 ， 一 次 旋转 后 更 新 的 代价 为 O(1) ， 而 并 不 
是 定理 14. 1 中 所 给 出 的 OUgn)。 练 习 14. 2-3 就 给 出 这 样 的 一 个 例子 。 
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通过 为 结 点 增加 指针 的 方式 ， 试 说 明 如 何在 扩张 的 顺序 统计 树 上 ， 支 持 每 一 动态 集合 查 
询 操作 MINIMUM, MAXIMUM, SUCCESSOR 和 PREDECESSOR 在 最 坏 时 间 OC) A 
完成 。 顺 序 统计 树 上 的 其 他 操作 的 渐 近 性 能 不 应 受 影响 。 

能 否 在 不 影响 红 黑 树 任何 操作 的 渐 近 性 能 的 前 提 下 ， 将 结 点 的 黑 高 作为 树 中 结 点 的 一 个 
属性 来 维护 ? 说 明 如 何 做 ， 如 果 不 能 ， 请 说 明理 由 。 如 何 维护 结 点 的 深度 ? 

设 的 为 一 个 满足 结合 律 的 二 元 运算 符 ，a 为 红 黑 树 中 每 个 结 点 上 的 一 个 要 维护 的 属性 。 假 
设 在 每 个 结 点 x 上 增加 一 个 属性 fo 使 xz. f=. aar. an a, EP x, ao ots 
In 是 以 z 为 根 的 子 树 中 按 中 序 次 序 排列 的 所 有 结 点 。 说 明 在 一 次 旋转 后 ， 如 何在 O(1) 时 
间 内 更 新 f 属 性。 对 你 的 扩张 稍 做 修改 ， 使 得 它 能 够 应 用 到 顺序 统计 树 的 size 属性 中 。 
希望 设计 一 个 操作 RB_ENUMERATE(zx，a，65)， 来 对 红 黑 树 进行 扩张 。 该 操作 输出 所 
有 的 关键 字 k， 使 得 在 以 xz 为 根 的 红 黑 树 中 有 a 二 £5。 描述 如 何在 BCm 十 lgn) 时 间 内 实 
现 RB-ENUMERATE, 其 中 mm 为 输出 的 关键 字数 目 ，n 为 树 中 的 内 部 结 点 数 。( 提 示 : 
不 需要 向 红 黑 树 中 增加 新 的 属性 。) 


区 间 树 


在 这 一 节 里 ， 我 们 将 扩张 红 黑 树 来 支持 由 区 间 构 成 的 动态 集合 上 的 一 些 操作 。 闭 区 间 
(closed interval) #—T+- RAWAM. t]. HPA., Rin, 表示 了 集合 {1E€ER: A< 
t<t}. F Copen) 区间 和 半 开 (half-open) 区 间 分 别 略 去 了 集合 的 两 个 或 一 个 端点 。 在 本 节 中 ， 我 
们 假设 区 间 都 是 财 的 ， 将 结果 推广 至 开 和 半 开 区 间 上 是 自然 和 直接 的 。 

区 间 便 于 表示 占用 一 连续 时 间 段 的 一 些 事件 。 例 如 ， 查 询 一 个 由 时 间 区 间 数 据 构成 的 数据 
库 ， 去 找 出 给 定时 间 区 间 内 发 生 了 什么 事件 。 本 节 中 介绍 的 数据 结构 可 用 来 有 效 地 维护 这 样 一 
个 区 间 数 据 库 。 

我 们 可 以 把 一 个 区 间 Lo, tI ERRAR AR i, 其 中 属性 i low= t 为 低 端点 Clow 
endpoint), JRE i. high=t, 为 高 端点 (high endpoint) 。 我 们 称 区 间 i 和 i BBCoverlap), W 
INAJ, BUM i. lowi’. high Hi’. low<i. high。 如 图 14-3 所 示 ， 任 何 两 个 区 间 i A i E 
区 间 三 分 律 (interval trichotomy)， 即 下 面 三 条 性 质 之 一 成 立 : 

a. i 和; BE, 

b. i TE i WAL CEE i. high<i’. low). 

c. i Ei 的 右边 (也 就 是 i. high<i. low). 





m 一 一 一 H j 
i i’ i i 
-一 一 一 
(a) 
-一 一 一 一 > 








(b) Ce) 


图 14-3 KAAKE iM KERZE QWR M BBR, LOA 4 AL; 每 种 情况 都 有 i. low’. 


high H č. low<i. high, OKRA BEA i high<i’. low, (OQ KAA BEBE i. high<i. low 


区 间 树 (interval tree) 是 一 种 对 动态 集合 进行 维护 的 红 黑 树 ， 其 中 每 个 元 素 z 都 包含 一 个 区 
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Hx. int。 区 间 树 支持 下 列 操 作 : 

INTERVAL-INSERT(T, x): 将 包含 区 间 属 性 int MICK x 插 人 到 区 间 树 工 中 。 

INTERVAL-DELETE(T, x): 从 区 间 树 荆 中 删除 元 素 zx。 

INTERVAL-SEARCH(T, i): 返回 一 个 指向 区 间 树 工 中 元 素 的 指针 ,使 x. int 与 i BH; 
若 此 元 素 不 存在 ， 则 返回 T. nil. 

图 14-4 说 明了 区 间 树 是 如 何 表达 一 个 区 间 集 合 的 。 我 们 将 按照 14. 2 节 中 的 4 步 法 ， 来 分 析 
区 间 树 以 及 区 间 树 上 各 种 操作 的 设计 。 








26126 
19+420 
17-—4119 
Ca) 16-21 
15-23 
8m9 
6—10 
5418 
0—3 
eo l Ce EE tol E ree eee ee l i) yt 
0 5 10 15 20 25 30 


(b) 





图 14-4 一 棵 区 间 树 。(a)10 个 区 间 的 集合 ， 它 们 按 左 端点 自 底 向 上 顺序 示 出 。(b) 表 示 它 们 的 区 间 树 。 
每 个 结 点 工 包 含 一 个 区 间 ， 显 示 在 虚线 的 上 方 ; 一 个 以 并 为 根 的 子 树 中 所 包含 的 区 间 端 点 的 最 
大 值 ， 显 示 在 虚线 的 下 方 。 这 棵 树 的 中 序 遍 历 列 出 按 左 端点 顺序 排列 的 各 个 结 点 


步骤 1: 基础 数据 结构 

我 们 选择 这 样 一 棵 红 黑 树 ， 其 每 个 结 点 x 包含 一 个 区 间 属 性 xz. int, H xz 的 关键 字 为 区 间 的 
低 端点 x. int. low。 因 此 ， 该 数据 结构 按 中 序 遍 历 列 出 的 就 是 按 低 端 点 的 次 序 排列 的 各 区 间 。 

步骤 2: 附加 信息 

每 个 结 点 z 中 除了 自身 区 间 信 息 之 外 ， 还 包含 一 个 值 x. mar, CRU z 为 根 的 子 树 中 所 有 
区 间 的 端点 的 最 大 值 。 

步骤 3: 对 信息 的 维护 

我 们 必须 验证 n 个 结 点 的 区 间 树 上 的 插入 和 删除 操作 能 否 在 OC(lgn) 时 间 内 完成 。 通 过 给 定 
区 间 x. int 和 结 点 的 子 结 点 的 maz 值 ， 可 以 确定 x. mar f: 

xz. mx = max(z. int. high, x. left. max, x. right. max) 

这 样 ， 根 据 定理 14. 1 可 知 ， 插 入 和 删除 操作 的 运行 时 间 为 O(lgn)。 事 实 上 ， 在 一 次 旋转 
后 ， 更 新 maz 属性 只 需 O() 的 时 间 ， 如 练习 14. 2-3 和 练习 14. 3-1 所 示 。 

DRA: 设计 新 的 操作 

这 里 我 们 仅 需 要 唯一 的 一 个 新 操作 INTERVAL-SEARCH(T, i), EAR TPA 
区 间 i 重合 的 那个 结 点 。 若 树 中 与 i 重合 的 结 点 不 存在 ， 则 下 面 过 程 返回 指向 哨兵 T.nil 的 
指针 。 
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INTERVAL-SEARCH(T,i) 
1 æ= T.root 

2 while xT. nil and i does not overlap zx. int 
3 if x. le ftT. nil and z. left. maxi. low 
4 x= z. left 

5 else x = x. right 

6 


return x 


ERS HANK z 的 过 程 从 以 z ARM. BM PRR. 4RAI-T+RSEI 
RA xi T. nil 时 过 程 结 束 。 由 于 基本 循环 的 每 次 迭代 耗费 O(1) 的 时 间 ， 又 因为 n 个 结 点 的 
红 黑 树 的 高 度 为 Ol(lgn)， 所 以 INTERVAL-SEARCH 过 程 耗费 O(lgn) 的 时 间 。 

在 说 明 INTERVAL-SEARCH 的 正确 性 之 前 ， 先 来 看 一 下 这 个 过 程 在 图 14-4 所 示 的 区 间 树 
上 是 如 何 查找 的 。 假 设 要 找 一 个 与 区 间 i=[22, 25] ERKE. HRN z 为 根 结 点 ， 它 包含 区 
H6, 21], Fix BR, HF a. left. max=23 KF i. Low 一 22， 所 以 这 时 以 这 棵 树 根 的 左 孩 子 
作为 工 继续 循环 。 现 在 结 点 工 包含 区 间 [8，9]j， 仍 不 与 重奏。 此 时 ，z. left. maz 王 10 小 于 
i. 1ow 一 22， 因 此 以 z 的 右 孩 子 作为 新 的 z 继续 循环 。 现 在 ， 由 于 结 点 工 所 包含 的 区 间 [15，23] 
与 i 重 侠 ， 过 程 结 束 并 返回 这 个 结 点 。 

现在 来 看 一 个 查找 不 成 功 的 例子 。 假 设 要 在 图 14-4 所 示 的 区 间 树 中 找 出 与 i501, MERK 
区 间 。 再 一 次 ， 开 始 时 z 为 根 。 因 为 根 包含 的 区 间 [16，21j] 不 与 i 重 辣 ， 且 x. left.max=23 大 于 
i.low 一 11， 则 转向 左边 包含 区 间 [8，9j] 的 结 点 。 区 间 [L8，9j 仍 不 与 i 重 倒 ， 且 x. left. maz 王 10 小 
于 i.low 二 11， 因 此 我 们 转向 右 子 树 。( 注 意 ， 其 左 子 树 中 没有 一 个 区 间 与 i BB. KALI, 
23] 仍 不 与 1 重 春 ， 且 它 的 左 孩子 为 T. nil, KMAR, 循环 结束 ， 返 回 T. nil, 

要 明白 INTERVAL-SEARCH 的 正确 性 ， 我 们 必须 理解 为 什么 该 过 程 只 需 检 查 一 条 由 根 开 
始 的 简单 路 径 即 可 。 该 过 程 的 基本 思想 是 在 任意 结 点 zx 上， 如 果 zx. int 不 与 i ER, WERKE 
沿 着 一 个 安全 的 方向 进行 : 如 果树 中 包含 一 个 与 i 重合 的 区 间 ， 则 该 区 间 必 定 会 被 找到 。 下 面 的 
定理 更 精确 地 叙述 了 这 个 性 质 。 

定理 14.2 INTERVAL-SEARCH(T, 由 的 任意 一 次 执行 ， 或 者 返回 一 个 其 区 间 与 i 重 胎 的 
结 点 ， 或 者 返回 T.nil， 此 时 树 丁 中 没有 任何 结 点 的 区 间 与 i CB, 

证 明 当 zx=T.nil 或 i 与 x.int 重 着 时 ,第 2~5 行 的 while 循 环 终止 。 后 一 种 情况 ， 过 程 返 
回 x， 显 然 是 正确 的 。 因 此 ， 主 要 考虑 前 一 种 情况 ， 也 就 是 当 =T. nil 时 while 循环 终止 的 

对 第 2 一 5 行 的 while 循环 使 用 如 下 的 循环 不 变 式 : 

如 果树 荆 包 含 与 i 重合 的 区 间 ， 那 么 以 工 为 根 的 子 树 必 包 含 此 区 间 。 

循环 不 变 式 使 用 如 下 : 

初始 化 : 在 第 一 次 迭代 之 前 ， 第 1 行 置 z 为 工 的 根 ， 循环 不 变 式 成 立 。 

保持 : 在 while 循 环 的 每 次 迭代 中 ， 第 4 行 或 第 5 行 被 执行 。 下 面 将 证 明 循 环 不 变 式 在 这 两 
种 情况 下 都 能 成 立 。 

如 果 执 行 第 5 行 ， 则 由 于 第 3 行 的 分 支 条 件 ， 有 z. left=T. nil Ker. left. maz<i. low, WR 
x. left=T. nil, WU x. left 为 根 的 子 树 显然 不 包含 与 i ERKKI, MAE z 为 z. right 以 保持 
这 个 不 变 式 。 因 此 ， 假 设 x. leftAT. nil H x. left. max<i. low, WE 14-5(a) Stas, Xt r ETH 
的 任 一 区 间 i， 都 有 





i’. high <x. left. max <i. low 
根据 区 间 三 分 律 ，i 和 i RRS. Alt, 的 左 子 树 不 包含 与 i BAM KM, Æ xX ax. right 
使 循环 不 变 式 保 持 成 立 。 
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另外 ， 如 果 是 第 4 行 被 执行 ,我 们 将 证 明 循环 不 变 式 的 对 等 情况 。 也 就 是 说 ， 如 果 在 以 
x. left 为 根 的 子 树 中 没有 与 i 重 又 的 区 间 ， 则 树 的 其 他 部 分 也 不 会 包含 与 i 重 倒 的 区 间 。 因 为 第 
4 行 被 执行 ， 是 由 于 第 3 行 的 分 支 条 件 导致 的 ， 所 以 有 zx. left. maxDi. iow。 根据 max 属性 的 定 
XL, ec WEF Pe eee Mali’, WE: 

i. high = x. left. max >i. low 
(图 14-5(b) fia TARA iMi RB, RAW i. high<i. low 不 成 立 ， 所 以 根据 区 间 
ZAA i high<i’. /orv。 区 间 树 是 以 区 间 的 低 端点 为 关键 字 的 ， 所 以 搜索 树 性 质 隐 含 了 对 A 
子 树 中 的 任意 区 间 交 ， 有 
i. high<i’. low<i”. low 








; ， i” 
| rm 上 = 
p ' i” 
T i i i’ 
i > i —> 
(a) (b) 


图 14-5 在 定理 14.2 的 证 明 中 用 到 的 各 个 区 间 。 在 每 种 情况 下 ，z. left. max 的 值 用 虚线 表示 。 
(a) 向 右 查 找 。 在 z 的 左 子 树 中 没有 与 之 重 又 的 区 间 i 。(b) 向 左 查 找 。xz 的 左 子 树 中 包 
S5i 重要 的 区 间 ( 此 状态 未 显示 )， 或 者 xz 左 子 树 中 有 一 个 区 间 i ,满足 i . high 一 
z. left. mazx。 既 然 i 与 i RES, WH zx AFTREK RTR, AA i. lows 


fb 
i”. low 


RHR =AE, iMi RER., RINGHREHAC, MAR z 的 左 子 树 中 是 否 存 在 与 i 
HSM KM, Ba 为 zx. Left 保持 循环 不 变 式 成 立 。 

终止 : WRM =T. nil 时 终止 ， 则 表明 在 以 sc HR, WAS i RAKKE. 
循环 不 变 式 的 对 等 情况 说 明了 本 中 不 包含 与 i RAKKE, PORE x 二 T. nil 是 正确 的 。 E 

因此 ， 过 程 INTERVAL-SEARCH 是 正确 的 。 


练习 


14.3-1 写 出 作用 于 区 间 树 的 结 点 且 在 O(G1) 时 间 内 更 新 mar 属性 的 过 程 LEFT-ROTATE 的 伪 代码 。 

14. 3-2 改写 INTERVAL-SEARCH 的 代码 ， 使 得 当 所 有 区 间 都 是 开 区 间 时 ， 它 也 能 正确 地 
TH. 

14.33 ”请 给 出 一 个 有 效 的 算法 ， 对 一 个 给 定 的 区 间 i, AEAT i BSR RAR RAY 
KE; 或 者 当 这 样 的 区 间 不 存在 时 返回 T. nil. 

14. 3-4 ”给 定 一 棵 区 间 树 工 和 一 个 区 间 ;， 请 描述 如 何在 OGmin(n, kign) HARI T RRA 
与 i 重 益 的 区 间 ， 其 中 为 输出 的 区 间 数 。( 提 示 : 一 种 简单 的 方法 是 做 若干 次 查询 ， 并 
且 在 这 些 查询 操作 中 修改 树 ， 另 一 种 略微 复杂 点 的 方法 是 不 对 树 进 行 修改 。) 

14.3-5 对 区 间 树 和 一 个 区 间 i， 请 修改 有 关 区 间 树 的 过 程 来 支持 新 的 操作 INTERVAL- 
SEARCH-EXACTLY(T, 让 ,， 它 返回 一 个 指向 本 中 结 点 zz 的 指针 ， 使 得 x. int. low= 
i. low H. x. int. high=i. high; 或 者 ， 如 果 芽 不 包含 这 样 的 区 间 时 返回 T. nil. AWE 
作 ( 包 括 INTERVAIL-SEARCH-EXACTLY) 对 于 包含 n 个 结 点 的 区 间 树 的 运行 时 间 都 应 
X Ogn). 

14. 3-6 说明 如 何 来 维护 一 个 支持 操作 MIN-GAP 的 一 些 数 的 动态 集 Q， 使 得 该 操作 能 给 出 Q 中 
两 个 最 接近 的 数 之 间 的 差 值 。 例 如 ，Q= 二 {1，5，9，15，18，22}， 则 MIN-GAP 返回 
18 一 15 二 3， 因 为 15 和 18 是 Q 中 两 个 最 接近 的 数 。 要 使 得 操作 INSERT, DELETE, 
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SEARCH 和 MIN-GAP 尽 可 能 高 效 ， 并 分 析 它 们 的 运行 时 间 。 

*14.3-7 VLSI 数据 库 通 常 将 一 块 集成 电路 表示 成 一 组 矩形 ， 假 设 每 个 矩形 的 边 都 平行 于 工 轴 或 
者 y 轴 ， 这 样 可 以 用 和 拖 形 的 最 小 和 最 大 的 工 轴 与 》 轴 坐 标 来 表示 一 个 和 矩形。 请 给 出 一 个 
OCzlgz) 时 间 的 算法 ， 来 确定 ”个 这 种 表示 的 矩形 集合 中 是 否 存在 两 个 重叠 的 矩形 。 你 
的 算法 不 一 定 要 输出 所 有 重 友 的 矩形 ， 但 对 于 一 个 矩形 完全 覆盖 另 一 个 (即使 边界 线 不 
相交 )， 一 定 能 给 出 正确 的 判断 。( 提 示 : 移动 一 条 “扫描 ” 线 ， 穿 过 所 有 的 矩形 。) 


思考 题 
14-1 RAEES) ”假设 我 们 希望 记录 一 个 区 间 集 合 的 最 大 重 倒 点 (a point of maximum 
overlap)， 即 被 最 多 数目 区 间 所 履 盖 的 那个 点 。 
354 a 证 明 : 最 大 重 倒 点 一 定 是 其 中 一 个 区 间 的 端点 。 
b. 设计 一 个 数据 结构 ， 使 得 它 能 够 有 效 地 支持 INTERVAL-INSERT, INTERVAL- 
DELETE, WGK KB HY FIND-POM 操作 。( 提 示 : 使 红 黑 树 记录 所 有 的 端 
点 。 左 端点 关联 十 1 值 ， 右 端点 关联 一 1 值 ， 并 且 给 树 中 的 每 个 结 点 扩张 一 个 额外 信息 
RAP RKB A.) 
14-2 (Josephus 排列 ) 定义 Josephus 问题 如 下 : 假设 2 个 人 围 成 一 个 圆圈 ， 给 定 一 个 正 整 数 m 
且 m 志 mn。 从 某 个 指定 的 人 开始 ， 沿 环 将 遇 到 的 每 第 m 个 人 移出 队伍 。 每 个 人 移出 之 后 ， 
继续 沿 环 数 剩 下 来 的 人 。 这 个 过 程 直到 所 有 的 n 个 人 都 被 移出 后 结束 。 每 个 人 移出 的 次 序 
定义 了 一 个 来 自 整 数 1，2，…， nn 的 (n，m)-Josephus 排列 。 例 如 ，(7，3)-Josephus 排列 
Fis By 2a Ta By Ly A, 
a. 假设 m ETM, WRA O(n) 时 间 的 算法 ,使 得 对 于 给 定 的 n， 能 够 输出 (n，m)- 
Josephus 排列 。 
b. 假设 m 不 是 常数 ， 描 述 一 个 O(nlg) 时 间 的 算法 ， 使 得 对 于 给 定 的 x， 能 够 输出 (n，xm)- 
Josephus 排列 。 


本 章 注 记 
Æ Preparata 和 Shamos [282] 的 书 中 ,描述 了 出 现在 H. Edelsbrunner (1980) 和 


E. M. McCreight(1981) 所 引用 文献 内 的 一 些 区 间 树 。 该 书 详细 介绍 了 一 种 区 间 树 ， 给 定 包含 个 
区 间 的 静态 数据 库 ， 它 能 够 在 OCk 十 lgn) 时 间 内 ， 列 出 所 有 与 指定 查询 区 间 重 鳍 的 个 区 间 。 
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高 级 设计 和 分 析 技 术 





这 一 部 分 介绍 了 设计 和 分 析 高 效 算法 的 三 种 重要 技术 : 动态 规划 (第 15 
章 )、 贪 心算 法 (第 16 章 ) 和 摊 还 分 析 ( 第 17 章 )。 本 书 前 三 部 分 介绍 了 其 他 
一 些 广泛 使 用 的 技术 ， 例 如 ， 分 治 策略 、 随 机 化 方法 和 递归 技术 。 这 一 部 
分 中 介绍 的 技术 在 某 种 程度 上 更 为 复杂 ， 但 可 以 帮助 我 们 解决 很 多 计算 问 
题 。 这 一 部 分 所 介绍 的 主题 在 本 书 随后 的 部 分 中 还 会 用 到 。 

动态 规划 通常 用 来 解决 最 优化 问题 ， 在 这 类 问题 中 ， 我 们 通过 做 出 一 
组 选择 来 达到 最 优 解 。 在 做 出 每 个 选择 的 同时 ， 通 常会 生成 与 原 问 题 形式 
相同 的 子 问 题 。 当 多 于 一 个 选择 子 集 都 生成 相同 的 子 问题 时 ， 动 态 规划 技 
术 通 常 就 会 很 有 效 ， 其 关键 技术 就 是 对 每 个 这 样 的 子 问题 都 保存 其 解 ， 当 
其 重复 出 现时 妈 可 避免 重复 求解 。 第 15 章 展 示 这 种 简单 的 思想 有 时 可 以 
将 指数 时 间 的 算法 转换 为 多 项 式 时 间 的 算法 。 

与 动态 规划 算法 类 似 ， 贪 心算 法 通常 用 于 最 优化 问题 ， 我 们 做 出 一 组 
选择 来 达到 最 优 解 。 贪 心算 法 的 思想 是 每 步 选 择 都 追求 局 部 最 优 。 一 个 简 
单 的 例子 是 找 零 问 题 : 为 了 最 小 化 找 零 的 硬币 数量 ， 我 们 反复 选择 不 大 于 
剩余 金额 的 最 大 面额 的 硬币 。 贪 心 方法 对 很 多 问题 都 能 求 得 最 优 解 ， 而 且 
速度 比 动态 规划 方法 快 得 多 。 但 是 ， 我 们 并 不 总 能 简单 地 判断 出 贪心 算法 
是 否 有 效 。 第 16 章 介绍 拟 阵 理论 ， 它 提供 了 相应 的 数学 基础 ， 可 以 帮助 
我 们 证 明 一 个 贪心 算法 生成 最 优 解 。 

我 们 使 用 挫 还 分 析 方 法 分 析 一 类 特定 的 算法 ， 这 类 算法 执行 一 组 相似 的 
操作 组 成 的 序列 。 摊 还 分 析 并 不 是 通过 分 别 分 析 每 个 操作 的 实际 代价 的 界 来 
分 析 操 作 序列 的 代价 的 界 ， 而 是 直接 分 析 序 列 整体 的 实际 代价 的 界 。 这 种 方 
法 的 一 个 好 处 是 ， 虽 然 某 些 操作 的 代价 可 能 很 高 ， 但 其 他 很 多 操作 的 代价 可 
能 很 低 。 换 句 话说， 很 多 操作 的 运行 时 间 都 会 在 最 坏 情况 时 间 之 内 。 摊 还 分 析 
并 不 仅仅 是 一 种 分 析 工 具 ， 它 还 是 一 种 思考 算法 设计 的 方式 ， 因 为 算法 设计 和 
算法 运行 时 间 的 分 析 澡 常 是 交织 在 -起 的 。 第 17 章 将 介绍 三 种 扑 还 分 析 方 法 。 








第 15 章 | 


Introduction to Algorithms, Third Edition 


动态 规划 


动态 规划 (dynamic programming) 与 分 治 方法 相似 ， 都 是 通过 组 合子 问题 的 解 来 求解 原 问 题 (在 
这 里 ,“programming” 指 的 是 一 种 表格 法 ， 并 非 编 写 计 算 机 程序 ) 。 如 第 2 章 和 第 4 章 所 述 ， 分 治 方 
法 将 问题 划分 为 互 不 相交 的 子 问题 ， 递 归 地 求解 子 问题 ， 再 将 它们 的 解 组 合 起 来 ， 求 出 原 问 题 的 
解 。 与 之 相反 ， 动 态 规划 应 用 于 子 问 题 重 委 的 情况 ， 即 不 同 的 子 问题 具有 公共 的 子 子 问题 ( 子 问题 
的 求解 是 递归 进行 的 ， 将 其 划分 为 更 小 的 子 子 问题 ) 。 在 这 种 情况 下 ， 分 治 算法 会 做 许多 不 必要 的 
工作 ， 它 会 反复 地 求解 那些 公共 子 子 问 题 。 而 动态 规划 算法 对 每 个 子 子 问题 只 求解 一 次 ， 将 其 解 保存 
在 一 个 表格 中 ， 从 而 无 需 每 次 求解 一 个 子 子 问题 时 都 重新 计算 ， 避 免 了 这 种 不 必要 的 计算 工作 。 

动态 规划 方法 通常 用 来 求解 最 优化 问题 (optimization problem) 。 这 类 问题 可 以 有 很 多 可 行 
解 ， 每 个 解 都 有 一 个 值 ， 我 们 希望 寻找 具有 最 优 值 (最 小 值 或 最 大 值 ) 的 解 。 我 们 称 这 样 的 解 为 问 
题 的 一 个 最 优 解 (an optimal solution) ， 而 不 是 最 优 解 (the optimal solution)， 因 为 可 能 有 多 个 解 
都 达到 最 优 值 。 

我 们 通常 按 如 下 4 个 步骤 来 设计 一 个 动态 规划 算法 : 

1. 刻画 一 个 最 优 解 的 结构 特征 。 

2. 递归 地 定义 最 优 解 的 值 。 

3. 计算 最 优 解 的 值 ， 通 常 采 用 自 底 向 上 的 方法 。 

4. 利用 计算 出 的 信息 构造 一 个 最 优 解 。 

步骤 1 一 3 是 动态 规划 算法 求解 问题 的 基础 。 如 果 我 们 仅仅 需要 一 个 最 优 解 的 值 ， 而 非 解 本 
身 ， 可 以 忽略 步 又 4。 如 果 确 实 要 做 步 又 4， 有 时 就 需要 在 执行 步骤 3 的 过 程 中 维护 一 些 额外 信 
息 ， 以 便 用 来 构造 一 个 最 优 解 。 

下 面 我 们 将 展示 如 何 用 动态 规划 方法 来 求解 一 些 最 优化 问题 。15. 1 节 研 究 如 何 将 长 钢 条 切 
割 成 短 钢 条 ， 使 得 总 价值 最 高 。15. 2 节 解 决 如 何 用 最 少 的 标量 乘法 操作 完成 一 个 矩阵 链 相 乘 的 
运算 。 基 于 这 些 动态 规划 求解 问题 的 例子 ，15. 3 节 讨 论 适 合用 动态 规划 方法 求解 的 问题 应 该 具 
备 的 两 个 关键 特征 。 接 下 来 ，15. 4 节 展 示 如 何 用 动态 规划 方法 找到 两 个 序列 的 最 长 公共 子 序列 。 
最 后 ，15. 5 节 用 动态 规划 方法 解决 在 已 知 关键 字 分 布 的 前 提 下 ， 如 何 构造 最 优 二 又 搜索 树 。 


15.1 钢 条 切割 
我 们 第 一 个 应 用 动态 规划 的 例子 是 求解 一 个 如 何 切割 钢 条 的 简单 问题 。Serling 公司 购买 长 钢 
条 ， 将 其 切割 为 短 钢 条 出 售 。 切 割 工 序 本 身 没有 成 本 支出 。 公 司 管理 层 希 望 知道 最 佳 的 切割 方案 。 
假定 我 们 知道 Serling 公司 出 售 一 段 长 度 为 ;英寸 的 钢 条 的 价格 为 如 (一 1，2，…， 单 位 为 美 
元 ) 。 钢 条 的 长 度 均 为 整 英寸 。 图 15-1 给 出 了 一 个 价格 表 的 样 例 。 


长 度 i 1 2 3 4 5 6 7 8 9 10 


| Hee | i Ss s 8 6 U if BO u 36 
图 15-1 钢 条 价格 表 样 例 。 每 段 长 度 为 i 英寸 的 钢 条 为 公司 带 来 p; 美元 的 收益 


钢 条 切割 问题 是 这 样 的 : 给 定 一 段 长 度 为 4 英寸 的 钢 条 和 一 个 价格 表 p;(i 一 1，2,，…,， n), 
求 切割 钢 条 方案 ， 使 得 销售 收益 n 最 大 。 注 意 ， 如 果 长 度 为 nn 英寸 的 钢 条 的 价格 p, 足够 大 ， 最 
优 解 可 能 就 是 完全 不 需要 切割 。 

考虑 "一 4 的 情况 。 图 15-2 给 出 了 4 英寸 钢 条 所 有 可 能 的 切割 方案 ， 包 括 根本 不 切割 的 方案 。 
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我 们 发 现 ， 将 一 段 长 度 为 4 英寸 的 钢 条 切割 为 两 段 各 长 2 英寸 的 钢 条 ， 将 产生 ps 十 po 二 5 十 5 二 10 
的 收益 ， 为 最 优 解 。 





图 15-2 4 英寸 钢 条 的 8 种 切割 方案 。 根 据 图 15-1 中 的 价格 表 ， 在 每 段 钢 条 之 上 标记 了 它 的 价 
格 。 最 优 策 略为 方案 (c) 一 一 将 钢 条 切割 为 两 段 长 度 均 为 2 英寸 的 钢 条 一 一 总 价值 为 10 


长 度 为 n 英寸 的 钢 条 共有 2”! 种 不 同 的 切割 方案 ， 因 为 在 距离 钢 条 左 端 i(i 二 1，2，…，n 一 1) 英 
寸 处 ,我们 总 是 可 以 选择 切割 或 不 切割 9。 我 们 用 普通 的 加 法 符号 表示 切割 方案 ， 因此 
7 二 2 十 2 十 3 表示 将 长 度 为 7 英寸 的 钢 条 切割 为 三 段 一 一 两 段 长 度 为 2 英寸 、 一 段 长 度 为 3 英寸 。 
如 果 一 个 最 优 解 将 钢 条 切割 为 & 段 (对 某 个 In), ARRIER 

n= i Fi F +i, 
将 钢 条 切割 为 长 度 分 别 为 二 ，z，…， 关 的 小 段 ， 得 到 最 大 收益 
Ta = p+ D; Fp p 360 

对 于 上 述 价格 表 样 例 ， 我 们 可 以 观察 所 有 最 优 收益 值 =(i 一 1，2，…，10) 及 对 应 的 最 优 切 “|331 
HDR: 

n=1, WAT 1 一 1( 无 切割 ) 

rz 二 5， 切 制 方案 2 一 2( 无 切割 ) 

为 一 8， 切 割 方案 3 一 3( 无 切割 ) 

r, =10, WAF R 4=2+2 

rs 二 13， 切 割 方案 5 二 2 十 3 

rs 二 17， 切 割 方案 6 一 6( 无 切割 ) 

ry 二 18， 切 割 方案 7 二 1 十 6 或 7 二 2 十 2 十 3 

rs 二 22， 切 割 方案 8 二 2 十 6 

ns 二 25， 切 市 方案 9 一 3 十 6 

rw 二 30， 切 割 方案 10 王 10( 无 切割 ) 

更 一 般 地 ， 对 于 x, (n 宇 1)， 我 们 可 以 用 更 短 的 钢 条 的 最 优 切 市 收益 来 描述 它 : 

Ta = max Payor +e 272 Ts tn) CIS. 1) 

第 一 个 参数 p, 对 应 不 切割 ， 直 接 出 售 长 度 为 ”英寸 的 钢 条 的 方案 。 其 他 n—1 个 参数 对 应 另 
外 2 一 1 种 方案 : 对 每 个 三 1，2，…，7? 一 1， 首 先 将 钢 条 切割 为 长 度 为 和 7 一 ; 的 两 段 ， 接 着 求 
解 这 两 段 的 最 优 切割 收益 r 和 x,_; (每 种 方案 的 最 优 收益 为 两 段 的 最 优 收益 之 和 )。 由 于 无 法 预知 
哪 种 方案 会 获得 最 优 收益 ， 我 们 必须 考察 所 有 可 能 的 i， 选 取 其 中 收益 最 大 者 。 如 果 直 接 出 售 原 
钢 条 会 获得 最 大 收益 ， 我 们 当然 可 以 选择 不 做 任何 切割 。 

注意 到 ， 为 了 求解 规模 为 n 的 原 问题 ， 我 们 先 求解 形式 完全 一 样 ， 但 规模 更 小 的 子 问题 。 即 
当 完 成 首次 切割 后 ， 我 们 将 两 段 钢 条 看 成 两 个 独立 的 钢 条 切割 问题 实例 。 我 们 通过 组 合 两 个 相 











日 ”如 果 我 们 要 求 按 长 度 非 递 碱 的 顺序 切割 小 段 钢 条 ， 可 能 的 切割 方案 会 少 得 多 。 例如， 对 n 二 4， 我 们 只 需 考虑 5 
种 切割 方案 : 图 15-2 中 的 (a) 、(b)、(c)、(e) 和 (h) 。 切 割 方案 的 数量 可 由 划分 函数 (partition function) 给 出 ， 
此 函数 近似 等 于 erY25/4zV3。 此 值 小 于 2"-!1， 但 仍 远 远大 于 任何 的 多 项 式 。 我 们 将 不 再 探究 此 问题 。 
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关子 问题 的 最 优 解 ， 并 在 所 有 可 能 的 两 段 切 割 方案 中 选取 组 合 收益 最 大 者 ， 构 成 原 问题 的 最 优 
解 。 我 们 称 钢 条 切割 问题 满足 最 优 子 结构 (optimal substructure) HEM: 问题 的 最 优 解 由 相关 子 问 
题 的 最 优 解 组 合 而 成 ， 而 这 些 子 问题 可 以 独立 求解 。 

除了 上 述 求解 方法 外 ， 钢 条 切割 问题 还 存在 一 种 相似 的 但 更 为 简单 的 递归 求解 方法 : 我 们 将 
钢 条 从 左边 切割 下 长 度 为 i 的 一 段 ， 只 对 右边 剩 下 的 长 度 为 n 一 i 的 一 段 继续 进行 切割 (递归 求解 )， 
对 左边 的 一 段 则 不 再 进行 切割 。 即 问题 分 解 的 方式 为 : 将 长 度 为 n 的 钢 条 分 解 为 左边 开始 一 段 ， 
以 及 剩余 部 分 继续 分 解 的 结果 。 这 样 ， 不 做 任何 切割 的 方案 就 可 以 描述 为 : 第 一 段 的 长 度 为 x， 收 
益 为 六 ， 剩 余部 分 长 度 为 0， 对 应 的 收益 为 ,二 0。 于 是 我 们 可 以 得 到 公式 (15. 1) 的 简化 版 本 : 

i= max(p: F rni) (15. 2) 

在 此 公式 中 ， 原 问题 的 最 优 解 只 包含 一 个 相关 子 问题 ( 右 端 剩 余部 分 ) 的 解 ， 而 不 是 两 个 。 

自 项 向 下 递归 实现 

下 面 的 过 程 实现 了 公式 (15. 2) 的 计算 ， 它 采用 的 是 一 种 直接 的 自 顶 向 下 的 递归 方法 。 

CUT-ROD(p,n) 


ifn == 0 
return 0 


9 一 一 co 


q=max(q, p[i]+CUT-ROD(,,2—i)) 


1 

2 

3 

4 fori = 1ton 
5 

6 return g 


过 程 CUT-ROD 以 价格 数组 pL1. .nj 和 整数 为 输入 ， 返 回 长 度 为 n 的 钢 条 的 最 大 收益 。 若 
7 一 0， 不 可 能 有 任何 收益 ， 所 以 CUT-ROD 的 第 2 行 返回 0。 第 3 行将 最 大 收益 g 初始 化 为 一 ce， 
以 便 第 4 一 5 行 的 for 循环 能 正确 计算 q=max(p,+CUT-ROD(p, n—i)), 第 6 行 返回 计算 结果 。 
利用 简单 的 归纳 法 ， 可 以 证 明 此 结果 与 公式 (15. 2) 计 算出 的 最 大 收益 x, 是 相等 的 。 

如 果 你 用 熟悉 的 编程 语言 实现 CUT-ROD， 并 在 你 的 计算 机 上 运行 它 ， 你 会 发 现 ， 一 旦 输入 
规模 稍微 变 大 ， 程 序 运 行 时 间 会 变 得 相当 长 。 例 如 ， 对 * 一 40， 程 序 至 少 运行 好 几 分 钟 ， 很 可 能 
超过 一 小 时 。 实 际 上 ， 你 会 发 现 ， 每 当 将 nn 增 大 1， 程 序 运行 时 间 差 不 多 就 会 增加 1 倍 。 

为 什么 CUT-ROD 的 效率 这 么 差 ? 原因 在 于 ，CUT-ROD 反复 地 用 相同 的 参数 值 对 自身 进行 
递归 调用 ， 即 它 反 复 求 解 相同 的 子 问题 。 图 15-3 显示 了 n=4 时 的 调用 过 程 : CUT-ROD(p, n) 
对 i 二 1,2，…，n 调用 CUT-ROD(p，n 一 i 让， 等 价 于 对 7 二 0，1，…， n—1 调用 CUT-ROD(p， 
7J)。 当 这 个 过 程 递归 展开 时 ， 它 所 做 的 工作 量 ( 用 的 函数 的 形式 描述 ) 会 爆炸 性 地 增长 。 





图 15-3 这 棵 递归 调用 树 显示 了 "一 4 时 ，CUT-ROD(C， 妆 的 递归 调用 过 程 。 每 个 结 点 的 标号 为 对 应 
子 问题 的 规模 >， 因此 ， 从 父 结 点 s 到 子 结 点 上 的 边 表示 从 钢 条 左 端 切 下 长 度 为 一 上 的 一 段 ， 
然后 继续 递归 求解 剩余 的 规模 为 的 子 问题 。 从 根 结 点 到 叶 结 点 的 一 条 路 径 对 应 长 度 为 n 的 
钢 条 的 2 “种 切割 方案 之 一 。 一 般 来 说 ， 这 棵 递归 调用 树 共 有 2" 个 结 点 ， 其 中 有 2 一 :个 
叶 结 点 
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为 了 分 析 CUR-ROD 的 运行 时 间 ， 令 T(n) 表 示 第 二 个 参数 值 为 nn 时 CUT-ROD 的 调用 次 数 。 
此 值 等 于 递归 调用 树 中 根 为 n 的 子 树 中 的 结 点 总 数 ， 注 意 ， 此 值 包含 了 根 结 点 对 应 的 最 初 的 一 次 
调用 。 因 此 T(0)=1, A 


T(n) = IEAI (15. 3) 


5 — IG 1" 878 PRB — OC Ga A A ABR), TOA CUT-ROD(p, ni) BT 
生 的 所 有 调用 (包括 递归 调用 ) 的 次 数 ， 此 处 j= n—i, 练习 15. 1-1 要 求证 明 : 

T(n) = 2” (15. 4) 
即 CUT-ROD 的 运行 时 间 为 n 的 指数 函数 。 

回 过 头 看 ，CUT-ROD 的 指数 运行 时 间 并 不 令 人 惊讶 。 对 于 长 度 为 n AR, CUT-ROD © 
然 考察 了 所 有 2” 种 可 能 的 切割 方案 。 递 归 调 用 树 中 共有 2” 个 叶 结 点 ， 每 个 叶 结 点 对 应 一 种 可 
能 的 钢 条 切割 方案 。 对 每 条 从 根 到 叶 的 路 径 ， 路 径 上 的 标号 给 出 了 每 次 切割 前 右边 剩余 部 分 的 
长 度 ( 子 问题 的 规模 ) 。 也 就 是 说 ， 标 号 给 出 了 对 应 的 切割 点 (从 钢 条 右 端 测量 ) 。 

使 用 动态 规划 方法 求解 最 优 钢 条 切割 问题 

我 们 现在 展示 如 何 将 CUT-ROD 转换 为 一 个 更 高 效 的 动态 规划 算法 。 

动态 规划 方法 的 思想 如 下 所 述 。 我 们 已 经 看 到 ， 朴 素 递 归 算法 之 所 以 效率 很 低 ， 是 因为 它 反 
复 求解 相同 的 子 问题 。 因 此 ， 动 态 规划 方法 仔细 安排 求解 顺序 ， 对 每 个 子 问 题 只 求解 一 次 ， 并 将 
结果 保存 下 来 。 如 果 随 后 再 次 需要 此 子 问题 的 解 ， 只 需 查 找 保存 的 结果 ， 而 不 必 重 新 计算 。 因 
此 ， 动 态 规划 方法 是 付出 额外 的 内 存 空 间 来 节省 计算 时 间 ， 是 典型 的 时 空 权衡 (timememory 
trade-off) 的 例子 。 而 时 间 上 的 节省 可 能 是 非常 巨大 的 : 可 能 将 一 个 指数 时 间 的 解 转化 为 一 个 多 
项 式 时 间 的 解 。 如 果子 问题 的 数量 是 输入 规模 的 多 项 式 函 数 ， 而 我 们 可 以 在 多 项 式 时 间 内 求解 
出 每 个 子 问题 ， 那 么 动态 规划 方法 的 总 运行 时 间 就 是 多 项 式 阶 的 。 

动态 规划 有 两 种 等 价 的 实现 方法 ， 下 面 以 钢 条 切割 问题 为 例 展示 这 两 种 方法 。 

第 一 种 方法 称 为 带 备 忘 的 自 项 向 下 法 (top-down with memoization)9 。 此 方法 仍 按 自然 的 递 
归 形 式 编写 过 程 ， 但 过 程 会 保存 每 个 子 问 题 的 解 ( 通 常 保存 在 一 个 数组 或 散 列 表 中 )。 当 需要 一 个 
子 问题 的 解 时 ， 过 程 首 先 检查 是 否 已 经 保存 过 此 解 。 如 果 是 ， 则 直接 返回 保存 的 值 ， 从 而 节省 了 
计算 时 间 ; 否则 ， 按 通常 方式 计算 这 个 子 问题 。 我 们 称 这 个 递归 过 程 是 带 备 忘 的 (memoized)， 
因为 它 “ 记 住 ”» 了 之 前 已 经 计算 出 的 结果 。 

第 二 种 方法 称 为 自 底 向 上 法 (bottom-up method) 。 这 种 方法 一 般 需 要 恰当 定义 子 问题 “规模 ” 
的 概念 ， 使 得 任何 子 问题 的 求解 都 只 依赖 于 “更 小 的 ” 子 问题 的 求解 。 因 而 我 们 可 以 将 子 问题 按 规 
模 排 序 ， 按 由 小 至 大 的 顺序 进行 求解 。 当 求解 某 个 子 问题 时 ， 它 所 依赖 的 那些 更 小 的 子 问题 都 已 
求解 完毕 ,结果 已 经 保存 。 每 个 子 问题 只 需求 解 一 次 ， 当 我 们 求解 它 ( 也 是 第 一 次 遇 到 它 ) 时 ， 它 
的 所 有 前 提 子 问题 都 已 求解 完成 。 

两 种 方法 得 到 的 算法 具有 相同 的 渐 近 运行 时 间 ， 仅 有 的 差异 是 在 某 些 特殊 情况 下 ， 自 项 向 
下 方法 并 未 真正 递归 地 考察 所 有 可 能 的 子 问题 。 由 于 没有 频繁 的 递归 函数 调用 的 开销 ， 自 底 向 
上 方法 的 时 间 复 杂 性 函数 通常 具有 更 小 的 系数 。 

下 面 给 出 的 是 自 顶 向 下 CUT-ROD 过 程 的 伪 代 码 ， 加 入 了 备 忘 机 制 : 

MEMOIZED-CUT-ROD(p,n) 


1 let 7[0..n]be a new array 


2 fori = 0 ton 


名 ”此 处 并 不 是 拼写 错误 ， 确 实 是 memoization， 而 非 memorization, memoization 源 自 memo， 为 备 忘 之 意 ， 因 为 这 
种 方法 记录 子 问题 的 解 ， 以 备 随后 查找 。 


363 
l 
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3 r[i]J=—co 
4 return MEMOIZED-CUT-ROD-AUX(p,7,7) 


MEMOIZED-CUT-ROD-AUX(p,2,7r) 
if r[n]>0 
return r[7] 
ifn == 0 
q=0 


1 
2 
3 
4 
5 else q 一 一 co 
6 fori = 1 ton 
7 q=max(q, p[i]-+MEMOIZED-CUT-ROD-AUX(p.n—isr)) 
8 rinl=q 
9 return g 
这 里 ， 主 过 程 MEMOIZED-CUT-ROD 将 辅助 数组 r[0. .站 的 元 素 均 初始 化 为 一 <， 这 是 一 
种 常见 的 表示 “未 知 值 ” 的 方法 (已 知 的 收益 总 是 非 负 值 )。 然 后 它 会 调用 辅助 过 程 MEMOIZED- 
CUT-ROD-AUX, 
过 程 MEMOIZED-CUT-ROD-AUX 是 最 初 的 CUT-ROD 引入 备 忘 机 制 的 版 本 。 它 首先 检查 
所 需 值 是 否 已 知 (第 1 行 )， 如 果 是 ， 则 第 2 行 直接 返回 保存 的 值 ; 否则 ， 第 3 一 7 行 用 通常 方法 
计算 所 需 值 a, 第 8 行将 g 存 人 rLn]， 第 9 行将 其 返回 。 
自 底 向 上 版 本 更 为 简单 ， 
BOTTOM-UP-CUT-ROD(p,n) 
let r[0. . n]be a new array 
rL0]=0 
for j = 1 ton 


4 一 一 co 


1 
2 
3 
4 
5 for i = 1 toj 
6 q=max(q, pli]+r[j—i]) 
7 rLi]=4q 
8 returnr[n] 

自 底 向 上 版 本 BOTTOM-UP-CUT-ROD 采用 子 问 题 的 自然 顺序 : A i<j, WARK i 的 子 
问题 比 规模 为 7 的 子 问题 “更 小 ”。 因 此 ， 过 程 依次 求解 规模 为 7 二 0，1，…，72 的 子 问题 。 

过 程 BOTTOM-UP-CUT-ROD 的 第 1 行 创建 一 个 新 数组 LO. .nj 来 保存 子 问题 的 解 ， 第 2 行 
将 rL0j 初 始 化 为 0， 因 为 长 度 为 0 的 钢 条 没有 收益 。 第 3 一 6 行 对 j 二 1，2，…，nn 按 升序 求解 每 
个 规模 为 7 的 子 问题 。 求 解 规模 为 7 的 子 问题 的 方法 与 CUT-ROD 所 采用 的 方法 相同 ， 只 是 现在 
直接 访问 数组 元 素 [7 一 菇 来 获得 规模 为 7 一 ; 的 子 问题 的 解 ( 第 6 行 )， 而 不 必 进 行 递 归 调 用 。 第 
7 行将 规模 为 7 FRA rG] Ba. B 8 行 返回 rLn]， 即 最 优 解 ro 

自 底 向 上 算法 和 自 顶 向 下 算法 具有 相同 的 渐 近 运行 时 间 。 过 程 BOTTOM-UP-CUT-ROD 的 
主体 是 嵌 套 的 双重 循环 ， 内 层 for 循环 (第 5~6 行 ) 的 迭代 次 数 构成 一 个 等 差 数列 ， 不 难 分 析 过 
程 的 运行 时 间 为 OG’). Wil FA) MEMOIZED-CUT-ROD 的 运行 时 间 也 是 OG’), FLAP HTH 
难 一 些 : 当 求 解 一 个 之 前 已 计算 出 结果 的 子 问题 时 ， 递 归 调 用 会 立即 返回 ， 即 MEMOIZED- 
CUT-ROD 对 每 个 子 问题 只 求解 一 次 ， 而 它 求解 了 规模 为 0，1，…，n 的 子 问 题 ， 为 求解 规模 为 
n 的 子 问题 ,第 6 一 7 行 的 循环 会 迭代 nn 次 ; 因此 ，MEMOIZED-CUT-ROD 进行 的 所 有 递归 调用 
执行 此 for 循环 的 迭代 次 数 也 是 一 个 等 差 数列 ， 其 和 也 是 O0), 与 BOTTOM-UP-CUT-ROD 内 
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Z for 循环 的 迭代 总 次 数 一 样 (我们 在 这 里 实际 上 用 到 了 某 种 形式 的 聚合 分 析 (aggregate 
analysis) ， 聚 合 分 析 方 法 的 细节 将 在 17. 1 节 介 绍 ) 。 

子 问题 图 

当 思 考 一 个 动态 规划 问题 时 ， 我 们 应 该 弄 清 所 涉及 的 子 问题 及 子 问题 之 间 的 依赖 关系 。 

问题 的 子 问题 图 准确 地 表达 了 这 些 信息 。 图 15-4 显示 了 n=4 时 钢 条 切割 问题 的 子 问题 图 。 
它 是 一 个 有 向 图 ， 每 个 顶点 唯一 地 对 应 一 个 子 问题 。 
若 求 子 问 题 x 的 最 优 解 时 需要 直接 用 到 子 问 题 > 的 最 
优 解 ， 那 么 在 子 问题 图 中 就 会 有 一 条 从 子 问题 x 的 项 
点 到 子 问题 y 的 项 点 的 有 向 边 。 例 如 ， 如 果 自 顶 向 下 
过 程 在 求解 x 时 需要 直接 递归 调用 自身 来 求解 y， 那 
么 子 问题 图 就 包含 从 工 到 y 的 一 条 有 向 边 。 我 们 可 以 
将 子 问 题 图 看 做 自 项 向 下 递归 调用 树 的 “简化 版 ”或 
“收缩 版 >， 因 为 树 中 所 有 对 应 相同 子 问题 的 结 点 合并 
为 图 中 的 单一 顶点 ， 相 关 的 所 有 边 都 从 父 结 点 指向 子 图 15-4 z 一 4 时 ， 钢 条 切割 问题 的 子 问题 





结 点 。 图 。 顶 点 的 标号 给 出 了 子 问 题 的 规 

模 。 有 向 边 (z，y) 表 示 当 求解 子 

自 底 向 上 的 动态 规划 方法 处 理子 问题 图 中 项 点 的 问题 zx 时 需要 子 问题 y 的 解 。 此 图 

顺序 为 : 对 于 一 个 给 定 的 子 问题 x， 在 求解 它 之 前 求 实际 上 是 图 15-3 中 递归 调用 树 的 

解 邻接 至 它 的 子 问题 y( 回 忆 B. 4 节 ， 邻 接 关 系 不 一 定 简化 版 一 一 树 中 标号 相同 的 结 点 收 

是 对 称 的 )。 用 第 22 章 中 的 术语 说 ， 自 底 向 上 动态 规 缩 为 图 中 的 单一 顶点 ， 所 有 边 均 从 

« 7 “ 父 结 点 指向 子 结 点 

划算 法 是 按 “ 逆 拓扑 序 ”(reverse topological sort) BY“ JZ 


序 的 拓扑 序 ”(topological sort of the transpose) (参见 22.4 节 ) 来 处 理子 问题 图 中 的 顶点 。 换 句 话 
说 ， 对 于 任何 子 问题 ， 直 至 它 依赖 的 所 有 子 问题 均 已 求解 完成 ， 才 会 求解 它 。 类 似 地 ， 我 们 可 以 
用 第 22 章 中 的 术语 “深度 优先 搜索 ”(depth-first search) 来 描述 ( 带 备 忘 机 制 的 ) 自 顶 向 下 动态 规划 
算法 处 理子 问题 图 的 顺序 (参见 22. 3 节 )。 

子 问题 图 G 二 (V，E) 的 规模 可 以 帮助 我 们 确定 动态 规划 算法 的 运行 时 间 。 由 于 每 个 子 问 题 
只 求解 一 次 ， 因 此 算法 运行 时 间 等 于 每 个 子 问 题 求解 时 间 之 和 。 通 常 ， 一 个 子 问 题 的 求解 时 间 与 
子 问 题 图 中 对 应 顶点 的 度 ( 出 射 边 的 数目 ) 成 正比 ， 而 子 问题 的 数目 等 于 子 问题 图 的 顶点 数 。 因 
此 ,通常 情况 下 ， 动 态 规 划算 法 的 运行 时 间 与 顶点 和 边 的 数量 呈 线 性 关系 。 

重 构 解 

前 文 给 出 的 钢 条 切割 问题 的 动态 规划 算法 返回 最 优 解 的 收益 值 ， 但 并 未 返回 解 本 身 ( 一 个 长 
度 列 表 ， 给 出 切割 后 每 段 钢 条 的 长 度 ) 。 我 们 可 以 扩展 动态 规划 算法 ， 使 之 对 每 个 子 问题 不 仅 保 
存 最 优 收 益 值 ， 还 保存 对 应 的 切割 方案 。 利 用 这 些 信息 ， 我 们 就 能 输出 最 优 解 。 

下 面 给 出 的 是 BOTTOM-UP-CUT-ROD 的 扩展 版 本 ， 它 对 长 度 为 7 的 钢 条 不 仅 计 算 最 大 收 
益 值 六， 还 保存 最 优 解 对 应 的 第 一 段 钢 条 的 切割 长 度 5;: 


EXTENDED-BOTTOM-UP-CUT-ROD(p,7) 
let r[0. . n]and s[0. . 2 ]be new arrays 
rLo]=0 
for j = 1 ton 


ges 


if q < plil+rLG—i] 
q=pli ltr] 


1 
2 
3 
4 
5 fori = 1 toj 
6 
vj 
8 sG ]=i 
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9 rLi]=q 

10 return r and s 
此 过 程 与 BOTTOM-UP-CUT-ROD 很 相似 ， 差 别 只 是 在 第 1 行 创建 了 数组 ;s， 并 在 求解 规模 为 j 
的 子 问题 时 将 第 一 段 钢 条 的 最 优 切 割 长 度 i 保存 在 sLij 中 (第 8 行 )。 

下 面 的 过 程 接受 两 个 参数 : 价格 表 p 和 钢 条 长 度 n， 然 后 调用 EXTENDED-BOTTOM-UP- 
CUT-ROD 来 计算 切割 下 来 的 每 段 钢 条 的 长 度 s[1..n]， 最 后 输出 长 度 为 n 的 钢 条 的 完整 的 最 优 
切割 方案 : 

PRINT-CUT-ROD-SOLUTION(p,n) 

1 (7,s)=EXTENDED-BOTTOM-UP-CUT-ROD(p,n) 

2 whilen>0 

3 print s[n] 

4 n=n— s[n] 

对 于 前 文 给 出 的 钢 条 切割 的 实例 ，EXTENDED-BOTTOM-UP-CUT-ROD(p，10) 会 返回 下 面 的 
数组 : 

i 0 1 2 3 4 5 6 7 8 9 10 


rli] 0 1 5 8 10 13 17 18 22 25 30 
sli] 0 1 2 3 2 2 6 1 2 3 10 











对 此 例 调用 PRINT-CUT-ROD-SOLUTION(p, 10) RA #410, 但 对 n= 二 7， 会 输出 最 优 方案 7 
切割 出 的 两 段 钢 条 的 长 度 1 和 6。 


练习 

15.1-1 由 公式 (15. 3) 和 初始 条 件 T(0) 二 1， 证 明 公 式 (15. 4) 成 立 。 

15.1-2 举 反例 证 明 下 面 的 “贪心 ”策略 不 能 保证 总 是 得 到 最 优 切 割 方案 。 定 义 长 度 为 i 的 钢 条 的 
密度 为 p;/i， 即 每 英寸 的 价值 。 贪 心 策略 将 长 度 为 n 的 钢 条 切割 下 长 度 为 i AKi<n) K 
一 段 ， 其 密度 最 高 。 接 下 来 继续 使 用 相同 的 策略 切割 长 度 为 n 一 i 的 剩余 部 分 。 

15. 1-3 ”我 们 对 钢 条 切割 问题 进行 一 点 修改 ， 除 了 切割 下 的 钢 条 段 具 有 不 同 价 格 p; 外 ， 每 次 切 
割 还 要 付出 固定 的 成 本 c。 这 样 ， 切 割 方案 的 收益 就 等 于 钢 条 段 的 价格 之 和 减 去 切割 的 
成 本 。 设 计 一 个 动态 规划 算法 解决 修改 后 的 钢 条 切割 问题 。 

15.1-4 修改 MEMOIZED-CUT-ROD， 使 之 不 仅 返 回 最 优 收 益 值 ， 还 返回 切割 方案 。 

15.1-5 ” 斐 波 那 契 数列 可 以 用 递归 式 (3. 22) 定 义 。 设 计 一 个 O(n) 时 间 的 动态 规划 算法 计算 第 
个 斐 波 那 契 数 。 画 出 子 问题 图 。 图 中 有 多 少 顶 点 和 边 ? 


15.2 FERRERS 


下 一 个 例子 是 求解 矩阵 链 相 乘 问题 的 动态 规划 算法 。 给 定 一 个 nn 个 矩阵 的 序列 (和 矩阵 链 》 
(Ai, Az, i A,)> 我 们 希望 计算 它们 的 乘积 
A A*A, (15.5) 
为 了 计算 表达 式 (15. 5) ， 我 们 可 以 先 用 括号 明确 计算 次 序 ， 然 后 利用 标准 的 矩阵 相 乘 算法 进 
行 计 算 。 由 于 和 矩阵 乘法 满足 结合 律 ， 因 此 任何 加 括号 的 方法 都 会 得 到 相同 的 计算 结果 。 我 们 称 有 
如 下 性 质 的 矩阵 乘积 链 为 完全 括号 化 的 (fully parenthesized) ， 它 是 单一 矩阵 ， 或 者 是 两 个 完全 括 
号 化 的 矩阵 乘积 链 的 积 ， 且 已 外 加 括号 。 例 如 ， 如 果 和 矩阵 链 为 (A,，A,;，A3，A,，)， 则 共有 5 种 
完全 括号 化 的 矩阵 乘积 链 : 


第 15 章 动态 规划 © 211 


(A; (A; (A3 Ay) )) 
(A, (CA, A; ) Ay )) 
((A, A; ) (A3A,)) 
((A, (A; A; )) Ay) 
(CCA, Az) A; ) Ay) 

对 和 矩阵 链 加 括号 的 方式 会 对 乘积 运算 的 代价 产生 巨大 影响 。 我 们 先 来 分 析 两 个 矩阵 相 乘 的 
代价 。 下 面 的 伪 代 码 给 出 了 两 个 矩阵 相 乘 的 标准 算法 ， 它 是 4.2 节 SQUARE-MATRIX- 
MULTIPLY 过 程 的 推广 。 属 性 rows 和 columns 是 矩阵 的 行 数 和 列 数 。 

MATRIX-MULTIPLY(A, B) 

1 if A. columns#B. rows 

2 error “incompatible dimensions” 

3 else let C be a new A. rows X B. columns matrix 
4 for i = 1 to A. rows 

5 for j = 1 to B. columns 

6 cy =0 

7 for k = 1 to A. columns 

8 cy =c tan * by 

9 


return C 


两 个 矩阵 A 和 B RAHA (compatible), Bl A 的 列 数 等 于 B 的 行 数 时 ， 才 能 相 乘 。 如 果 A 
是 pXg 的 矩阵，B 是 g Xr 的 矩阵， 那么 乘积 C 是 p Xr WM. ThE C 所 需 时 间 由 第 8 行 的 标 
量 乘法 的 次 数 决定 ， 即 pgr。 下 文中 我 们 将 用 标量 乘法 的 次 数 来 表示 计算 代价 。 

我 们 以 矩阵 链 (A, ，A: ，A: ) 相 乘 为 例 ， 来 说 明 不 同 的 加 括号 方式 会 导致 不 同 的 计算 代价 。 
假设 三 个 矩阵 的 规模 分 别 为 10X100、100X5 和 5X50。 如 果 按 ((AA,)A:) 的 顺序 计算 ， 为 计算 
A, A; (规模 10X5)， 需 要 做 10。100。5=5 000 次 标量 乘法 ， 再 与 A, 相 乘 又 需要 做 10。5 -50= 
2 500 次 标量 乘法 ， 共 需 7 500 次 标量 乘法 。 如 果 按 (A, (A;A:)) 的 顺序 ， 计 算 ALA, (规模 100X 
50)， 需 100。5。50 王 25 000 次 标量 乘法 ，A 再 与 之 相 乘 又 需 10。100。50 王 50 000 次 标量 乘法 ， 
共 需 75 000 次 标量 乘法 。 因 此 ， 按 第 一 种 顺序 计算 矩阵 链 乘积 要 比 第 二 种 顺序 快 10 倍 。 

和 矩阵 链 乘 法 问题 (matrixzchain multiplication problem) 可 描述 如 下 : 给 定 n 个 矩阵 的 链 (A， 
Az» +, A), EE A 的 规模 为 p;_1 X 思 (1] 委 未 六， 求 完 全 括号 化 方案 ， 使 得 计算 乘积 AA A, 
所 需 标量 乘法 次 数 最 少 。 

注意 ， 求 解 矩 阵 链 乘法 问题 并 不 是 要 真正 进行 矩阵 相 乘 运算 ， 我 们 的 目标 只 是 确定 代价 最 
低 的 计算 顺序 。 确 定 最 优 计算 顺序 所 花费 的 时 间 通 常 要 比 随后 真正 进行 矩阵 相 乘 所 节省 的 时 间 
〈 例 如 仅 进 行 7 500 次 标量 乘法 而 不 是 75 000 次 ) 要 少 。 

计算 括号 化 方案 的 数量 

在 用 动态 规划 方法 求解 矩阵 链 乘 法 问题 之 前 ， 我 们 先 来 说 服 自己 一 一 穷 举 所 有 可 能 的 括号 
化 方案 不 会 产生 一 个 高 效 的 算法 。 对 一 个 ”个 矩阵 的 链 ， 令 P(z) 表 示 可 供 选 择 的 括号 化 方案 的 
数量 。 当 nn 二 1 时 ， 由 于 只 有 一 个 和 矩阵， 因此 只 有 一 种 完全 括号 化 方案 。 当 n 宇 2 时 ， 完 全 括号 化 
的 矩阵 乘积 可 描述 为 两 个 完全 括号 化 的 部 分 积 相 乘 的 形式 ， 而 两 个 部 分 积 的 划分 点 在 第 & 个 矩阵 
和 第 十 1 个 矩阵 之 间 ， k 为 ls 2a wy Wl 中 的 任意 一 个 值 。 因此 ， 我 们 可 以 得 到 如 下 递归 


公开 
iL 如 果 n 二 1 
P(n) =4 m (15. 6) 
P(k)P(n—k) 如 果 n 宇 2 
1 


k= 
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思考 题 12-4 要 求证 明 一 个 相似 的 递归 公式 产生 的 序列 为 卡 塔 兰 数 (Catalan numbers)， 这 个 
序列 的 增长 速度 为 Q(4"/a02 ) 。 练 习 15. 2-3 要 求证 明 递归 公式 (15. 6) 的 结果 为 0(2")。 因 此 ， 括 
号 化 方案 的 数量 与 n 呈 指数 关系 ， 通 过 暴力 搜索 穷尽 所 有 可 能 的 括号 化 方案 来 寻找 最 优 方案 ， 是 
一 个 糟糕 的 策略 。 

应 用 动态 规划 方法 

下 面 用 动态 规划 方法 来 求解 矩阵 链 的 最 优 括号 化 方案 ， 我 们 还 是 按照 本 章 开头 提出 的 4 个 步 
又 进行 : 

1. 刻画 一 个 最 优 解 的 结构 特征 。 

2. 递归 地 定义 最 优 解 的 值 。 

3. 计算 最 优 解 的 值 ， 通 常 采用 自 底 向 上 的 方法 。 

4. 利用 计算 出 的 信息 构造 一 个 最 优 解 。 

我 们 按 顺 序 进行 这 几 个 步 又 ， 清 楚 地 展示 针对 本 问题 每 个 步 又 应 如 何 做 。 

步骤 1: 最 优 括号 化 方案 的 结构 特征 

动态 规划 方法 的 第 一 步 是 寻找 最 优 子 结构 ， 然 后 就 可 以 利用 这 种 子 结构 从 子 问题 的 最 优 解 
构造 出 原 问 题 的 最 优 解 。 在 矩阵 链 乘 法 问题 中 ， 此 步骤 的 做 法 如 下 所 述 。 为 方便 起 见 ， 我们 用 符 
号 A;.; Gp) A AAW A; 乘积 的 结果 矩阵 。 可 以 看 出 ， 如 果 问 题 是 非 平凡 的 ， 即 ;< 7 BA 
为 了 对 AAA Aj 进行 括号 化 ， 我 们 就 必须 在 某 个 A 和 Aiti 之 间 将 矩阵 链 划 分 开 (& IR 
间 的 整数 )。 也 就 是 说 ， 对 茶 个 整数 k， 我 们 首先 计算 矩阵 A;.4 和 Aini..;， 然 后 再 计算 它们 的 乘积 
得 到 最 终结 果 A;.; 。 此 方案 的 计算 代价 等 于 矩阵 A.e 的 计算 代价 ， 加 上 和 矩阵 Ac 的 计算 代价 ， 
再 加 上 两 者 相 乘 的 计算 代价 。 

下 面 我 们 给 出 本 问题 的 最 优 子 结构 。 假 设 AA,…Ai 的 最 优 括 号 化 方案 的 分 割 点 在 A 和 
Ath 之 间 。 那 么 ， 继 续 对 “前 缀 ” 子 链 AA A 进行 括号 化 时 ， 我 们 应 该 直接 采用 独立 求解 它 
时 所 得 的 最 优 方案 。 这 样 做 的 原因 是 什么 呢 ? 如 果 不 采用 独立 求解 AAs A, 所 得 的 最 优 方案 
来 对 它 进行 括号 化 ， 那 么 可 以 将 此 最 优 解 代入 AA A; 的 最 优 解 中 ,代替 原来 对 子 链 
Ai;Ain…Ai 进 行 括号 化 的 方案 ( 比 AA Ae 最 优 解 的 代价 更 高 )， 显然， 这 样 得 到 的 解 比 
A; Airn…Aj; 原 来 的 “最 优 解 ” 代 价 更 低 : 产生 了 矛盾。 对 子 链 As Ane A 我们 有 相似 的 结论 : 
在 原 问题 AAA; 的 最 优 括号 化 方案 中 ， 对 子 链 Art Ar A; 进行 括号 化 的 方法 ， 就 是 它 自 
身 的 最 优 括号 化 方案 。 

现在 我 们 展示 如 何 利用 最 优 子 结构 性 质 从 子 问题 的 最 优 解构 造 原 问题 的 最 优 解 。 我 们 已 经 
看 到 ， 一 个 非 平凡 的 矩阵 链 乘法 问题 实例 的 任何 解 都 需要 划分 链 ， 而 任何 最 优 解 都 是 由 子 问题 
实例 的 最 优 解构 成 的 。 因 此 ， 为 了 构造 一 个 矩阵 链 乘法 问题 实例 的 最 优 解 ， 我 们 可 以 将 问题 划分 
为 两 个 子 问题 (AAA， A A p41 AtA; 的 最 优 括号 化 问题 )， 求 出 子 问题 实例 的 最 优 解 ， 然 
后 将 子 问题 的 最 优 解 组 合 起 来 。 我 们 必须 保证 在 确定 分 割 点 时 ， 已 经 考察 了 所 有 可 能 的 划分 点 ， 
这 样 就 可 以 保证 不 会 遗漏 最 优 解 。 

步骤 2: 一 个 递归 求解 方案 

下 面 用 子 问题 的 最 优 解 来 递归 地 定义 原 问 题 最 优 解 的 代价 。 对 和 矩阵 链 乘 法 问题 ， 我 们 可 以 
将 对 所 有 LIS jn HAE AAs A; 的 最 小 代价 括号 化 方案 作为 子 问题 。 令 m[i， 站 表示 计算 
和 矩阵 A;.; 所 需 标 量 乘法 次 数 的 最 小 值 ， 那 么 ， 原 问题 的 最 优 解 一 一 计算 A, ,所 需 的 最 低 代价 就 
f-m(1, n]. 

我 们 可 以 递归 定义 mli, GON. XF i5 时 的 平凡 问题 ， 矩 阵 链 只 包含 唯一 的 矩阵 A, ,一 
A;， 因 此 不 需要 做 任何 标量 乘法 运算 。 所 以 ， 对 所 有 i 二 1，2，…，n，m[Li, i]=0, i<j, R 
们 利用 步骤 1 中 得 到 的 最 优 子 结构 来 计算 mi, 7]. RIBE AA mA 的 最 优 括号 化 方案 的 分 
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割 点 在 矩阵 A, 和 A 之 间 ， 其 中 iK MBA, mis MEF A;.: 和 Axn..; 的 代价 加 上 
两 者 相 乘 的 代价 的 最 小 值 。 由 于 和 矩阵 A 的 大 小 为 pX p 易 知 A; aA Arn ARRAN Pi 
pip; 次 标量 乘法 运算 。 因 此 ， 我 们 得 到 

mLi,i| = mli,k]+m[k+1,j] + pia prp; 

此 递归 公式 假定 最 优 分 割 点 k EEA, (ASC LETTER AEN. Bat, 有 只 有 j 一 i 种 可 
能 的 取 值 ， 即 ==i，i 十 1，…，j 一 1。 由 于 最 优 分 割 点 必 在 其 中 ,我们 只 需 检 查 所 有 可 能 情况 ， 
找到 最 优 者 即 可 。 因 此 ，AA,…Ai 最 小 代价 括号 化 方案 的 递归 求解 公式 变 为 : 

= 0 wR I= j 
ain) OR E<; Pe 

mli, (MAH TFA BR RMA, E EREE RMR. Ak, 
我 们 用 sli, JRE AA A; 最 优 括号 化 方案 的 分 割 点 位 置 &， 即 使 得 m[i, jj] 二 mLi,， kj 十 
m[k+t1, j]+p-1 pep; 成 立 的 & 值 。 

步骤 3: 计算 最 优 代价 

现在 ， 我 们 可 以 很 容易 地 基于 递归 公式 (15. 7) 写 出 一 个 递归 算法 ， 来 计算 AA A, 相 乘 的 
最 小 代价 mL1，nj]。 像 我 们 在 钢 条 切割 问题 一 节 中 所 看 到 的 ， 以 及 即将 在 15. 3 节 中 看 到 的 那样 ， 
此 递归 算法 是 指数 时 间 的 ， 并 不 比 检查 所 有 括号 化 方案 的 暴力 搜索 方法 更 好 。 

注意 到 ， 我 们 需要 求解 的 不 同 子 问题 的 数目 是 相对 较 少 的 : 每 对 满足 KiSS K iN j 


对 应 一 个 唯一 的 子 问题 共有 (”) 十 二 @(w) 个 。 递 归 算 法 会 在 递归 调用 树 的 不 同 分 支 中 多 次 


遇 到 同一 个 子 问题 。 这 种 子 问题 重 友 的 性 质 是 应 用 动态 规划 的 另 一 个 标识 (第 一 个 标识 是 最 优 
子 结构 ) 。 

我 们 采用 自 底 向 上 表格 法 代替 基于 公式 (15. 7) 的 递归 算法 来 计算 最 优 代价 (我 们 将 在 15. 3 节 
中 给 出 对 应 的 带 备 忘 的 自 顶 向 下 方法 )。 下 面 给 出 的 过 程 MATRIX-CHAIN-ORDER 实现 了 自 底 
向 上 表格 法 。 此 过 程 假定 矩阵 A 的 规模 为 pa Xp (i 二 1，2，…，n)。 它 的 输入 是 一 个 序列 
p= pos Pir ts Pads 其 长 度 为 b. length 一 n 十 1。 过 程 用 一 个 辅助 表 m[1..n, 1. .nj 来 保存 代 
价 mLi，j;]， 用 另 一 个 辅助 表 s[1. .n 一 1，2. .nj 记录 最 优 值 mLi， 门 对 应 的 分 割 点 *。 我 们 就 可 以 
利用 表 s 构造 最 优 解 。 

为 了 实现 自 底 向 上 方法 ， 我 们 必须 确定 计算 mLi，j] 时 需要 访问 哪些 其 他 表 项 。 公 式 (15. 7) 
显示 ,，j 一 i 十 1 个 矩阵 链 相 乘 的 最 优 计算 代价 mLi，j 站 只 依赖 于 那些 少 于 j 一 i 十 1 个 矩阵 链 相 乘 的 
最 优 计算 代价 。 也 就 是 说 ， 对 二 i，i 十 1，…，j 一 1， 和 矩阵 Ai.i 是 & 一 i 十 1<j 一 i 十 1 个 矩阵 的 
PR» 矩阵 Apt1.; 是 7 一 k=<j 一 i 十 1 个 矩阵 的 积 。 因 此 ,算法 应 该 按 长 度 递增 的 顺序 求解 矩阵 链 括 
号 化 问题 ， 并 按 对 应 的 顺序 填写 表 m。 对 甜 阵 链 AA A 最 优 括 号 化 的 子 问题 ， 我 们 认为 其 
规模 为 链 的 长 度 7 一 ;十 1。 


MATRIX-CHAIN-ORDER(p) 
n= p. length—1 
let m[1. . n,1. . n]and s[1..n—1,2..n]be new tables 
fori = 1 ton 
mli i]=0 
for 1 = 2 ton // Lis the chain length 
for: = 1 to n—l+1 
j=iti-1 
mli, j |=% 
for k = i toj—1 
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10 q=m[i,k] +m k+1,j] tpi pP; 
加 if q < mli,j] 

12 mli, j ]=q 

13 sli,j]=k 


14 return m and s 


算法 首先 在 第 3 一 4 行 对 所 有 i= 1, 2, =, nn 计算 mli, =O KEW 1 的 链 的 最 小 计算 代 
价 ) 。 接 着 在 第 5 一 13 FF for 循环 的 第 一 个 循环 步 中 ， 利 用 递归 公式 (15.7) 对 所 有 ;一 1，2，…， 
7 一 1 计算 mli, i 十 1]( 长 度 /==2 的 链 的 最 小 计算 代价 )。 在 第 二 个 循环 步 中 ,算法 对 所 有 i 二 1， 
2，…，n 一 2 计算 m[i，i 十 2]( 长 度 l=3 的 链 的 最 小 计算 代价 )， 依 此 类 推 。 在 每 个 循环 步 中 ， 第 
10~13 行 计 算 代 价 mli, FIN RMF EATER mi, kl mkt, jl 

图 15-5 展示 了 对 一 个 长 度 为 6 的 矩阵 链 执行 此 算法 的 过 程 。 由 于 我 们 定义 mli, GME IS 
时 有 意义 ， 因 此 表 m 只 使 用 主 对 角 线 之 上 的 部 分 。 图 中 的 表 是 经 过 旋转 的 ， 主 对 角 线 已 经 旋转 
到 了 水 平方 向 。 和 矩阵 链 的 规模 列 在 了 图 的 下 方 。 在 这 种 布局 中 ， 我 们 可 以 看 到 子 和 矩阵 链 AAS 
Ai 相 乘 的 代价 m[i， 门 恰好 位 于 始 于 A 的 东北 至 西南 方向 的 直线 与 始 于 A; 的 西北 至 东南 方向 的 
直线 的 交点 上 。 表 中 同一 行 中 的 表 项 都 对 应 长 度 相 同 的 矩阵 链 。MATRIX-CHAIN-ORDER 按 自 
下 而 上 、 自 左 至 右 的 顺序 计算 所 有 行 。 当 计算 表 项 mi, jit, SABI pipip; k=i, i+ 
1，…，j 一 1)， 以 及 m[i， 站 西南 方向 和 东南 方向 上 的 所 有 表 项 。 





图 15-5 4 n=6 和 和 矩阵 规模 如 下 表 时 ，MATRIXCHAIN-ORDER 计算 出 的 mm 表 和 s 表 。 

和 矩阵 Ai | Ag Ag Ag As Ag 
规模 30X35 | 35X15 15X5 5X10 10X20 20X25 
我 们 将 两 个 表 进 行 了 旋转 ， 使 得 主 对 角 线 方向 变 为 水 平方 向 。 表 m 只 使 用 主 对 角 线 和 
上 三 角 部 分 ， 表 s 只 使 用 上 三 角 部 分 。6 个 和 矩阵 相 乘 所 需 的 最 少 标量 乘法 运算 次 数 为 
mL1，6j 二 15 125。 表 中 有 些 表 项 被 标记 了 深 色 阴 影 ， 相 同 的 阴影 表示 过 程 在 第 10 行 


中 计算 mL2，5] 时 同时 访问 了 这 些 表 项 ， 
mL2,2j] 十 mL[3,5j] 十 pipzps =0+2500+35+15+20 =13000 


























m[2,3] 十 m[4,5] 十 Pipaps = 2625+1000+35+5+20 =7125 
m[2,4]+m[5,5]+ pı pps = 4375+0+35+10+20 = 11375 
= 7 125 
简单 分 析 MATRIX-CHAIN-ORDER HRE A. WUB BBE ZITHA Oo). 
循环 媒 套 的 深度 为 三 屋 ， 每 层 的 循环 变量 (1、i MA RAM ”一 1 MA. AY 15. 2-5 要 求证 明 此 
算法 的 运行 时 间 实 际 上 是 Q (nw)。 算 法 还 需要 8(xw) 的 内 存 空间 来 保存 表 mr 和 s。 因 此 ， 
MATRIX-CHAIN-ORDER 比 起 穷 举 所 有 可 能 的 括号 化 方案 来 寻找 最 优 解 的 指数 阶 算法 要 高 效 
得 多 。 
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步骤 4: 构造 最 优 解 

虽然 MATRIX-CHAIN-ORDER 求 出 了 计算 矩阵 链 乘积 所 需 的 最 少 标量 乘法 运算 次 数 ， 但 它 
并 未 直接 指出 如 何 进行 这 种 最 优 代 价 的 矩阵 链 乘法 计算 。 表 [1.. "一 1，2. .nj 记录 了 构造 最 优 解 
所 需 的 信息 。 每 个 表 项 :Li， 放 记录 了 一 个 & 值 ， 指 出 AAW A; 的 最 优 括号 化 方案 的 分 割 点 应 
EA, 和 Au 之 间 。 因 此 ,我 们 知道 A, ,的 最 优 计算 方案 中 最 后 一 次 矩阵 乘法 运算 应 该 是 
Ar gAn. 我 们 可 以 用 相同 的 方法 递归 地 求 出 更 早 的 矩阵 乘法 的 具体 计算 过 程 ， 因 为 
s[1，s[1，nj] 指 出 了 计算 Ai.www 时 应 进行 的 最 后 一 次 矩阵 乘法 运算 ; sLsL1，nj 十 1，nj 指 出 了 
计算 Ayi,wt1.; 时 应 进行 的 最 后 一 次 矩阵 乘法 运算 。 下 面 给 出 的 递归 过 程 可 以 输出 (A;，A;11 ，…， 
Ai 的 最 优 括号 化 方案 ， 其 输入 为 MATRIX-CHAIN-ORDER 得 到 的 表 s 及 下 标 i 和 7。 调 用 
PRINT-OPTIMAL-PARENS(s, 1, nn) 即 可 输出 (A ，A;，…，A,) 的 最 优 括号 化 方案 。 


PRINT-OPTIMAL-PARENS(s, i, j) 

1 ifi==j 

2 print “A”; 

3 else print “(” 

4 PRINT-OPTIMAL-PARENS(s, i, sLi,j |) 

5 PRINT-OPTIMAL-PARENS(s, s[i j]+1, j) 

6 print “)” 

对 图 15-5 中 的 例子 ， 调 用 PRINT-OPTIMAL-PARENS(s, 1, 6) HFRS th 7 
(CA; (A, A))(C(CA AD)AD)) 


练习 


15.2-1 ”对 和 抢 阵 规模 序列 (5，10，3，12，5，50，6) ， 求 矩阵 链 最 优 括号 化 方案 。 

15.2-2 设计 递归 算法 MATRIX-CHAIN-MULTIPLY(A，s，i，j)， 实 现 矩 阵 链 最 优 代 价 乘法 
计算 的 真正 计算 过 程 ， 其 输入 参数 为 矩阵 序列 (Al，A;，…，A,),， MATRIX-CHAIN- 
ORDER 得 到 的 表 s， 以 及 下 标 i Aj. CORR IA FA MATRIX-CHAIN-MULTIPLY 
CAs Sa ls wis) 

15.2-3 ”用 代入 法 证 明 递 归公 式 (15. 6) 的 结果 为 102"). 

15.2-4 ”对 输入 链 长 度 为 n 的 和 矩阵 链 乘 法 问题 ， 描 述 其 子 问题 图 : 它 包 含 多 少 个 顶点 ? 包含 多 少 
条 边 ? 这 些 边 分 别 连接 哪些 顶点 ? 

15.2-5 $ RG, 7) 表 示 在 一 次 调用 MATRIX-CHAIN-ORDER 过 程 中 ， 计 算 其 他 表 项 时 访问 表 
项 m[i, jj 的 次 数 。 证 明 : 

> ERG, j) =" = 
(提示 : 证 明 中 可 用 到 公式 (A. 3) 。) 
15.2-6 ”证明 : 对 7 个 元 素 的 表达 式 进 行 完全 括号 化 ， 恰 好 需要 n 一 1 对 括号 。 


15.3 动态 规划 原理 


虽然 我 们 已 经 用 动态 规划 方法 解决 了 两 个 问题 ,但 你 可 能 还 是 弄 不 清 应 该 在 何 时 使 用 动态 
规划 。 从 工程 角度 看 ， 在 什么 情况 下 应 该 寻求 用 动态 规划 方法 求解 问题 呢 ? 在 本 节 中 ， 我 们 关注 
适合 应 用 动态 规划 方法 求解 的 最 优化 问题 应 该 具备 的 两 个 要 素 : 最 优 子 结构 和 子 问 题 重 肆 。 我 
们 还 会 再 次 讨论 备 忘 方法 ， 更 深入 地 讨论 在 自 顶 向 下 方法 中 如 何 借助 备 忘 机 制 来 充分 利用 子 问 
ABB te. 
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最 优 子 结构 

用 动态 规划 方法 求解 最 优化 问题 的 第 一 步 就 是 刻画 最 优 解 的 结构 。 如 前 文 所 述 ， 如 果 一 个 
问题 的 最 优 解 包含 其 子 问题 的 最 优 解 ， 我 们 就 称 此 问题 具有 最 优 子 结构 性 质 。 因 此 ， 某 个 问题 
是 否 适合 应 用 动态 规划 算法 ， 它 是 否 具有 最 优 子 结构 性 质 是 一 个 好 线索 (当然 ， 具有 最 优 子 结 
构 性 质 也 可 能 意味 着 适合 应 用 贪心 策略 ， 参 见 第 16 章 )。 使 用 动态 规划 方法 时 ， 我 们 用 子 问题 
的 最 优 解 来 构造 原 问 题 的 最 优 解 。 因 此 ， 我 们 必须 小 心 确保 考察 了 最 优 解 中 用 到 的 所 有 子 
问题 。 

本 章 到 目前 为 止 介绍 的 两 个 问题 都 具有 最 优 子 结构 性 质 。 在 15. 1 节 中 ， 我 们 观察 到 ， 长 度 
为 对 的 钢 条 的 最 优 切 割 方案 是 由 第 一 次 切割 后 (如 果 最 优 切割 方案 需要 进行 切割 ) 得 到 的 两 段 钢 条 
的 最 优 切割 方案 组 成 的 。 在 15. 2 $F, RNAS AAW A 的 最 优 括 号 化 方案 首先 在 A 和 
Au 之 间 进 行 划分 ， 然 后 对 AAs Ar MAA A 继续 进行 最 优 括号 化 。 

你 会 发 现 ， 在 发 掘 最 优 子 结构 性 质 的 过 程 中 ， 实 际 上 遵循 了 如 下 的 通用 模式 : 

1. 证 明 问 题 最 优 解 的 第 一 个 组 成 部 分 是 做 出 一 个 选择 ， 例 如 ， 选 择 钢 条 第 一 次 切割 位 置 ， 
选择 矩阵 链 的 划分 位 置 等 。 做 出 这 次 选择 会 产生 一 个 或 多 个 待 解 的 子 问 题 。 

2. 对 于 一 个 给 定 问 题 ， 在 其 可 能 的 第 一 步 选择 中 ， 你 假定 已 经 知道 哪 种 选择 才 会 得 到 最 优 
解 。 你 现在 并 不 关心 这 种 选择 具体 是 如 何 得 到 的 ， 只 是 假定 已 经 知道 了 这 种 选择 。 

3. 给 定 可 获得 最 优 解 的 选择 后 ， 你 确定 这 次 选择 会 产生 哪些 子 问 题 ， 以 及 如 何 最 好 地 刻画 
子 问题 空间 。 

4. 利用 剪 切 一 粘贴 ”(cutrand-paste) 技 术 证 明 : 作为 构成 原 问题 最 优 解 的 组 成 部 分 ， 每 个 子 
问题 的 解 就 是 它 本 身 的 最 优 解 。 证 明 这 一 点 是 利用 反 证 法 : 假定 子 问题 的 解 不 是 其 自身 的 最 优 
解 ， 那 么 我 们 就 可 以 从 原 问题 的 解 中 “ 剪 切 ” 掉 这 些 非 最 优 解 ， 将 最 优 解 “粘贴 ”进去 ， 从 而 得 到 原 
问题 一 个 更 优 的 解 ， 这 与 最 初 的 解 是 原 问 题 最 优 解 的 前 提 假 设 矛盾 。 如 果 原 问题 的 最 优 解 包含 
多 个 子 问题 ， 通 常 它们 都 很 相似 ， 我 们 可 以 将 针对 一 个 子 问题 的 “ 剪 切 一 粘贴 ?论证 方法 稍 加 修 
改 ， 用 于 其 他 子 问题 。 

一 个 刻画 子 问题 空间 的 好 经 验 是 : 保持 子 问题 空间 尽 可 能 简单 ， 只 在 必要 时 才 扩 展 它 。 例 
如 ， 我 们 在 求解 钢 条 切割 问题 时 ， 子 问题 空间 中 包含 的 问题 为 : 对 每 个 i 值 ， 长 度 为 i 的 钢 条 的 
最 优 切割 问题 。 这 个 子 问题 空间 很 有 效 ， 因 此 我 们 不 必 和 尝试 更 一 般 性 (从 而 也 更 大 ) 的 子 问题 
空间 。 

与 之 相对 的 ， 假 定 我 们 试图 限制 矩阵 链 Ay AA; 乘法 问题 的 子 问 题 空 间 。 如 前 所 述 ， 最 优 
括号 化 方案 必然 在 某 个 位 置 &I<tA<7) 处 ， 即 A 和 Ac 之 间 对 和 矩阵 链 进行 划分 。 除 非 我 们 能 保 
证 上 永远 等 于 ;一 1， 否 则 我 们 会 发 现 得 到 两 个 形 如 A A,…A MA Ane A) 的 子 问题 ， 而 后 
者 的 形式 与 A1A,…A; 是 不 同 的 。 因 此 ， 对 和 矩阵 链 乘法 问题 ， 我 们 必须 允许 子 问 题 在 “两 端 ”都 可 
以 变化 ， 即 允许 子 问 题 A;A ;ny…A; 中 i 和 7 都 可 变 。 

对 于 不 同 问 题 领域 ， 最 优 子 结构 的 不 同体 现在 两 个 方面 : 

1. 原 问 题 的 最 优 解 中 涉及 多 少 个 子 问题 ， 以 及 

2. 在 确定 最 优 解 使 用 哪些 子 问 题 时 ， 我们 需要 考察 多 少 种 选择 。 

在 钢 条 切割 问题 中 ， 长 度 为 n 的 钢 条 的 最 优 切 割 方案 仅仅 使 用 一 个 子 问 题 (长 度 为 ni 的 钢 条 的 
最 优 切割 )， 但 我 们 必须 考察 i 的 n 种 不 同 取 值 ， 来 确定 哪 一 个 会 产生 最 优 解 。A;A ;i…A; 的 矩 
阵 链 乘法 问题 中 ， 最 优 解 使 用 两 个 子 问题 ， 我 们 需要 考察 一 i 种 情况 。 对 于 给 定 的 矩阵 链 划分 
位 置 一 一 矩阵 Ags 我 们 需要 求解 两 个 子 问 题 一 AA A, A Ani Ante usA; 的 括号 化 方案 一 一 
而 且 两 个 子 问题 都 必须 求解 最 优 方案 。 一 旦 我 们 确定 了 子 问 题 的 最 优 解 ， 就 可 以 在 j 一 i 个 候选 
的 & 中 选取 最 优 者 。 
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我 们 可 以 用 子 问题 的 总 数 和 每 个 子 问题 需要 考察 多 少 种 选择 这 两 个 因素 的 乘积 来 粗略 分 
析 动 态 规划 算法 的 运行 时 间 。 对 于 钢 条 切割 问题 ， 共 有 @(z) 个 子 问题 ， 每 个 子 问 题 最 多 需 
要 考察 n 种 选择 ， 因 此 运行 时 间 为 O(w)。 和 矩阵 链 乘法 问题 共有 OG ) 个 子 问 题 ， 每 个 子 问 
题 最 多 需要 考察 n 一 1 种 选择 ， 因 此 运行 时 间 为 O). RJ 15. 2-5 要 求证 明 运 行 时 间 实 际 
为 @(n').) 

子 问题 图 也 可 用 来 做 同样 的 分 析 。 图 中 每 个 顶点 对 应 一 个 子 问题 ， 而 需要 考察 的 选择 对 应 
关联 至 子 问题 顶点 的 边 。 回 忆 一 下 ， 钢 条 切割 问题 的 子 问题 图 有 个 顶点 ， 每 个 顶点 最 多 nn 条 
边 ， 因 此 运行 时 间 为 Ol(w?)。 对 于 和 矩阵 链 乘法 问题 ， 子 问题 图 会 有 OY ) 个 顶点 ， 而 每 个 顶点 最 
多 有 ”一 1 条 边 ， 因 此 共有 OC ) 个 顶点 和 边 。 

在 动态 规划 方法 中 ， 我 们 通常 自 底 向 上 地 使 用 最 优 子 结构 。 也 就 是 说 ， 首 先 求 得 子 问 题 的 最 
优 解 ， 然 后 求 原 问题 的 最 优 解 。 在 求解 原 问题 过 程 中 ， 我 们 需要 在 涉及 的 子 问题 中 做 出 选择 ， 选 
出 能 得 到 原 问题 最 优 解 的 子 问 题 。 原 问题 最 优 解 的 代价 通常 就 是 子 问题 最 优 解 的 代价 再 加 上 由 
此 次 选择 直接 产生 的 代价 。 例 如 ， 对 于 钢 条 切割 问题 ， 我 们 首先 求解 子 问题 ， 确 定 长 度 为 ;一 0， 
1，…，7 一 1 的 钢 条 的 最 优 切割 方案 ， 然 后 利用 公式 (15. 2) 确 定 哪个 子 问 题 的 解构 成 长 度 为 n 的 
钢 条 的 最 优 切割 方案 。 此 次 选择 本 身 所 产生 的 代价 就 是 公式 (15.2) 中 的 p;。 在 矩阵 链 乘 法 问题 
P, REMETE AAA 的 最 优 括号 化 方案 ， 然 后 选择 划分 位 置 Ai， 选 择 本 身 所 产 
生 的 代价 就 是 p;_1 Ped; © 

在 第 16 章 中 ， 我 们 将 介绍 “贪心 算法 ”， 它 与 动态 规划 有 很 多 相似 之 处 。 特 别 是， 能 够 应 用 
贪心 算法 的 问题 也 必须 具有 最 优 子 结构 性 质 。 贪 心算 法 和 动态 规划 最 大 的 不 同 在 于 ， 它 并 不 是 
首先 寻找 子 问题 的 最 优 解 ， 然 后 在 其 中 进行 选择 ， 而 是 首先 做 出 一 次 “贪心 ?选择 一 一 在 当时 (局 
部 ) 看 来 最 优 的 选择 一 一 然后 求解 选 出 的 子 问 题 ， 从 而 不 必 费 心 求解 所 有 可 能 相关 的 子 问 题 。 令 
人 惊讶 的 是 ， 在 某 些 情况 下 这 一 策略 也 能 得 到 最 优 解 ! 

一 些微 妙 之 处 

在 尝试 使 用 动态 规划 方法 时 要 小 心 ， 要 注意 问题 是 否 具 有 最 优 子 结构 性 质 。 考 虑 下 面 两 个 
问题 ， 其 中 都 是 给 定 一 个 有 向 图 G 二 (V，E) 和 两 个 顶点 u，wvEV。 

无 权 (unweighted) 最 短路 径 S : 找到 一 条 从 u 到 wvw 的 边 数 最 少 的 路 径 。 这 条 路 径 必 然 是 简单 
路 径 ， 因 为 如 果 路 径 中 包含 环 ， 将 环 去 掉 显 然 会 减少 边 的 数量 。 

无 权 最 长 路 径 : 找到 一 条 从 到 wv 的 边 数 最 多 的 简单 路 径 。 这 里 必须 加 上 简单 路 径 的 要 求 ， 
因为 我 们 可 以 不 停 地 沿 着 环 走 ， 从 而 得 到 任意 长 的 路 径 。 

下 面 我 们 证 明 无 权 最 短路 径 问 题 具 有 最 优 子 结构 性 质 。 假 设 uv, WARK LY. X 
FE, M uR vo 的 任意 路 径 p 都 必须 包含 一 个 中 间 顶 点 ， 比 如 w( 注 意 ，w 可 能 是 或 w)。 因 此 ， 
我 们 可 以 将 路 径 x 心 w SHEA BAT RB ute wv. BR, p 的 边 数 等 于 p, 的 边 数 加 上 p 的 边 
数 。 于 是 ， 我 们 断言 : WR p EM u Bo 的 最 优 ( 即 最 短 ) 路 径 ， 那 么 pi 必须 是 从 到 w 的 最 短 
路 径 。 为 什么 呢 ? 我们 可 以 用 “ 剪 切 一 粘贴 ”方法 来 证 明 : 如 果 存 在 另 一 条 从 u A w 的 路 径 11, 
其 边 数 比 pı 少 ， 那 么 可 以 前 切 掉包 ， 将 六 粘贴 上 上， 构造 出 一 条 比 嫁 边 数 更 少 的 路 径 xz wes v, 
与 p 最 优 的 假设 了 矛盾。 对称 地 ，p, 必须 是 从 ww 到 wv 的 最 短路 径 。 因 此 ， 我 们 可 以 通过 考察 所 有 
中 间 顶 点 多 来 求 w 到 wv 的 最 短路 径 ， 对 每 个 中 间 顶 点 w K uA) w Aw 到 wv 的 最 短路 径 ， 然 后 
选择 两 条 路 径 之 和 最 短 的 项 点 w。 在 25. 2 节 中 ， 我们 将 使 用 这 种 最 优 子 结构 的 一 个 变形 来 求解 
加 权 有 向 图 的 所 有 顶点 对 间 最 短路 径 问 题 。 

你 可 能 已 经 倾向 于 假设 无 权 最 长 简单 路 径 问 题 也 具有 最 优 子 结构 性 质 。 毕 竟 ， 如 果 我 们 将 





日 ”此 处 使 用 术语 “无 权 ”， 是 为 了 将 本 问题 与 加 权 图 最 短路 径 问 题 区 分 开 来 ， 加 权 图 最 短路 径 问 题 将 在 第 24 章 和 第 
25 章 中 介绍 。 我 们 可 以 使 用 第 22 章 中 介绍 的 宽度 优先 搜索 技术 来 求解 无 权 最 短路 径 问 题 。 


[383] 
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最 长 简单 路 径 w 心 w EHTK Sw v5 难道 请 不 应 该 是 从 zx 到 mw 的 最 长 简单 路 笃 ，p 不 
应 该 是 从 w Bl o 的 最 长 简单 路 径 吗 ? 但 答案 是 否定 的 ! 图 15-6 给 出 了 一 个 例子 。 考 虑 路 径 9 一 
rt, CEM Be 的 最 长 简单 路 径 。g>r 是 从 
q 到 7 的 最 长 简单 路 径 吗 ? 不 是 的 ，g>s>t>r 
是 一 条 更 长 的 简单 路 径 。r>t 是 从 ~ 到 z 的 最 长 
简单 路 径 吗 ? 同样 不 是 ，r->q>s->t 比 它 更 长 。 ; L 
这 个 例子 说 明 ， 最 长 简单 路 径 问题 不 仅 缺 图 15-6 此 例 显示 了 无 权 有 向 图 最 长 简单 路 径 问 是 








乏 最 优 子 结构 性 质 ， 由 子 问题 的 解 组 合 出 的 其 不 具有 最 优 子 结构 性 质 。 路 径 gore 是 
至 都 不 是 原 问题 的 “合法 ” 解 。 如 果 我 们 组 合 最 从 g 到 :的 一 条 最 长 简单 路 径 , 但 gor AR 
长 简单 路 径 g>s>t->r A r>q>s>t, BAIN 是 从 g 到 7 的 一 条 最 长 简单 路 径 ，r 一 t 同 


BE T et, REM. 样 不 是 从 7 Bll 的 一 条 最 长 简单 路 径 
的 确 ， 无 权 最 长 简单 路 径 问 题 看 起 来 不 像 有 任何 形式 的 最 优 子 结构 。 对 此 问题 尚未 找到 有 效 的 
动态 规划 算法 。 实 际 上 ， 此 问题 是 NP 完全 的 ， 我 们 在 第 34 章 中 将 会 看 到 ， 这 意味 着 我 们 不 太 
可 能 找到 多 项 式 时 间 的 求解 方法 。 

为 什么 最 长 简单 路 径 问 题 的 子 结构 与 最 短路 径 有 这 人 么 大 的 差别 ? 原因 在 于 ， 虽 然 最 长 路 径 
问题 和 最 短路 径 问题 的 解 都 用 到 了 两 个 子 问题 ， 但 两 个 最 长 简单 路 径 子 问题 是 相关 的 ， 而 两 个 
最 短路 径 子 问题 是 无 关 的 (independent) 。 这 里 ， 子 问题 无 关 的 含义 是 ， 同 一 个 原 问 题 的 一 个 子 
问题 的 解 不 影响 另 一 个 子 问题 的 解 。 对 图 15-6 中 的 例子 ， 求 到 :的 最 长 简单 路 径 可 以 分 解 为 
两 个 子 问 题 : 求 g 到 > 的 最 长 简单 路 径 和 > 到 上 的 最 长 简单 路 径 。 对 于 前 者 ， 我 们 选择 路 径 gq 一 
S 太 >7r， 其 中 用 到 了 顶点 ile. 由 于 两 个 子 问题 的 解 的 组 合 必须 产生 一 条 简单 路 径 ， 因 此 我 
们 在 求解 第 二 个 子 问题 时 就 不 能 再 用 这 两 个 顶点 了 。 但 如 果 在 求解 第 二 个 子 问题 时 不 允许 使 用 
顶点 1， 就 根本 无 法 进行 下 去 了 ， 因 为 1 是 原 问题 解 的 路 径 终点 ， 是 必须 用 到 的 ， 还 不 像 子 问题 
解 的 “接合 ”顶点 7 那样 可 以 不 用 。 这 样 ， 由 于 一 个 子 问 题 的 解 使 用 了 顶点 ;和 t， 在 男 一 个 子 问 
题 的 解 中 就 不 能 再 使 用 它们 ， 但 其 中 至 少 一 个 顶点 在 求解 第 二 个 子 问 题 时 又 必须 用 到 ， 而 获得 
最 优 解 则 两 个 都 要 用 到 。 因 此 ， 我 们 说 两 个 子 问题 是 相关 的 。 换 个 角度 来 看 ， 我 们 所 面临 的 困 
境 就 是 : 求解 一 个 子 问题 时 用 到 了 某 些 资源 (在 本 例 中 是 顶点 );， 导 致 这 些 资源 在 求解 其 他 子 问 
题 时 不 可 用 。 

那么 ， 求 解 最 短路 径 的 子 问题 间 又 为 什么 是 无 关 的 呢 ? 根本 原因 在 于 ， 最 短路 径 子 问题 间 是 
不 共享 资源 的 。 我 们 可 以 断言 : 如 果 一 个 顶点 w HRE u 到 w 的 最 短路 径 上 ， 那 么 可 以 通过 拼 
接任 意 的 最 短路 径 ub w 和 任意 的 最 短路 径 w o RH u Bo 的 最 短路 径 。 我 们 可 以 保证 ， 除 
T w， 其 他 任何 顶点 都 不 会 同时 出 现在 p Mp 上 。 原 因 何 在 ? 假定 某 个 顶点 2 Aw 同时 出 现在 
BRE pi All É: Ker 我 们 就 可 以 将 pi 分 解 为 ur Ws, 将 p 分 解 为 Wt Pay 根据 最 优 子 结构 
性 质 ， 路 径 p 的 边 数 等 于 pi 和 ps 边 数 之 和 ， 假 定 为 e。。 接 下 来 我 们 构造 一 条 u 到 w 的 路 径 
p'=u"sc "Su, HEE AINE rA w Aw 到 zxz 的 路 径 ， 每 条 路 径 至 少 包含 一 条 边 ， 因 此 之 最 多 
包含 e 一 2 条 边 ,与 p 为 最 短路 径 的 假设 矛盾 。 因 此 ， 我 们 可 以 保证 最 短路 径 问 题 的 子 问题 间 是 无 
关 的 。 

15.1 节 和 15. 2 节 讨 论 的 两 个 问题 都 具有 子 问题 无 关 性 质 。 在 矩阵 链 乘法 问题 中 ， 子 问题 为 
子 链 AAA FI Arti Artt A; 的 乘法 问题 。 子 链 是 互 不 相交 的 ， 因此 任何 矩阵 都 不 会 同时 包 
含 在 两 条 子 链 中 。 在 钢 条 切割 问题 中 ， 为 了 确定 长 度 为 n 的 钢 条 的 最 优 切 割 方案 ,我 们 考察 所 有 
长 度 为 i(i 二 0，1，…，n 一 1) 的 钢 条 的 最 优 切 割 方案 。 由 于 长 度 为 的 问题 的 最 优 解 只 包含 一 个 
子 问 题 的 解 (我 们 切 掉 了 第 一 段 )， 子 问题 无 关 性 显然 是 可 以 保证 的 。 

ESFE 

适合 用 动态 规划 方法 求解 的 最 优化 问题 应 该 具备 的 第 二 个 性 质 是 子 问题 空间 必须 足够 “小 ”， 
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即 问题 的 递归 算法 会 反复 地 求解 相同 的 子 问题 ， 而 不 是 一 直 生 成 新 的 子 问题 。 一 般 来 讲 ， 不 同 子 
问题 的 总 数 是 输入 规模 的 多 项 式 函 数 为 好 。 如 果 递 归 算 法 反复 求解 相同 的 子 问 题 ， 我 们 就 称 最 
优化 问题 具有 重 本 子 问题 (overlapping subproblems) 性 质 S 。 与 之 相对 的 ， 适 合用 分 治 方法 求解 的 
问题 通常 在 递归 的 每 一 步 都 生成 全 新 的 子 问题 。 动 态 规划 算法 通常 这 样 利 用 重 肆 子 问 题 性 质 : 
对 每 个 子 问题 求解 一 次 ， 将 解 存 人 一 个 表 中 ， 当 再 次 需要 这 个 子 问题 时 直接 查 表 ， 每 次 查 表 的 代 
价 为 常量 时 间 。 

在 15. 1 节 中 ， 我 们 简单 分 析 了 钢 条 切割 问题 的 递归 算法 是 如 何 通 过 指数 次 的 递归 调用 来 求 
解 小 的 子 问 题 。 而 我 们 的 动态 规划 算法 将 运行 时 间 从 递归 算法 的 指数 阶 降 为 平方 阶 。 

为 了 详细 说 明 重 春子 问题 性 质 ， 我 们 重新 考察 矩阵 链 乘 法 问题 。 我 们 再 看 图 15-5， 发 现 
MATRIX-CHAIN-ORDER 在 求解 高 层 的 子 问 题 时 ， 会 反复 查找 低层 上 子 问题 的 解 。 例 如 ， 算 法 
会 访问 表 项 mL3，4]4 次 : 分 别 在 计算 mL[2，4]、m[1，4]、m[3，5j 和 mL3，6j] 时 。 如 果 我 们 每 
次 都 重新 计算 mL3，4]， 而 不 是 简单 地 查 表 ， 那 么 运行 时 间 会 急剧 上 升 。 为 了 更 好 地 理解 ， 请 看 
下 面 的 递归 过 程 ， 它 计算 矩阵 链 乘法 A j SAAn A 所 需 最 少 标量 乘法 运算 次 数 mLi，jj]， 而 
计算 过 程 是 低 效 的 。 这 个 过 程 直接 基于 递归 式 (15. 7)。 


RECURSIVE-MATRIX-CHAIN(p,i,7) 
1 = 


return 0 


for k = i toj—1 
q = RECURSIVE-MATRIX-CHAIN (p,i,k) 
+ RECURSIVE-MATRIX-CHAIN (,k+1,7) 
+ Pim Ped; 
6 if g<ml[i,;j 
mli j]=q 
8 return m[i,j] 
图 15-7 显示 了 调用 RECURSIVE-MATRIX-CHAIN(p，1，4) 所 产生 的 递归 调用 树 。 每 个 结 
点 都 标记 出 了 参数 i 和 j7。 可 以 看 到 ， 某 些 i、j 值 对 出 现 了 许多 次 。 


1..4 


2 
3 m[i,jj=% 
4 
5 


22 34 23 Ge Ge > 





图 15-7 RECURSIVE-MATRIX-CHAIN(p，1，4) 的 递归 调用 树 。 每 个 结 点 都 包含 参数 i 和 ;。 每 
棵 阴影 子 树 的 计算 ， 在 MEMOIZED-MATRIX-CHAIN 中 被 一 次 查 表 操 作 代 替 
实际 上 ， 我 们 可 以 证 明 此 过 程 计 算 m1, nj 的 时 间 至 少 是 的 指数 函数 。 邻 Tn) 表示 
RECURSIVE-MATRIX-CHAIN 计算 n 个 矩阵 的 矩阵 链 的 最 优 括号 化 方案 所 花费 的 时 间 。 由 于 第 





日 一 个 问题 是 否 适合 用 动态 规划 求解 同时 依赖 于 子 问 题 的 无 关 性 和 重 共 性， 这 看 起 来 很 奇怪 。 虽 然 这 两 个 要 求 听 
起 来 似乎 是 矛盾 的 ， 但 它们 描述 的 是 不 同 的 概念 ， 而 不 是 同一 个 坐标 轴 上 的 两 个 点 。 两 个 子 问 题 如 果 不 共享 资 
源 ， 它 们 就 是 独立 的 。 而 重合 是 指 两 个 子 问题 实际 上 是 同一 个 子 问题 ， 只 是 作为 不 同 问题 的 子 问 题 出 现 而 已 。 


220 + 第 四 部 分 高 级 设计 和 分 析 技术 


1 一 2 行 和 第 6 一 7 行 至 少 各 花费 单位 时 间 ， 第 5 行 的 加 法 运算 也 是 如 此 ， 因 此 我 们 得 到 如 下 递 
385] JA: 
TC ak 


n—l 
T(n) > 1+ (TRF Tk) +1), n> 1 
k=1 


YER, i=l, 2, +, n=l, B-MTOLARPY T(&) 的 形式 出 现 了 一 次 ， 还 以 T(n 一 
k) 的 形式 出 现 了 一 次 ， 而 求 和 项 中 累加 了 nn 一 1 个 1， 在 求 和 项 之 前 还 加 了 1， 因 此 公式 可 改 
写 为 : 


nl 
Tin) > 2>)TG) +n (15. 8) 
i=1 


下 面 用 代入 法 证 明 TO) 二 QC2")。 特 别 地 ， 我 们 将 证 明 ， 对 所 有 >l, TM> RRL. 
基本 情况 很 简单 ， 因为 TWe!l=2', 利用 数学 归纳 法 ， 对 TESA 我 们 有 


nl n-2 
TiS 23) 27 4+n=2>) 2 +n= 200 —1) +n (由 公式 (A. 5)) 
i=] i=0 


= 2°— 2+ 22" 
因此 ， 调 用 RECURSIVE-MATRIX-CHAIN(p，1，nn) 所 做 的 总 工作 量 至 少 是 n 的 指数 函数 。 

将 此 自 项 向 下 的 递归 算法 (无 备 忘 ) 与 自 底 向 上 的 动态 规划 算法 进行 比较 ， 后 者 要 高 效 得 多 ， 
ANCA TS BET BER. MRAM RA B(x ) 个 不 同 的 子 问 题 ， 动 态 规 划算 法 对 每 
个 子 问题 只 求解 一 次 。 而 递归 算法 则 相反 ， 对 每 个 子 问题 ， 每 当 在 递归 树 中 (递归 调用 时 ) 遇 到 
它 ， 都 要 重新 计算 一 次 。 凡 是 一 个 问题 的 自然 递归 算法 的 递归 调用 树 中 反复 出 现 相 同 的 子 问 题 ， 

386] ”而 不 同 子 问题 的 总 数 很 少时 ， 动 态 规 划 方 法 都 能 提高 (有 时 还 是 极 大 地 提高 ) 效 率 。 

重 构 最 优 解 

从 实际 考虑 ， 我 们 通常 将 每 个 子 问题 所 做 的 选择 存在 一 个 表 中 ， 这 样 就 不 必 根 据 代价 值 来 
重 构 这 些 信息 。 

对 和 矩阵 链 乘法 问题 ， 利 用 表 sLi，;j， 我 们 重 构 最 优 解 时 可 以 节省 很 多 时 间 。 假 定 我 们 没有 
维护 sli, jR, REEK mLi，j 站 中 记录 了 子 问 题 的 最 优 代价 。 当 我 们 确定 AAA 的 最 优 
括号 化 方案 用 到 了 哪些 子 问 题 时 ， 就 需要 检查 所 有 ;一 i 种 可 能 ， 而 ;一 i 并 不 是 一 个 常数 。 因 此 ， 
对 一 个 给 定 问题 的 最 优 解 ， 重 构 它 用 到 了 哪些 子 问 题 就 需 花 费 9G7 一 =w(1) 的 时 间 。 而 通过 在 
s[i，jj 中 保存 A Ani A; 的 划分 位 置 ， 我 们 重 构 每 次 选择 只 需 OC) TA]. 

备 忘 

如 我 们 在 15. 1 节 钢 条 切割 问题 中 所 见 ， 我 们 可 以 保持 自 顶 向 下 策略 ， 同 时 达到 与 自 底 向 上 
动态 规划 方法 相似 的 效率 。 思 路 就 是 对 自然 但 低 效 的 递归 算法 加 入 备 忘 机 制 。 与 自 底 向 上 方法 
一 样 ， 我 们 维护 一 个 表 记 录 子 问题 的 解 ， 但 仍 保持 递归 算法 的 控制 流程 。 

带 备 忘 的 递归 算法 为 每 个 子 问题 维护 一 个 表 项 来 保存 它 的 解 。 每 个 表 项 的 初 值 设 为 一 个 特 
殊 值 ， 表 示 尚 未 填 人 子 问题 的 解 。 当 递归 调用 过 程 中 第 一 次 遇 到 子 问题 时 ， 计 算 其 解 ， 并 存 人 对 
应 表 项 。 随 后 每 次 遇 到 同一 个 子 问题 ， 只 是 简单 地 查 表 ， 返 回 其 解 。 

下 面 给 出 的 是 带 备 忘 的 RECURSIVE-MATRIX-CHAIN 版 本 。 注 意 它 与 带 备 忘 的 自 顶 向 下 

钢 条 切割 算法 的 相似 之 处 。 


MEMOIZED-MATRIX-CHAIN (p) 





O 这 种 方法 假定 我 们 预先 已 经 知道 所 有 可 能 的 子 问题 参数 ( 子 问题 空间 ) ， 并 已 在 表 项 和 子 问题 间 建 立 起 对 应 关系 。 
另 一 个 更 通用 的 备 忘 方法 是 使 用 散 列 技术 ， 以 子 问题 参数 为 关键 字 。 
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n= p. length—1 
let m[1..n,1..n|be a new table 
for i = 1 ton 
for j = i ton 
mli,j ]=0° 
return LOOKUP-CHAIN(m, p, l, n) 


nw F&F UO Nme 


LOOKUP-CHAIN(m, p, i, j) 
1 if m[i,j]<co 
2 return m(i,j ] 
3 i=j 
4 m[i,j]=0 
5 else fork = i toj—1 
6 q = LOOKUP-CHAIN(m, p, i, k) 
+ LOOKUP-CHAIN(m, p, k+1, j) tpi- Pid; 

7 if qg < m{i,j] 

8 mlijl=q 

9 return m[i,7 | 

MEMOIZED-MATRIX-CHAIN 与 MATRIX-CHAIN-ORDER 一 样 维护 一 个 表 m[1..7, 
1. .nj]， 来 保存 计算 出 的 矩阵 A;.; 的 最 小 计算 代价 mLi，jj。 每 个 表 项 被 初始 化 为 co， 表示 还 未 
存 人 过 值 。 调用 LOOKUP-CHAIN(m, p, i, PIN, WRB 1 行 发 现 mLi，j;j] 二 2， 就 直接 返回 
之 前 已 经 计算 出 的 代价 mi, jj( 第 2 行 ); 否则 ， 像 RECURSIVE-MATRIX-CHAIN 一 样 计算 最 
小 代价 ， 存 人 mli, 让， 并 返回 。 因 此 ， 虽 然 LOOKUP-CHAIN(m, p, i, 站 总 是 返回 mli, j] 
的 值 ,但 只 在 第 一 次 (以 特定 的 参数 i 和 j) 调 用 时 才 真 正 计算 。 

图 15-7 说 明了 与 RECURSIVE-MATRIX-CHAIN 相 比 ，MEMOIZED-MATRIX-CHAIN 是 
如 何 节省 时 间 的 。 阴 影子 树 表 示 那 些 直接 查 表 获 得 而 非 重新 计算 的 值 。 

与 自 底 向 上 动态 规划 算法 MATRIX-CHAIN-ORDER 类 似 ，MEMOIZED-MATRIX-CHAIN 
的 运行 时 间 为 OG). MEMOIZED-MATRIX-CHAIN 的 第 5 行 运行 了 Om K. RITI AHX 
LOOKUP-CHAIN 的 调用 分 为 两 类 : 

1. 调用 时 mli, j=, AUK 3 一 9 行 会 执行 。 

2. 调用 时 mlz, 7 ]<co, Kk LOOKUP-CHAIN 执行 第 2 行 ， 简 单 返回 值 。 
第 一 种 调用 会 发 生 8(xw ) 次 ， 每 个 表 项 一 次 。 第 二 种 调用 均 为 第 一 种 调用 所 产生 的 递归 调用 。 而 
无 论 何 时 一 个 LOOKUP-CHAIN 的 调用 继续 进行 递归 调用 ， 都 会 产生 O(n) 次 递归 调用 。 因 此 ， 
第 二 种 调用 共有 OG ) 次 ， 每 次 花费 O(1) 时 间 ， 而 第 一 种 调用 每 次 花费 O(n) 时 间 再 加 上 它 产 生 
的 递归 调用 的 时 间 。 因 此 ， 算 法 的 总 时 间 为 Ol(w*)， 备 忘 技术 将 一 个 Q(2") 时 间 的 算法 转换 为 一 
个 OC ) 时 间 的 算法 。 

总 之 ， 为 求解 矩阵 链 乘法 问题 ， 我 们 既 可 以 用 带 备 筷 的 自 顶 向 下 动态 规划 算法 ， 也 可 以 用 自 
底 向 上 的 动态 规划 算法 ， 时 间 复 杂 性 均 为 O(02 ) 。 两 种 方法 都 利用 了 重 和 至 子 问题 性 质 。 不 同 的 子 
问题 一 共 只 有 9@(z ) 个 ， 对 每 个 子 问题 ， 两 种 方法 都 只 计算 一 次 。 而 没有 备 忘 机 制 的 自然 递归 算 
法 的 运行 时 间 为 指数 阶 ， 因 为 它 会 反复 求解 相同 的 子 问题 。 

通常 情况 下 ， 如 果 每 个 子 问 题 都 必须 至 少 求解 一 次 ， 自 底 向 上 动态 规划 算法 会 比 自 顶 向 下 
备 忘 算法 快 (都 是 OCn) 时 间 ， 相 差 一 个 常量 系数 )， 因 为 自 底 向 上 算法 没有 递归 调用 的 开销 ， 表 
的 维护 开销 也 更 小 。 而 且 ， 对 于 某 些 问题 ,我 们 可 以 利用 表 的 访问 模式 来 进一步 降低 时 空 代价 。 
相反 ， 如 果子 问题 空间 中 的 某 些 子 问 题 完 全 不 必 求 解 ， 备 忘 方法 就 会 体现 出 优势 了 ， 因 为 它 只 会 
求解 那些 绝对 必要 的 子 问 题 。 
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练习 

15.3-1 对 于 和 矩阵 链 乘 法 问题 ， 下 面 两 种 确定 最 优 代 价 的 方法 哪 种 更 高 效 ? 第 一 种 方法 是 穷 举 所 
有 可 能 的 括号 化 方案 ， 对 每 种 方案 计算 乘法 运算 次 数 ， 第 二 种 方法 是 运行 
RECURSIVE-MATRIX-CHAIN。 证 明 你 的 结论 。 

15.3-2 对 一 个 16 个 元 素 的 数组 ， 画 出 2. 3. 1 节 中 MERGE-SORT 过 程 运行 的 递归 调用 树 。 解 
释 备 忘 技术 为 什么 对 MERGE-SORT 这 种 分 治 算法 无 效 。 

15.3-3 ”考虑 矩阵 链 乘 法 问题 的 一 个 变形 : 目标 改 为 最 大 化 矩阵 序列 括号 化 方案 的 标量 乘法 运算 
次 数 ， 而 非 最 小 化 。 此 问题 具有 最 优 子 结构 性 质 吗 ? 

15.3-4 ”如 前 所 述 ， 使 用 动态 规划 方法 ， 我 们 首先 求解 子 问题 ， 然 后 选择 哪些 子 问 题 用 来 构造 原 
问题 的 最 优 解 。Capulet 教授 认为 ， 我 们 不 必 为 了 求 原 问题 的 最 优 解 而 总 是 求解 出 所 有 
子 问 题 。 她 建议 ， 在 求 矩 阵 链 乘法 问题 的 最 优 解 时 ， 我 们 总 是 可 以 在 求解 子 问题 之 前 选 
定 AA…Ai 的 划分 位 置 A ( 选 定 的 上 使 得 pm pp; 最 小 )。 请 找 出 一 个 反例 ， 证明 这 
个 贪心 方法 可 能 生成 次 优 解 。 

15.3-5 对 15.1 节 的 钢 条 切割 问题 加 入 限制 条 件 : 假定 对 于 每 种 钢 条 长 度 G51, 2, =, n1), 
最 多 允许 切割 出 2 段 长 度 为 i 的 钢 条 。 证 明 : 15. 1 节 所 描述 的 最 优 子 结构 性 质 不 再 成 立 。 

15.3-6 假定 你 希望 兑换 外 汇 ， 你 意识 到 与 其 直接 兑换 ， 不 如 进行 多 种 外 币 的 一 系列 兑换 ， 最 后 
兑换 到 你 想 要 的 那 种 外 币 ， 可 能 会 获得 更 大 收益 。 假 定 你 可 以 交易 对 种 不 同 的 货币 ， 编 
号 为 1，2，…，7， 竞 换 从 1 号 货币 开始 ， 最 终 兑换 为 n 号 货币 。 对 每 两 种 货币 i 和 j， 
给 定 汇率 r; ， 意 味 着 你 如 果 有 a 个 单位 的 货币 i， 可 以 兑换 di 个 单位 的 货币 7 。 进 行 一 
系列 的 交易 需要 支付 一 定 的 佣金 ， 金 额 取 决 于 交易 的 次 数 。 令 c 表示 次 交易 需要 支付 
的 佣金 。 证 明 : 如 果 对 所 有 k=1, Zo ty Wy Ch = Os 那么 寻找 最 优 兑换 序列 的 问题 具 
有 最 优 子 结构 性 质 。 然 后 请 证 明 : 如 果 佣 金 c 为 任意 值 ， 那 么 问题 不 一 定 具 有 最 优 子 结 
构 性 质 。 


15.4 最 长 公共 子 序列 

在 生物 应 用 中 ， 经 常 需要 比较 两 个 (或 多 个 ) 不 同 生物 体 的 DNA。 一 个 DNA 串 由 一 串 称 为 碱 基 
(base) 的 分 子 组 成 ， 碱 基 有 腺 味 吟 、 乌 味 哈 、 胞 喀 啶 和 胸腺 喀 啶 4 种 类 型 。 我 们 用 英文 单词 首 字 母 表 
示 4 种 碱 基 ， 这 样 就 可 以 将 一 个 DNA 串 表 示 为 有 限 集 {(A，C，G，T) 上 的 一 个 字符 串 ( 参 见 附录 C 中 
对 字符 串 的 定义 )。 例 如 ， 某 种 生物 的 DNA 可 能 为 Sı =ACCGGTCGAGTGCGCGGAAGCCGGCCGAA, 
另 一 种 生物 的 DNA 可 能 为 S: =GTCGTTCGGAATGCCGTTGCTCTGTAAA。 我 们 比较 两 个 
DNA 串 的 一 个 原因 是 希望 确定 它们 的 “相似 度 ”， 作 为 度量 两 种 生物 相近 程度 的 指标 。 我 们 可 以 用 
很 多 不 同 的 方式 来 定义 相似 度 ， 实 际 上 也 确实 已 经 出 现 了 很 多 相似 度 的 定义 。 例 如 ， 如 果 一 个 
DNA 串 是 另 一 个 DNA 串 的 子 串 ， 那 么 可 以 说 它们 是 相似 的 (第 32 章 讨论 了 如 何 求解 此 问题 ) 。 但 
在 我 们 的 例子 中 ，S AS 都 不 是 对 方 的 子 串 。 我 们 还 可 以 这 样 来 定义 相似 性 : 如 果 将 一 个 串 转 换 
为 另 一 个 串 所 需 的 操作 很 少 ， 那 么 可 以 说 两 个 串 是 相似 的 (思考 题 15-5 讨论 了 此 概念 ) 。 另 一 种 衡 
EP S AS, 的 相似 度 的 方式 是 : 寻找 第 三 个 串 S; ， 它 的 所 有 碱 基 也 都 出 现在 S AIS, 中 ， 且 在 三 
个 串 中 出 现 的 顺序 都 相同 ， 但 在 S 和 S 中 不 要 求 连续 出 现 。 可 以 找到 的 S; 越 长 ， 就 可 以 认为 S 
和 S 的 相似 度 越 高 。 在 我 们 的 例子 中 ， 最 长 的 S 为 GTCGTCGGAAGCCGGCCGAA。 

我 们 将 最 后 一 种 相似 度 的 概念 命名 为 最 长 公共 子 序列 问题 。 一 个 给 定 序列 的 子 序列 ， 就 是 将 给 定 
序列 中 零 个 或 多 个 元 素 去 掉 之 后 得 到 的 结果 。 其 形式 化 定义 如 下 : 给 定 一 个 序列 XXS t 
xn)， 男 一 个 序列 Z 二 《zm ，z%，…，z%) 满 足 如 下 条 件 时 称 为 X 的 子 序列 (subsequence) ， 即 存在 一 个 
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严格 递增 的 X IFERAN, is ts i) XATA GH 1, 2, 0s ks WE az, =z. PM, Z=B, 
C, D, B)Æ X=(A，B，C，B，D，A，B) 的 子 序列 ， 对 应 的 下 标 序 列 为 (2，3，5，?7)?。 

给 定 两 个 序列 X AY, WR ZR X 的 子 序 列 ， 也 是 工 的 子 序列 ， 我 们 称 它 是 X AY KA 
共 子 序列 (common subsequence), 。 例 如 ， 如 果 X=<A, B, C, B, D, A, B), Y=<B, D, C, 
A, B, A), BRAFPIIKB, C, ARE X MY MAF RI. (HERE X 和 工 的 最 长 公共 子 序 
列 (LCS) ， 因 为 它 长 度 为 3， 而 (B，C，B，A) 也 是 X 和 了 的 公共 子 序列 ， 其 长 度 为 4。( 了 ，C， 
B,，A) 是 匀 和 YY 的 最 长 公共 子 序列 ，(B，D，A，B) 也 是 ， 因 为 XX 和 YY 不 存在 长 度 大 于 等 于 5 
的 公共 子 序列 。 

最 长 公共 子 序列 问题 (longest-common-subsequence problem) 给 定 两 个 序列 X= (ris rs > 
Xm) 和 YY 一 (yy，y2，"…，yY,)， 求 了 和 YY 长 度 最 长 的 公共 子 序列 。 本 节 将 展示 如 何 用 动态 规划 方 
法 高 效 地 求解 LCS 问题 。 

步骤 1: 刻画 最 长 公共 子 序列 的 特征 

如 果 用 暴力 搜索 方法 求解 LCS 问题 ， 就 要 穷 举 X 的 所 有 子 序列 ， 对 每 个 子 序列 检查 它 是 否 
也 是 Y 的 子 序列 记录 找到 的 最 长 子 序列 。X 的 每 个 子 序列 对 应 和 的 下 标 集合 
全 ，2，…，m)}) 的 一 个 子 集 ， 所 以 XX 有 2” 个子 序列 ， 因 此 暴力 方法 的 运行 时 间 为 指数 阶 ， 对 较 
长 的 序列 是 不 实用 的 。 

但 是 ， 如 下 面 的 定理 所 示 ，LCS 问题 具有 最 优 子 结构 性 质 。 我 们 将 看 到 ， 子 问题 的 自然 分 
类 对 应 两 个 输入 序列 的 “前 级” 对 。 前 缀 的 严 间 定义 如 下 : 给 定 一 个 序列 AKS, Ts s Lm) 


对 i=0，1，…，m， 定 义 耻 的 第 i 前 缀 为 XX 二 (zi ，zs，…，zi)。 例 如 ,车 六 = A,，B, C, B, 
D, As By, tA, B; Cy Bd, X OSH. 

定理 15. 1(LCS 的 最 优 子 结构 ) A X=(x» tes u mW Y= is aie iy nd AY 
Pl, Z=(25 zs ts BAX FY HEF LCS, 


1. 如 果 dm= yns W Zp = Lm = y, 且 Zi_1 是 ,1 和 YY, 1 的 一 个 LCS。 

2. HOR mEn PRA Arn 意味 着 Z 是 ,1 和 Y 了 的 一 个 LCS。 

3. 如 果 nA Ins ABA ZÆ Yn BRAZAX 和 了 Y,_ 1 的 一 个 LCS, 

证 明 (1) WR aAa BAR AH den= y 追加 到 2 的 末尾 ， 得 到 X MY 的 一 个 长 度 为 
十 1 的 公共 子 序列 , 与 Z 是 X 和 了 的 最 长 公共 子 序列 的 假设 矛盾 。 因 此 ， 必 然 有 zi 二 x, 二 y,。 
这 样 ， 前 级 2 是 X 和 了 :的 一 个 长 度 为 & 一 1 的 公共 子 序列 。 我 们 希望 证 明 它 是 一 个 LCS。 
利用 反 证 法 ， 假 设 存 在 X,_1 和 YY, 的 一 个 长 度 大 于 一 1 的 公共 子 序列 W， 则 将 x, =y, 追加 到 
W 的 末尾 会 得 到 X AY 的 一 个 长 度 大 于 & 的 公共 子 序列 ， FB. 

(2) WR ze Arms IBA ZEX MY 的 一 个 公共 子 序列 。 如 果 存 在 Xaa MY 的 一 个 长 度 大 
于 的 公共 子 序列 W， 那么 W 也 是 X,, 和 Y 的 公共 子 序列 , 与 Z 是 X 和 YY 的 最 长 公共 子 序列 的 
假设 矛盾 。 

(3) 与 情况 (2) 对 称 。 a 

定理 15. 1 告诉 我 们 ， 两 个 序列 的 LCS 包含 两 个 序列 的 前 缀 的 LCS, Ak, LCS 问题 具有 最 
优 子 结构 性 质 。 我 们 马上 还 会 看 到 ， 其 递归 算法 也 具有 重 和 至 子 问题 性 质 。 

步骤 2: 一 个 递归 解 

定理 15. 1 意味 着 ， 在 求 X= (215 Bes» Ln) Fl Y= Wy s n> WS LCS HY, 我 
们 需要 求解 一 个 或 两 个 子 问 题 。 如 果 yn RIMAR Xni 和 也 的 一 个 LCS. a, = yn 
追加 到 这 个 LCS 的 末尾 ， 就 得 到 X A Y 的 一 个 LCS。 如 果 z,, 关 y,， 我 们 必须 求解 两 个 子 问 题 : 
R X 和 工 的 一 个 LCS 与 X 和 也 -的 一 个 LCS。 两 个 LCS 较 长 者 即 为 X 和 了 的 一 个 LCS。 由 
于 这 些 情况 覆盖 了 所 有 可 能 性 ， 因 此 我 们 知道 必然 有 一 个 子 问 题 的 最 优 解 出 现在 X 和 了 的 
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LCS 中 。 

我 们 可 以 很 容易 看 出 LCS 问题 的 重 人 至 子 问题 性 质 。 为 了 求 X 和 了 的 一 个 LCS， 我 们 可 能 需 
要 求 和 和 了 -的 一 个 LCS 及 和 和 了 的 一 个 LCS。 但 是 这 几 个 子 问题 都 包含 求解 X AY 
的 LCS 的 子 子 问题 。 很 多 其 他 子 问题 也 都 共享 子 子 问题 。 

与 矩阵 链 乘法 问题 相似 ， 设 计 LCS 问题 的 递归 算法 首先 要 建立 最 优 解 的 递归 式 。 我 们 定义 
cli, jj 表示 X: ALY; 的 LCS 的 长 度 。 如 果 二 0 或 7 一 0， 即 一 个 序列 长 度 为 0， 那么 LCS 的 长 度 
为 0。 根据 LCS 问题 的 最 优 子 结构 性 质 ， 可 得 如 下 公式 : 


0 #Fi=0R7=—0 
tfai Æ ij >0 Hr = y (15. 9) 
maxtcling—1Ileli—lyjl) Ei >En 

观察 到 在 递归 公式 中 ， 我 们 通过 限制 条 件 限 定 了 需要 求解 哪些 子 问题 。 当 疡 王 yw 时 ， 我 们 
可 以 而 且 应 该 求解 子 问题 : X MY; 的 一 个 LCS。 否 则 ， 应 该 求解 两 个 子 问题 ，X; 和 Y, 1 的 
一 个 LCS 及 X; M Y; 的 一 个 LCS。 在 之 前 讨论 过 的 钢 条 切割 问题 和 和 矩阵 链 乘 法 问题 的 动态 规划 
算法 中 ,根据 问题 的 条 件 ， 我 们 没有 排除 任何 子 问题 。 不 过 ，LCS 问题 并 非 唯 一 根据 条 件 排除 
子 问 题 的 动态 规划 算法 。 例 如 ， 编 辑 距 离 问 题 ( 见 思考 题 15-5) 也 具有 这 种 特点 。 

步骤 3: 计算 LCS 的 长 度 

根据 公式 (15. 9)， 我 们 可 以 很 容易 地 写 出 一 个 指数 时 间 的 递归 算法 来 计算 两 个 序列 的 LCS 
的 长 度 。 但是， 由 于 LCS 问题 只 有 @(zzz) 个 不 同 的 子 问题 ， 我 们 可 以 用 动态 规划 方法 自 底 向 上 
地 计算 。 

过 程 LCS-LENGTH 接受 两 个 序列 X= (tis Tas "y Ind Y= CMe Yas ots yn) Fa TA 
它 将 cLi，j] 的 值 保存 在 表 clO..m, 0.. 0], FRET ER (row-major order) 计 算 表 项 ( 即 首先 
由 左 至 右 计 算 c 的 第 一 行 ， 然 后 计算 第 二 行 ， 依 此 类 推 )。 过 程 还 维护 一 个 表 ob.. m, 1..7n], 
帮助 构造 最 优 解 。 刀 L;， 放 指向 的 表 项 对 应 计算 cL[i， 站 时 所 选择 的 子 问题 最 优 解 。 过 程 返 回 表 b 
和 表 c， cLm, nj 保存 了 X Fl Y 的 LCS 的 长 度 。 


LCS-LENGTH(X,Y) 
m= X. length 
n=Y. length 
let 6[1..m,1..nJand c[0. . m,0. .n]be new tables 
for i = 1 tom 
cLi,0]=0 
for j = 0 ton 
cL0,j ]=0 
for ;一 1 tom 


© oo N nn ~ 


for j=1 ton 


= 
© 


if 2;==y; 
cLisg J=clLi—1,j—1]+1 
12 Bij =N? 
13 elseif cli—1,j ]>cLisj—1] 
14 cli j]=c[i—1,;] 
15 blij ]=“ 4” 
16 else cli, j ]=cli,j—1] 
17 b[i,j]=“<—” 


18 return c and b 


图 15-8 显示 了 LCS-LENGTH 对 输入 序列 X=(A, B, C, B, D, A, B) 和 Y=(B, D, C, 


请 
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A，B，A) 生 成 的 结果 。 过 程 的 运行 时 间 为 8(mn) ， 因 为 每 个 表 项 的 计算 时 间 为 OC). 
y oai 2 se A g 6 














os 
» &o @@ Ga : 














图 15-8 图 中 给 出 了 LCSLENGTH 对 X=(A, B, C, B, D, A, B; 和 Y=(B, D, C, A, B, A) 
计算 出 的 表 c 和 表 5b。 第 i 行 和 第 j 列 的 方 格 包含 了 cLi， 门 的 值 和 6[i， 让 记录 的 箭头 。 表 
项 cL[7，6]( 表 的 右 下 角 ) 中 的 4 即 为 X 和 YY 的 一 个 LCS(B，C，B，A) 的 长 度 。 对 所 有 i, 
j>0, RM cli, j (MKMAFES =y; WReli-1, j], ci, j-VAMci—1, j-1]H 
值 ， 这 些 值 都 会 在 cLi，j] 之 前 计算 出 来 。 为 了 构造 LCS 中 的 元 素 ， 从 右 下 角 开 始 沿 着 
2Li， 放 的 箭头 前 进 即 可 ， 如 图 中 阴影 方 格 序列 。 阴 影 序 列 中 每 个 “KK ”对 应 的 表 项 (高 亮 
显示 ) 表 示 r= y 是 LCS 的 一 个 元 素 


步骤 4: 构造 LCS 

我 们 可 以 用 LCS-LENGTH 返回 的 表 2 RRE X = (a, Lye 5 ma Y= des =y 
YHJ LCS， 只 需 简 单 地 从 bLm，nj 开 始 ， 并 按 箭头 方向 追踪 下 去 即 可 。 当 在 表 项 bli, 7] Pil 
AN, ERE c= y 是 LCS 的 一 个 元 素 。 按 照 这 种 方法 ， 我 们 可 以 按 逆序 依次 构造 出 
LCS 的 所 有 元 素 。 下 面 的 递归 过 程 会 按 正确 的 顺序 打印 出 X 和 Y 的 一 个 LCS。 对 它 的 起 始 调用 
为 PRINT-LCS(6, X, X. length, Y. length). 


PRINT-LCS(,X, i, j) 
1 if i=—0 or j==0 

2 return 

3 if bLi,jJ==—“R” 

4 PRINT-LCS(,X, i—1, j—1) 
5 print z; 

6 elseif b[i, j |==“ 4” 

7 PRINT-LCS@,X, i—1, j) 

8 else PRINT-LCS(4,X, i, 7 一 1) 


对 图 15-8 中 的 表 0， 此 过 程 会 打印 出 BCBA。 过 程 的 运行 时 间 为 Olm 十 n)， 因 为 每 次 递归 调用 i 
和 7 至 少 有 一 个 会 减少 1。 

算法 改进 

一 旦 设计 出 一 个 算法 ,通常 情况 下 你 都 会 发 现 它 在 时 空 开销 上 有 改进 的 余地 。 一 些 改进 可 
以 简化 代码 ， 将 性 能 提高 常数 倍 ， 但 除 此 之 外 不 会 产生 性 能 方面 的 渐 近 性 提升 。 而 另 一 些 改进 可 
以 带 来 时 空 上 巨大 的 渐 近 性 提升 。 

例如 ， 对 LCS 算法 ， 我 们 完全 可 以 去 掉 表 5。 每 个 c[i， 门 项 只 依赖 于 表 c 中 的 其 他 三 项 : 
一， ne cli, J lM elimi, I- Ll 给 定 cli, jj 的 值 ， 我 们 可 以 在 O(1) 时 间 内 判断 出 在 
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计算 [;， 放 时 使 用 了 这 三 项 中 的 哪 一 项 。 因 此 ， 我 们 可 以 用 一 个 类 似 PRINT-LCS 的 过 程 在 
OGn-+n) IY li] ASE RY LCS 的 工作 ， 而 且 不 必 使 用 表 8。 但 是 ， 虽 然 这 种 方法 节省 了 Omn W 
空间 ， 但 计算 LCS 所 需 的 辅助 空间 并 未 渐 近 减少 ， 因 为 无 论 如何 表 < 都 需要 @(zzz) 的 空间 。 

不 过 ，LCS-LENGTH 的 空间 需求 是 可 以 渐 近 减少 的 ， 因 为 在 任何 时 刻 它 只 需要 表 中 的 两 
行 : 当前 正在 计算 的 一 行 和 前 一 行 (实际 上 ， 练 习 15. 4-4 要 求 设 计 一 个 算法 ， 只 使 用 一 行 多 一 点 
的 空间 来 计算 LCS 的 长 度 ) 。 如 果 我 们 只 需 计 算 LCS 的 长 度 ， 这 一 改进 是 有 效 的 。 但 如 果 需 要 重 
构 LCS 中 的 元 素 ， 这 么 小 的 表 空 间 所 保存 的 信息 不 足以 在 OCm 十 ) 时 间 内 完成 重 构 工作 。 


练习 

isdi R, OOs 1, O; 1s Dy LG Ly O; Ls ly G 1) Ly CORE LES, 

15. 4-2 设计 伪 代 码 ， 利用 完整 的 表 c KERI X =a, Tzs ”9 | Ye Dax “y 
yn REY LCS， 要 求 运 行 时 间 为 Ontan), AREER b. 

15.4-3 ”设计 LCS-LENGTH 的 带 备 忘 的 版 本 ， 运 行 时 间 为 Onn). 

15.4-4 ”说 明 如 何 只 使 用 表 c 中 2Xmin(m，7) 个 表 项 及 O(1) 的 额外 空间 来 计算 LCS WEE. 2 
后 说 明 如 何 只 用 minm, MARR 0(1) 的 额外 空间 完成 相同 的 工作 。 

15.4-5 设计 一 个 OG? ) 时 间 的 算法 ， 求 一 个 n 个 数 的 序列 的 最 长 单调 递增 子 序列 。 

*15.4-6 设计 一 个 OCzlgz) 时 间 的 算法 ， 求 一 个 ”个 数 的 序列 的 最 长 单调 递增 子 序列 。( 提 示 : 注 
意 到 ， 一 个 长 度 为 i 的 候选 子 序列 的 尾 元 素 至 少 不 比 一 个 长 度 为 i 一 1 候选 子 序 列 的 尾 元 
素 小 。 因 此 ， 可 以 在 输入 序列 中 将 候选 子 序 列 链 接 起 来 。) 


15.5 最 优 二 又 搜索 树 

假定 我 们 正在 设计 一 个 程序 ， 实 现 英语 文本 到 法 语 的 翻译 。 对 英语 文本 中 出 现 的 每 个 单词 ， 
我 们 需要 查找 对 应 的 法 语 单词 。 为 了 实现 这 些 查 找 操作 ， 我 们 可 以 创建 一 棵 二 叉 搜 索 树 ， 将 nn 个 
英语 单词 作为 关键 字 ， 对 应 的 法 语 单词 作为 关联 数据 。 由 于 对 文本 中 的 每 个 单词 都 要 进行 搜索 ， 
我 们 希望 花费 在 搜索 上 的 总 时 间 尽 量 少 。 通 过 使 用 红 黑 树 或 其 他 平衡 搜索 树 结 构 ， 我 们 可 以 假 
定 每 次 搜索 时 间 为 OUgn)。 但 是 ， 单 词 出 现 的 频率 是 不 同 的 ， 像 “the” 这 种 频繁 使 用 的 单词 有 可 
能 位 于 搜索 树 中 远离 根 的 位 置 上 ， 而 像 *“machicolation” 这 种 很 少 使 用 的 单词 可 能 位 于 靠近 根 的 位 
置 上 。 这 样 的 结构 会 减 慢 翻译 的 速度 ， 因 为 在 二 又 树 搜 索 树 中 搜索 一 个 关键 字 需 要 访问 的 结 点 
数 等 于 包含 关键 字 的 结 点 的 深度 加 1。 我 们 希望 文本 中 频繁 出 现 的 单词 被 置 于 靠近 根 的 位 置 9。 
而 且 ， 文 本 中 的 一 些 单词 可 能 没有 对 应 的 法 语 单词 2 ， 这 些 单词 根本 不 应 该 出 现在 二 又 搜 索 树 
中 。 在 给 定单 词 出 现 频 率 的 前 提 下 ， 我 们 应 该 如 何 组 织 一 棵 二 叉 搜 索 树 ， 使 得 所 有 搜索 操作 访问 
的 结 点 总 数 最 少 呢 ? 

这 个 问题 称 为 最 优 二 叉 搜 索 树 (optimal binary search tree) 问 题 。 其 形式 化 定义 如 下 : 给 定 一 
Ar n 个 不 同 关键 字 的 已 排序 的 序列 K=(Ris Roy sty Ra? (因此 ky ky hk), 我 们 希望 用 这 
些 关键 字 构 造 一 棵 二 又 搜索 树 。 对 每 个 关键 字 已， 都 有 一 个 概率 p 表示 其 搜索 频率 。 有 些 要 搜 
索 的 值 可 能 不 在 K 中 ， 因 此 我 们 还 有 nti NARE” d dis dzs s d, 表示 不 在 中 的 
值 。w 表示 所 有 小 于 W, d, 表示 所 有 大 于 的 值 ， 对 i 二 1，2,，…，n 一 1， 伪 关键 字 di 表 
示 所 有 在 &; 和 Ri 之 间 的 值 。 对 每 个 伪 关键 字 d;， 也 都 有 一 个 概率 p; 表示 对 应 的 搜索 频率 。 
图 15-9 显 示 了 对 一 个 "一 5 个 关键 字 的 集合 构造 的 两 棵 二 又 搜 索 树 。 每 个 关键 字 k 是 一 个 内 部 结 
点 ， 而 每 个 伪 关键 字 di 是 一 个 叶 结 点 。 每 次 搜索 要 么 成 功 (找到 某 个 关键 字 已) 要 么 失败 (找到 某 





加 ”如果 文 本 的 主题 是 城堡 建筑 ， 我 们 可 能 希望 machicolation 出 现在 靠近 根 的 位 置 。 
© 是 的 ，machicolation 有 对 应 的 法 语 单词 : machicoulis。 
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MAREE d;)， 因 此 有 如 下 公式 : 
(15. 10) 





图 15-9 对 一 个 n=5 的 关键 字 集 合 及 如 下 的 搜索 概率 ， 构 造 的 两 棵 二 又 搜 索 树 : 








i 0 1 2 3 4 5 
pi 0.15 0.10 0.05 0.10 0.20 
qi 0. 05 0. 10 0. 05 0. 05 0. 05 0. 10 


Ca) 期望 搜索 代价 为 2. 80 的 二 又 搜 索 树 。(b) 期 望 搜索 代价 为 2. 75( 最 优 ) 的 二 又 搜索 树 


由 于 我 们 知道 每 个 关键 字 和 伪 关 键 字 的 搜索 概率 ， 因 而 可 以 确定 在 一 棵 给 定 的 二 又 搜索 树 工 
中 进行 一 次 搜索 的 期 望 代价 。 假 定 一 次 搜索 的 代价 等 于 访问 的 结 点 数 ， 即 此 次 搜索 找到 的 结 点 
在 工 中 的 深度 再 加 1。 那 么 在 工 中 进行 一 次 搜索 的 期 望 代价 为 : 


E[ 开 中 搜索 代价 ]= 》) Cdepthr(&,) + D + pi 十 >) Cdepthr(d,) +1) + q: 
i=] i=0 


= 1+ >) depthr(&) © pı + >) depthr(d;) + q; Cis. 11) BÆ 
i=1 i=0 


其 中 depthr 表示 一 个 结 点 在 树 工 中 的 深度 。 最 后 一 个 等 式 是 由 公式 (15. 10) 推 导 而 来 。 在 图 15-9(a) 
中 ， 我 们 逐 结 点 计算 期 望 搜索 代价 : 



























































结 点 深 度 概 率 贡 献 
kı 1 0.15 0. 30 
ke 0 0. 10 0. 10 
k3 2 0.05 0. 15 
k4 1 0. 10 0. 20 
ks 2 0. 20 0. 60 
do 2 0. 05 0. 15 
dı 2 0.10 0. 30 
dz 3 0.05 0. 20 
d3 3 0. 05 0. 20 
ds 3 0. 05 0. 20 
ds 3 0. 10 0. 40 
合计 2. 80 


对 于 一 个 给 定 的 概率 集合 ， 我 们 希望 构造 一 棵 期 望 搜索 代价 最 小 的 二 又 搜索 树 ， 我 们 称 
之 为 最 优 二 又 搜索 树 。 图 15-9(b) 所 示 的 二 又 搜索 树 就 是 给 定 概率 集合 的 最 优 二 又 搜索 树 ， 
其 期 望 代 价 为 2.75。 这 个 例子 显示 ， 最 优 二 又 搜索 树 不 一 定 是 高 度 最 矮 的 。 而且， 概率 最 
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高 的 关键 字 也 不 一 定 出 现在 二 又 搜索 树 的 根 结 点 。 在 此 例 中 ， 关 键 字 & 的 搜索 概率 最 高 ， 
但 最 优 二 又 搜索 树 的 根 结 点 为 (在 所 有 以 为 根 的 二 叉 搜 索 树 中 ， 期 望 搜索 代价 最 小 者 为 
2.85) 

与 抢 阵 链 乘 法 问题 相似 ， 对 本 问题 来 说 ， 穷 举 并 检查 所 有 可 能 的 二 又 搜 索 树 不 是 一 个 高 效 
的 算法 。 对 任意 一 棵 ”个 结 点 的 二 叉 树 ， 我 们 都 可 以 通过 对 结 点 标记 关键 字 包 ， 乌 ，…， 心 构造 
出 一 棵 二 又 搜索 树 ， 然 后 向 其 中 添加 伪 关键 字 作为 叶 结 点 。 在 思考 题 12-4 中 ,我们 会 看 到 个 
结 点 的 二 又 树 的 数量 为 QC4"/n”)， 因 此 穷 举 法 需要 检查 指数 棵 二 又 搜索 树 。 不 出 意外 ， 我 们 将 
使 用 动态 规划 方法 求解 此 问题 。 

步骤 1: 最 优 二 又 搜 索 树 的 结构 

为 了 刻画 最 优 二 又 搜索 树 的 结构 ， 我 们 从 观察 子 树 特征 开始 。 考 虑 一 棵 二 又 搜 索 树 的 任意 子 


树 。 它 必须 包含 连续 关键 字 &，…，h，1 二 i 二 jn， 而 且 其 叶 结 点 必然 是 伪 关 键 字 diio +, djo 
我 们 现在 可 以 给 出 二 又 搜 索 树 问题 的 最 优 子 结构 :如 果 一 棵 最 优 二 又 搜 索 树 工 有 一 棵 包含 
REF kis PRE k; 的 子 树 TT"， 那么 T 必然 是 包含 关键 字 kis ey k; 和 伪 关键 字 ds Pe Sy d; 的 


子 问题 的 最 优 解 。 我 们 依旧 用 剪 切 一 粘贴 法 来 证 明 这 一 结论 。 如 果 存 在 子 树 T ， 其 期 望 搜 索 代 
Bree TAK, AA RATE 工 从 工 中 删除 ， 将 工 粘贴 到 相应 位 置 ， 从 而 得 到 一 棵 期 望 搜索 代价 低 于 
开 的 二 又 搜索 树 ， 与 了 最 优 的 假设 矛盾 。 

我 们 需要 利用 最 优 子 结构 性 质 来 证 明 ， 我 们 可 以 用 子 问题 的 最 优 解 构造 原 问 题 的 最 优 解 。 给 
定 关键 字 序列 有，…，hk， 其 中 某 个 关键 字 ， 比 如 说 Gr<7)， 是 这 些 关 键 字 的 最 优 子 树 的 根 结 
Fis 那么 k, 的 左 子 树 就 包含 关键 字 Ris es Rea (和 伪 关 键 字 dias ty Ura) 而 右 子 树 包含 关键 
字 kn ，…，k( 和 伪 关 键 字 d,，…，d;)。 只 要 我 们 检查 所 有 可 能 的 根 结 点 k GKG), FA 
种 情况 分 别 求解 包含 &，…，&,-!1 及 包含 6 ，…， 的 最 优 二 叉 搜 索 树 ， 即 可 保证 找到 原 问 题 
的 最 优 解 。 

这 里 还 有 一 个 值得 注意 的 细节 一 一 空子 树 ”。 假 定 对 于 包含 关键 字 户 ，…， 有 局 的 子 问题 ， 我 
们 选 定 k; 为 根 结 点 。 根据 前 文 论证 ， k; 的 左 子 树 包含 关键 字 &,， ot Rete 我 们 将 此 序列 解释 为 
不 包含 任何 关键 字 。 但 请 注意 ， 子 树 仍然 包含 伪 关 键 字 。 按 照 惯 例 ， 我 们 认为 包含 关键 字 序列 
kis RS &;_1 的 子 树 不 含 任何 实际 关键 字 ， 但 包含 单一 伪 关 键 字 diis 对 称 地 ， 如 果 选 择 k; 为 根 
结 点 ， 那 么 名 的 右 子 树 包含 关键 字 j+;，…， 名 一 一 些 右 子 树 不 包含 任何 实际 关键 字 ， 但 包含 伪 
关键 字 dj. 

步骤 2: 一 个 递归 算法 

我 们 已 经 准备 好 给 出 最 优 解 值 的 递归 定义 。 我 们 选取 子 问 题 域 为 : 求解 包含 关键 字 &;,，…， 
ki 的 最 优 二 叉 搜 索 树 ， 其 中 >l, Kn 且 j 宇 i 一 1( 当 j==i 一 1 时 ， 子 树 不 包含 实际 关键 字 ， 只 包 
会 伪 关 键 字 di). EX eLi，j 为 在 包含 关键 字 kio o ki 的 最 优 二 又 搜 索 树 中 进行 一 次 搜索 的 
期 望 代价 。 最 终 ， 我 们 希望 计算 出 el, n] 

j 王 i 一 1 的 情况 最 为 简单 ， 由 于 子 树 只 包含 伪 关 键 字 4;, ， 期 望 搜索 代价 为 e[i, i 一 1] 二 gq 1。 

ISIN, RIERA kio oe, Ry 中 选择 一 个 根 结 点 &,， 然 后 构造 一 棵 包含 关键 字 ko s 
&-! 的 最 优 二 又 搜 索 树 作为 其 左 子 树 ， 以 及 一 棵 包含 关键 字 kns o ki 的 二 叉 搜 索 树 作为 其 右 
子 树 。 当 一 棵 子 树 成 为 一 个 结 点 的 子 树 时 ， 期 望 搜索 代价 有 何 变化 ? 由 于 每 个 结 点 的 深度 都 增加 
了 1， 根据 公式 (15. 11)， 这 棵 子 树 的 期 望 搜索 代价 的 增加 值 应 为 所 有 概率 之 和 。 对 于 包含 关键 
F kis eet k; 的 子 树 ， 所 有 概率 之 和 为 


wij) = Dpit Da (15. 12) 


因此 ， 若 名 WORKER. =, k 的 最 优 二 又 搜索 树 的 根 结 点 ， 我 们 有 如 下 公式 
eLisj] = p, + CeLinr—1]+wG.r—1))+ Celr+1,j]+twir+1,7)) 
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wij) = wiir- D+F, twrt lgj) 
因此 eLz， 放 可 重 写 为 
eli j] = eLiyr 一 1 十 eLr 十 1,jj 十 w(i,7) (15.13) 
递归 公式 (15. 13) 假 定 我 们 知道 哪个 结 点 & 应 该 作为 根 结 点 。 如 果 选 取 期 望 搜索 代价 最 低 者 
作为 根 结 点 ， 可 得 最 终 递归 公式 : 
qi #j=i-1 
isl) in elise EA + wes) Hi<j (15. 14) 
e[z， 放 的 值 给 出 了 最 优 二 又 搜索 树 的 期 望 搜索 代价 。 为 了 记录 最 优 二 又 搜索 树 的 结构 ， 对 
于 包含 关键 字 &:，…，k(1 志 ij 过 nn) 的 最 优 二 又 搜索 树 ， 我 们 定义 rootLi，jj] 保 存根 结 点 k. 的 
下 标 +。 虽 然 我们 将 看 到 如 何 计算 ootLi， 放 的 值 ， 但 是 利用 这 些 值 来 构造 最 优 二 又 搜索 树 的 问 
题 将 留 作 练习 (练习 15. 5-1) 。 
步骤 3: 计算 最 优 二 叉 搜 索 树 的 期 望 搜索 代价 
现在 ， 你 可 能 已 经 注意 到 我 们 求解 最 优 二 又 搜 索 树 和 和 矩阵 链 乘法 的 一 些 相 似 之 处 。 它 们 的 
子 问题 都 由 连续 的 下 标 子 域 组 成 。 而 公式 (15. 14) 的 直接 递归 实现 ， 也 会 与 矩阵 链 乘法 问题 的 直 
接 递归 算法 一 样 低 效 。 因 此 ， 我 们 设计 替代 的 高 效 算 法 ， 我 们 用 一 个 表 eLl1. .nn 十 1，0. .nj 来 保 
F eli, jh. BAP LAA ntl 而 不 是 wx， 原因 在 于 对 于 只 包含 伪 关 键 字 的 子 树 ， 我 们 
需要 计算 并 保存 eLn 十 1，n]。 第 二 维 下 标 下界 为 0， 是 因为 对 于 只 包含 伪 关 键 字 do 的 子 树 ， 我 
们 需要 计算 并 保存 eL1，0]。 我 们 只 使 用 表 中 满足 j 宇 i 一 1 的 表 项 eLi，j;]」。 我 们 还 使 用 一 个 表 
root， 表 项 rootLi，j 站 记录 包含 关键 字 &:，… ki 的 子 树 的 根 。 我 们 只 使 用 此 表 中 满足 1<i<j<<n 
的 表 项 root[i,， j]. 
我 们 还 需要 另 一 个 表 来 提高 计算 效率 。 为 了 避免 每 次 计算 eLi，j] 时 都 重新 计算 wl(i，j), 我 
们 将 这 些 值 保存 在 表 wL1..n 十 1，0. .nj 中 ， 这 样 每 次 可 节省 8@( 一 让 次 加 法 。 对 基本 情况 ， 令 
wli, i—1J=q-1<i<n+1). 对 j>i 的 情况 ， 可 如 下 计算 : 
wli] = wli,j—1]+p+q (15. 15) 
RH, MOG) wLi，7]， 每 个 的 计算 时 间 为 OCD. 
下 面 的 伪 代 码 接受 概率 列表 p s Pa 和 go。，…，g, 及 规模 n 作为 输入 ， 返 回 表 e F root. 
OPTIMAL-BST(p,g,n) 
1 lete[l..nt1,0..n],wLl..nt+1,0..n],and root[1. .n,1..n]be new tables 
2 fori=l ton+1 
3 eli,i—1]=q.-1 
4 wli,i—lJ=q-1 
5 for /=1 ton 
6 for i = 1 to 7 一 /十 1 
名 
8 


j=itl-1 
eLi,j J= 
9 wi,j]=w[i,j—1]+p;+g; 
10 for r =i to j 
11 t =eLi,r—1]te[r+1,j]t+uli,j] 
12 if :<e[i, j] 
13 eli,j]=t 
14 rootli,j =r 


15 return e and root 


根据 前 文 的 描述 ， 以 及 与 15. 2 节 的 算法 MATRIX-CHAIN-ORDER 的 相似 性 ， 很 容易 理解 
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此 算法 。 第 2~4 行 的 for 循环 初始 化 e[i，i 一 1J 和 wLi，i 一 1j 的 值 。 第 5~14 行 的 for 循环 利用 
递归 式 (15. 14) 和 递归 式 (15. 15) 来 对 所 有 IKin HR eli, jj 和 wLi，j;]。 在 第 一 个 循环 步 
中 ,7 二 1， 循环 对 所 有 i=1, 2, e, neli, Muli, i], BZAR, 152, MHA 
i 二 1]，2,，*…，n 一 1 计算 e[i, i+ 1M wli, i+1], KER. $ 10~14 FHA for 循环 ， 逐 
个 尝试 下 标 >， 确定 哪个 关键 字 k 作为 根 结 点 可 以 得 到 包含 关键 字 ko o ki 的 最 优 二 又 搜索 
树 。 这 个 for 循环 在 找到 更 好 的 关键 字 作 为 根 结 点 时 ， 会 将 其 下 标 r 保 存在 rootLi，jj 中 。 

图 15-10 给 出 了 OPTIMAL-BST 输入 图 15-9 中 的 关键 字 分 布 后 计算 出 的 表 eli, jj whi, G1 
rootli, j]. Æ 15-5 中 矩阵 链 乘法 问题 的 输出 结果 一 样 ， 本 图 中 的 表 也 进行 了 旋转 ， 对 角 线 
旋转 到 了 水 平方 向 。OPTIMAL-BST 按 自 底 向 上 的 顺序 逐 行 计算 ， 在 每 行 中 由 左 至 右 计算 每 个 
RH. 





图 15-10 对 图 15-9 中 的 关键 字 分 布 ，OPTIMAL-BST 计算 出 的 表 eli jh wi, j] 
和 rootLi，jj]。 表 进行 了 旋转 ， 使 得 对 角 线 旋转 到 水 平方 向 
与 MATRIX-CHAIN-ORDER —##, OPTIMAL-BST 的 时 间 复 杂 度 也 是 OC), HFERS 
=H fo 循环 ， 而 每 层 循 环 的 下 标 最 多 取 n 个 值 ， 因 此 很 容易 得 出 其 运行 时 间 为 O(n )。 
OPTIMAL-BST 的 循环 下 标的 范围 与 MATRIX-CHAIN-ORDER 不 完全 一 样 ， 但 每 个 方向 最 多 相 
#1. Alt, 5 MATRIX-CHAIN-ORDER 一 样 ，OPTIMAL-BST 的 运行 时 间 为 QOGw)( 从 而 得 出 
运行 时 间 为 (x ))。 


练习 


15.5-1 设计 伪 代 码 CONSTRUCT-OPTIMAL-BST (root), 输入 为 表 root， 输 出 是 最 优 二 又 搜索 

树 的 结构 。 例 如 ， 对 图 15-10 中 的 root 表 ， 应 输出 

为 根 

ki H k 的 左 孩 子 

do Ak, 的 左 孩 子 

di Ah 的 右 孩 子 

ks 为 ke 的 右 孩 子 

ki 为 ks 的 左 孩 子 

ks Ak, 的 左 孩 子 
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dz Ak; 的 左 孩 子 
d; Ak, 的 右 孩 子 
ds Ak, 的 右 孩 子 
ds 为 ks 的 右 孩 子 
与 图 15-9(b) 中 的 最 优 二 又 搜索 树 对 应 
15.5-2 #17 个 关键 字 的 概率 如 下 所 示 ， 求 其 最 优 二 又 搜索 树 的 结构 和 代价 。 






0. 08 
0. 06 









0. 05 





0. 06 0. 05 





15.5-3 ”假设 OPTIMAL-BST 不 维护 表 uli, jls MEER 9 行 利用 公式 (15. 12) 直 接 计算 wG, j), 
然后 在 第 11 行使 用 此 值 。 如 此 改动 会 对 渐 近 时 间 复 杂 性 有 何 影响 ? 

*15.5-4 KnuthL212] 已 经 证 明 ， 对 所 有 1 二 i 二 n， 存 在 最 优 二 又 搜索 树 ， 其 根 满足 rootLi，j 一 
1]<rootli, j]<rootlit+1, j]. AFAIK — RHEE RA OPTIMAL-BST， 使 得 运行 时 
间 减 少 为 OG?’ ) 。 


思考 题 
15-1 《有 向 无 环 图 中 的 最 长 简单 路 径 ) 给 定 一 个 有 向 无 环 图 G 二 (V，E)， 边 权重 为 实数 ， 给 
定 图 中 两 个 顶点 ;和 tt。 设计 动态 规划 算法 ， KM s Be 的 最 长 加 权 简 单 路 径 。 子 问题 图 是 
怎样 的 ? 算法 的 效率 如 何 ? 
15-2 (最 长 回 文子 序列 ) 回 文 (palindrome) 是 正 序 与 逆序 相同 的 非 空 字符 串 。 例 如 ， 所 有 长 度 
为 1 的 字符 串 、civic、racecar、aibohphobia( 害 怕 回 文 之 意 ) 都 是 回 文 。 
设计 高 效 算法 ， 求 给 定 输入 字符 串 的 最 长 回 文子 序列 。 例 如 ， 给 定 输入 character， 算 
法 应 该 返回 carac。 算 法 的 运行 时 间 是 怎样 的 ? 
15-3 《〈 双 调 欧 几 里 得 旅行 商 问题 ) 在 欧 几 里 得 旅行 商 问 题 中 ， 给 定 平 面 上 ?个 点 作为 输入 ， 和 希 
望 求 出 连接 所 有 nn 个 点 的 最 短 巡 游 路 线 。 图 15-11(a) 给 出 了 一 个 7 点 问题 的 解 。 此 问题 是 
NP 难 问题 ， 因 此 大 家 相信 它 并 不 存在 多 项 式 时 间 的 求解 算法 (参见 第 34 章 )。 
J. L. Bentley 建议 将 问题 简化 ， 限 制 巡 游 路 线 为 双 调 巡游 Cbitonic tours)， 即 从 最 左边 的 
点 开始 ， 严 格 向 右前 进 ， 直 至 最 右边 的 点 ， 然 后 调头 严格 向 左前 进 ， 直 至 回 到 起 始点 。 
图 15-11(b) 给 出 了 相同 7 个 点 的 最 短 双 调 巡 游 路 线 。 问 题 简化 之 后 ， 存 在 一 个 多 项 式 时 间 的 
算法 。 


el RA 
| J Nd 
HS | | IN 








rl de 
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图 15-11 给 定 平面 上 7 个 点 ， 显 示 在 一 个 单位 网 格 中 。(a) 最 短 闭合 巡游 路 线 ， 长 度 约 为 
24. 89， 此 路 线 不 是 双 调 的 。(b) 同 样 点 集 的 最 短 双 调 巡游 路 线 ， 长 度 约 为 25. 58 

设计 一 个 OC(wr) 时 间 的 最 优 双 调 巡 游 路 线 算法 。 你 可 以 认为 任何 两 个 点 的 z 坐标 均 不 

同 ， 且 所 有 实数 运算 都 花费 单位 时 间 。( 提 示 : 由 左 至 右 扫描 ， 对 巡游 路 线 的 两 个 部 分 分 
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别 维护 可 能 的 最 优 解 。) 

(整齐 打印 ) 考虑 整齐 打印 问题 ， 即 在 打印 机 上 用 等 宽 字符 打印 一 段 文 本 。 输 入 文本 为 n 
个 单词 的 序列 ， 单 词 长 度 分 别 为 4，ls，…，4 个 字符 。 我 们 希望 将 此 有 段 文 本 整齐 打印 在 
若干 行 上 ， 每 行 最 多 M 个 字符 。 “整齐 ”的 标准 是 这 样 的 。 如 果 某 行 包含 第 :到 第 7 iS) 


个 单词 ， 且 单词 间隔 为 一 个 空格 符 ， 则 行 尾 的 额外 空格 符 数量 为 M 一 j 十 i 一 yh ， 此 值 


必须 为 非 负 的 ， 否 则 一 行内 无 法 容纳 这 些 单词 。 我 们 希望 能 最 小 化 所 有 行 的 ( 除 最 后 一 行 
外 ) 人 额外 空格 数 的 立方 之 和 。 设 计 一 个 动态 规划 算法 ， 在 打印 机 上 整齐 打印 一 段 n 个 单词 
的 文本 。 分 析 算 法 的 时 间 和 空间 复杂 性 。 
(编辑 距离 ) 为 了 将 一 个 文本 串 z[L1. .mj 转换 为 目标 串 yL1. .nj]， 我 们 可 以 使 用 多 种 变换 
操作 。 我 们 的 目标 是 ， 给 定 z 和 y， 求 将 转换 为 y 的 一 个 变换 操作 序列 。 我 们 使 用 一 个 
数组 z 保存 中 间 结 果 ， 假 定 它 足 够 大 ， 可 存 下 中 间 结 果 的 所 有 字符 。 初 始 时 ，>z 是 空 的 ， 
结束 时 ， 应 有 z[7j 二 yLij]，7 二 1，2，…，n。 我 们 维护 两 个 下 标 i 和 7， 分 别 指向 xz 中 位 
置 和 xz 中 位 置 ， 变 换 操 作 允 许 改 变 z 的 内 容 和 这 两 个 下 标 。 初 始 时 ，i 二 二 1。 在 转换 过 程 
中 应 处 理 z 的 所 有 字符 ， 这 意味 着 在 变换 操作 结束 时 ， 应 有 ;一 mm 十 1。 

我 们 可 以 使 用 如 下 6 种 变换 操作 : 

复制 (copy) 一 一 从 工 复 制 一 个 字符 到 >， 即 进行 赋值 zL;] 二 xLi]， 并 将 两 个 下 标 i 和 j 
都 增 1。 此 操作 处 理 了 Li]. 

替换 (replace) 将 工 中 一 个 字符 蔡 换 为 男 一 个 字符 c<，z[Ljj] 二 c， 并 将 两 个 下 标 i 和 7 
都 增 1。 此 操作 处 理 了 zlil. 











删除 (delete) 一 一 删除 z 中 一 个 字符 ， 即 将 i 增 1，j 不 变 。 此 操作 处 理 了 lil. 
插入 (insert) 将 字符 c 插 入 z 中 ，z[ 站 ==c, 将 ;7 增 1， i 不 变 。 此 操作 未 处 理 z 中 
字符 。 


旋转 (twiddle， 即 交换 ) 一 一 将 x 中 下 两 个 字符 复制 到 xz 中 ,但 交换 顺序 ，z[j] = 
ZzLi+1] 且 zLj 十 1] 二 zxLij, 将 i 和 j 都 增 2。 此 操作 处 理 了 cliil clit]. 

终止 (kilD) 一 一 删除 x 中 剩余 字符 ， 令 i 二 =m 十 1。 此 操作 处 理 了 xz 中 所 有 尚未 处 理 的 字 
符 。 如 果 执 行 此 操作 ， 则 转换 过 程 结束 。 

下 面 给 出 了 将 源 字 符 串 algorithm 转换 为 目标 字符 串 altruistic 的 一 种 变换 操作 序列 ， 
下 划 线 指出 执行 一 个 变换 操作 后 两 个 下 标的 位 置 : 














操 作 x z 
初始 字符 串 algorithm P 
复制 algorithm a 
复制 algorithm al_ 
替换 为 t algorithm alt_ 
删除 algorithm alt 
复制 algorithm altr 
插入 u algorithm altru_ 
插入 i algori thm altrui 
插入 s algori thm altruis_ 
旋转 algorithm altruisti_ 
插入 c algorithm altruistic 
终止 algorithm altruistic_ 
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注意 ， 还 有 其 他 方法 将 algorithm 转换 为 altruistic。 
每 个 变换 操作 都 有 相应 的 代价 。 具 体 的 代价 依赖 于 特定 的 应 用 ， 但 我 们 假定 每 个 操作 
的 代价 是 一 个 已 知 的 常量 。 我 们 还 假定 复制 和 替换 的 代价 小 于 删除 和 插入 的 组 合 代 价 ， 否 
则 复制 和 替换 操作 就 没有 意义 了 。 一 个 给 定 的 变换 操作 序列 的 代价 为 其 中 所 有 变换 操作 的 
代价 之 和 。 在 上 例 中 ， 将 algorithm 转换 为 altruistic 的 代价 为 
(3。cost( 复 制 )) 十 cost( 替 换 ) + cost( 删 除 ) 十 (4。cost( 插 入 )) 十 cost( 旋 转 ) 十 cost( 终 止 ) 
a. 给 定 两 个 字符 串 xz[1..mj 和 y[1.. 四 以 及 变换 操作 的 代价 , x 到 y 编辑 距离 (edit 
distance) EK 工 转换 为 y 的 最 小 代价 的 变换 操作 序列 的 代价 值 。 设 计 动 态 规划 算法 ， 求 
all. .mj 到 y[1..nj 的 编辑 距离 并 打印 最 优 变换 操作 序列 。 分 析 算 法 的 时 间 和 空间 复 
RE. 
编辑 距离 问题 是 DNA 序列 对 齐 问 题 的 推广 (参考 其 他 文献 ， 如 Setubal 和 Meidanis 
[310，3.2 节 ])。 已 有 多 种 方法 可 以 通过 对 齐 两 个 DNA 序列 来 衡量 它们 的 相似 度 。 有 
一 种 对 齐 方法 是 将 空格 符 插 和 人 到 两 个 序列 z 和 yy 中 ， 可 以 插入 到 任何 位 置 ( 包 括 两 端 )， 
使 得 结果 序列 zx 和 y 具有 相同 的 长 度 ， 但 不 会 在 相同 的 位 置 出 现 空格 符 ( 即 不 存在 位 置 
j 使 得 zx [站 和 y [7 都 是 空格 符 ) 。 然 后 为 每 个 位 置 < 打分”， 位 置 7 的 分 数 为 : 
。 十 1， 如 果 r [让 =y [让 且 不 是 空格 符 。 
。 一 1， 如 果 z [站 ] 关 y [j 且 都 不 是 空格 符 。 
。 一 2，Zz'[7] 或 y [i] 是 空格 符 。 
对 齐 方案 的 分 数 为 每 个 位 置 的 分 数 之 和 。 例 如 ， 给 定 序 列 z= carccccar 和 y= 
cAATGTGAATC， 一 种 对 齐 方 案 为 


G ATCG GCAT 
CAAT GTGAATC 
一 大 十 十 克 十 炎 十 一 十 十 六 


十 表示 该 位 置 分 数 为 十 1， 一 表示 分 数 为 一 1，* 表示 分 数 为 一 2， 因 此 此 方案 的 总 分 数 

NNO" 1-2 « 1-4 2—=—4, 

解释 如 何 将 最 优 对 齐 问 题 转 换 为 编辑 距离 问题 ， 使 用 的 操作 为 变换 操作 复制 、 替 换 、 

删除 、 插 入 、 旋 转 和 终止 的 子 集 。 

(公司 聚会 计划 ) ”一 位 公司 主席 正在 向 Stewart 教授 咨询 公司 聚会 的 计划 。 公 司 的 内 部 结 

构 关系 是 层次 化 的 ， 即 员工 按 主 管 一 下 属 关 系 构成 一 棵 树 ， 根 结 点 为 公司 主席 。 人 事 部 按 

“宴会 交际 能 力 ” 为 每 个 员工 打分 ,分 值 为 实数 。 为 了 使 所 有 参加 聚会 的 员工 都 感到 愉快 ， 

主席 不 希望 员工 及 其 直接 主管 同时 出 席 。 

公司 主席 向 Stewart 教授 提供 公司 结构 树 ， 采 用 10. 4 节 介 绍 的 左 孩 子 右 兄弟 表示 法 描 

述 。 书 中 每 个 结 点 除了 保存 指针 外 ， 还 保存 员工 的 名 字 和 宴会 交际 评分 。 设 计算 法 ， 求 宴 

会 交际 评分 之 和 最 大 的 宾客 名 单 。 分 析 算 法 的 时 间 复 杂 度 。 

( 译 码 算 法 ) 我们 可 以 通过 在 有 向 图 G=(V, D 上 使 用 动态 规划 方法 来 实现 语音 识别 。 

对 每 条 边 (u，v) EE 打上 一 个 声音 标签 oC(u，v)， 该 声音 来 自 于 有 限 声 音 集 。 这 样 的 标 

签 图 就 成 为 一 个 特定 人 说 限定 语言 的 形式 化 模型 。 图 中 从 特定 顶点 w EV 开始 的 每 条 路 径 

都 对 应 模型 产生 的 一 个 可 能 的 声音 序列 。 对 于 一 条 有 向 路 径 ， 我 们 定义 其 标签 为 路 径 中 边 

的 标签 的 简单 连结 。 

a 设计 高 效 算法 ， 对 给 定 的 带 边 标签 的 图 G、 特 定 顶 点 w RS ENA s=, os e 
o>» RE GHA w 开始 的 一 条 路 径 ，;s 为 该 路 径 的 标签 (如 果 存 在 这 样 的 路 径 )。 否 则 ， 
算法 应 返回 NO-SUCH-PATH 。 分 析 算 法 的 时 间 复 杂 度 (提示 : 你 可 能 发 现 第 22 章 中 的 概 
念 可 以 用 于 此 题 ) 。 


> 
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现在 ,假定 每 条 边 (u，v) EE 都 关联 一 个 非 负 概率 plu, v), CRAB u he, 

经 过 边 (u，v)， 产 生 对 应 的 声音 的 概率 。 任 何 顶 点 的 出 射 边 的 概率 之 和 均 为 1。 一 条 路 径 

的 概率 定义 为 路 径 上 边 的 概率 之 积 。 对 于 从 w 开始 的 一 条 路 径 ， 我 们 可 以 将 其 概率 看 做 

从 w 开始 进行 “随机 游 走 ”(random walk)， 最 后 恰巧 经 过 这 条 路 径 的 概率 。 所 谓 “ 随 机 游 

走 ”， 是 指 当 位 于 顶点 x 时， 随机 选择 一 条 出 射 边 前 进 ， 每 条 边 被 选中 的 概率 就 是 它 所 关 

联 的 概率 。 

b. 扩展 (a) 中 的 算法 ， 使 得 返回 的 路 径 是 从 w 开始 且 标 签 为 s 的 路 径 中 概率 最 大 者 。 分 析 
算法 的 时 间 复 杂 性 。 

(KF HART (seam carving) 的 图 像 压缩 ) ”给 定 一 幅 彩 色 图 像 ， 它 由 一 个 mXn 的 像素 数 

组 A[1..m，1. .nj 构 成， 每 个 像素 是 一 个 红 绿 蓝 (RGB) 亮 度 的 三 元 组 。 假 定 我 们 希望 轻 度 

压缩 这 幅 图 像 。 具 体 地 ， 我 们 希望 从 每 一 行 中 删除 一 个 像素 ， 使 得 图 像 变 罕 一 个 像素 。 但 

为 了 避免 影响 视觉 效果 ， 我 们 要 求 相 邻 两 行 中 删除 的 像素 必须 位 于 同一 列 或 相 邻 列 。 也 就 

是 说 ， 删 除 的 像素 构成 从 顶端 行 到 底 端 行 的 一 条 “ 接 颖 ”(seam) ， 相 邻 像素 均 在 垂直 或 对 角 

线 方向 上 相 邻 。 

a. 证 明 : 可 能 的 接 缝 的 数量 是 m 的 指数 函数 ， 假 定 ”之 1。 

b. 假定 现在 对 每 个 像素 ALi，j 我 们 都 已 计算 出 一 个 实 型 的 “破坏 度 ”dLi，;]， 表 示 删 除 像 
素 ALi，j] 对 图 像 可 视 效 果 的 破坏 程度 。 直 观 地 ， 一 个 像素 的 破坏 度 越 低 ， 它 与 相 邻 像 
素 的 相似 度 越 高 。 再 假定 一 条 接 颖 的 破坏 度 定 义 为 它 包含 的 像素 的 破坏 度 之 和 。 设 计 
算法 ， 寻找 破 坏 度 最 低 的 接 缝 。 分 析 算 法 的 时 间 复 杂 度 。 

(FH BAD) 某 种 字符 串 处 理 语言 允许 程序 员 将 一 个 字符 串 拆 分 为 两 段 。 由 于 此 操作 需 

要 复制 字符 串 ， 因 此 要 花费 2 个 时 间 单 位 来 将 一 个 个 字符 的 字符 串 拆 为 两 段 。 假 定 一 个 

程序 员 希 望 将 一 个 字符 串 拆 分 为 多 段 ， 拆 分 的 顺序 会 影响 所 花费 的 总 时 间 。 例 如 ， 假 定 这 

个 程序 员 希 望 将 一 个 20 个 字符 的 字符 串 在 第 2 个 、 第 8 个 以 及 第 10 个 字符 后 进行 拆 分 

(字符 由 左 至 右 ， 从 1 开始 升序 编号 )。 如 果 她 按 由 左 至 右 的 顺序 进行 拆 分 ， 则 第 一 次 拆 分 

花费 20 个 时 间 单 位 ， 第 二 次 拆 分 花费 18 个 时 间 单 位 (在 第 8 个 字符 处 拆 分 3 一 20 间 的 字符 

串 )， 而 第 三 次 拆 分 花费 12 个 时 间 单 位 ， 共 花费 50 个 时 间 单 位 。 但 如 果 她 按 由 右 至 左 的 

顺序 进行 拆 分 ， 第 一 次 拆 分 花费 20 个 时 间 单 位 ， 第 二 次 拆 分 花费 10 个 时 间 单 位 ， 而 第 三 

次 拆 分 花费 8 个 时 间 单 位 ， 共 花费 38 个 时 间 单 位 。 还 可 以 按 其 他 顺序 ， 比 如 ， 她 可 以 首 

先 在 第 8 个 字符 处 进行 拆 分 (时 间 20) ， 接 着 在 左边 一 段 第 2 个 字符 处 进行 拆 分 (时 间 8), 

最 后 在 右边 一 段 第 10 个 字符 处 进行 拆 分 (时 间 12) ， 总 时 间 为 40。 

设计 算法 ， 对 给 定 的 拆 分 位 置 ， 确 定 最 小 代价 的 拆 分 顺序 。 更 形式 化 地 ， 给 定 一 个 

个 字符 的 字符 串 S 和 一 个 保存 mx 个 拆 分 点 的 数组 L[1..m]， 计算 拆 分 的 最 小 代价 ， 以 及 

最 优 拆 分 序列 。 


15-10 《投资 策略 规划 ) 你 所 掌握 的 算法 知识 帮助 你 从 Acme 计算 机 公司 获得 了 一 份 令 人 兴奋 


的 工作 ， 签 约 奖金 1 万 美元 。 你 决定 利用 这 笔 钱 进 行 投 资 ， 目 标 是 10 年 后 获得 最 大 回 
报 。 你 决定 请 Amalgamated 投资 公司 管理 你 的 投资 ， 该 公司 的 投资 回报 规则 如 下 。 该 公 
司 提供 种 不 同 的 投资 ,从 1 一 =” 编号。 在 第 7 年 ， 第 i 种 投资 的 回报 率 为 r;。 换 句 话 说 ， 
如 果 你 在 第 j 年 在 第 i 种 投资 投入 a 美元 ， 那么 在 第 j 年 年 底 ， 你 会 得 到 dr 美元。 回报 
率 是 有 保证 的 ， 即 未 来 10 年 每 种 投资 的 回报 率 均 已 知 。 你 每 年 只 能 做 出 一 次 投资 决定 。 
在 每 年 年 底 ， 你 既 可 以 将 钱 继续 投入 到 上 一 年 选择 的 投资 种 类 中 ， 也 可 以 转移 到 其 他 投 
资中 (转移 到 已 有 的 投资 种 类 ， 或 者 新 的 投资 种 类 ) 。 如 果 跨 年 时 你 不 做 投资 转移 ， 需 要 
支付 fi 美元 的 费用 ， 否 则 ， 需 要 支付 fo 美元 的 费用 ， 其 中 Ah. 
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a 如 上 所 述 ， 本 问题 允许 你 每 年 将 钱 投入 到 多 种 投资 中 。 证 明 : 存在 最 优 投资 策略 ， 每 
年 都 将 所 有 钱 投入 到 单一 投资 中 ( 记 住 最 优 投 资 策略 只 需 最 大 化 10 年 的 回报 ， 无 需 关 
心 任何 其 他 目标 ， 如 最 小 化 风险 )。 

b. 证 明 : 规划 最 优 投 资 策 略 问题 具有 最 优 子 结构 性 质 。 

e 设计 最 优 投资 策略 规划 算法 ,分 析 算 法 时 间 复 杂 度 。 

d. 假定 Amalgamated 投资 公司 在 上 述 规则 上 又 加 入 了 新 的 限制 条 款 ， 在 任何 时 刻 你 都 不 
能 在 任何 单一 投资 种 类 中 投入 15 000 美元 以 上 。 证明: 最 大 化 10 年 回报 问题 不 再 具 
有 最 优 子 结构 性 质 。 

(库存 规划 ) Rinky Dink 公司 是 一 家 制造 溜冰 场 冰 面 修整 设备 的 公司 。 这 种 设备 每 个 月 

的 需求 量 都 在 变化 ， 因 此 公司 希望 设计 一 种 策略 来 规划 生产 ,需求 是 给 定 的 ， 即 它 虽 然 

是 波动 的 , 但 是 可 预测 的 。 公 司 希 望 设计 接 下 来 个 月 的 生产 计划 。 对 第 i 个 月 ， 公 司 知 


道 需求 4;:， 即 该 月 能 够 销售 出 去 的 设备 的 数量 。 令 D= Ya 为 后 个 月 的 总 需求 。 公 司 


雇用 的 全 职员 工 ， 可 以 提供 一 个 月 制造 m 台 设 备 的 劳动 力 。 如 果 公 司 希 望 一 个 月 内 制造 
多 于 m 台 设 备 ， 可 以 雇用 额外 的 兼职 劳动 力 ， 雇 用 成 本 为 每 制造 一 台 机 器 付出 c 美元 。 
而 且 ， 如 果 在 月 末 有 设备 尚未 售 出 ， 公 司 还 要 付出 库存 成 本 。 保 存 7 台 设 备 的 成 本 可 描 
RAF BAG), j=l; 2y 5 Ds 其 中 对 所 有 1<j<D, A(peo, 对 I<j=)D—1, 
hG<AG+1). 

设计 库存 规划 算法 ， 在 满足 所 有 需求 的 前 提 下 最 小 化 成 本 。 算 法 运行 时 间 应 为 n 和 
D 的 多 项 式 函 数 。 

(签约 棒球 自由 球员 ) 假设 你 是 一 支 棒 球 大 联盟 球 队 的 总 经 理 。 在 赛季 休 季 期 间 ， 你 需 
要 签 人 一 些 自由 球员 。 球 队 老板 给 你 的 预算 为 X 美元 ， 你 可 以 使 用 少 于 X 美元 来 签 人 球 
员 ， 但 如 果 超 支 ， 球 队 老板 就 会 解雇 你 。 

你 正在 考虑 在 NN 个 不 同位 置 签 入 球员 ， 在 每 个 位 置 上 ， 有 P 卫 个 该 位 置 的 自由 球员 供 
你 选择 S 。 由 于 你 不 希望 任何 位 置 过 于 腑 肿 ， 因 此 每 个 位 置 最 多 签 人 一 名 球员 (如 果 在 某 
个 特定 位 置 上 你 没有 签 人 任何 球员 ， 则 意味 着 计划 继续 使 用 现 有 球员 ) 。 

为 了 确定 一 名 球员 的 价值 ， 你 决定 使 用 一 种 称 为 “VORP”， 或 “球员 替换 价值 ”(value 
over replacement player) 的 统计 评价 指标 (sabermetric)S 。 球 员 的 VORP 值 越 高 ， 其 价值 
Rea. E VORP 值 高 的 球员 的 签约 费用 并 不 一 定 比 VORP 值 低 的 球员 高 ， 因 为 还 有 球员 
价值 之 外 的 因素 影响 签约 费用 。 

对 于 每 个 可 选择 的 自由 球员 ， 你 知道 他 的 三 方面 信息 : 

。 他 打 哪 个 位 置 。 

。 他 的 签约 费用 。 

。 他 的 VORP。 

设计 一 个 球员 选择 算法 ， 使 得 总 签约 费用 不 超过 X 美元 ， 而 球员 的 总 VORP 最 大 。 
你 可 以 假定 每 位 球员 的 签约 费用 是 10 万 美元 的 整数 倍 。 算 法 应 输出 签约 球员 的 总 VORP 
值 、 总 签约 费用 ， 以 及 球员 名 单 。 分 析 算 法 的 时 间 和 空间 复杂 度 。 





© 


虽然 一 支 棒球 队 有 9 个 位 置 , 但 六 不 一 定 等 于 9， 因为 一 些 总 经 理 可 能 对 场 上 位 置 有 特殊 的 考虑 。 例 如 ， 某 位 
总 经 理 可 能 将 右手 投手 和 左手 投手 当做 不 同 的 “位 置 >， 类 似 地 ， 他 还 可 能 将 开局 投手 、 长 打 后 援 投手 (可 以 打 多 
局 的 后 援 投手 ) 以 及 短 后 援 投手 (通常 最 多 打 一 局 的 后 援 投手 ) 也 都 作为 不 同 的 位 置 。 

sabermetric 指 将 统计 分 析 方 法 应 用 于 棒球 技术 统计 。 它 提供 了 多 种 评价 球员 个 体 的 相对 价值 的 方法 。 
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本 章 注 记 

R. Bellman 从 1955 年 开始 系统 地 研究 动态 规划 方法 。 此 处 以 及 线性 规划 中 的 “规划 ” 
(programming) 一 词 指 的 是 一 种 表格 法 。 虽 然 在 这 之 前 就 已 经 有 利用 动态 规划 思想 的 优化 技术 ， 
但 Bellman[ 37] 给 这 个 领域 建立 了 坚实 的 数学 基础 。 

Galil 和 Park[125] 根 据 表格 的 大 小 和 每 个 表 项 所 依赖 的 其 他 表 项 的 数量 对 动态 规划 算法 进行 
了 分 类 。 如 果 一 个 动态 规划 算法 的 表格 大 小 为 O(n')， 每 个 表 项 依赖 其 他 OC ) 个 表 项 ， 则 称 这 
是 一 个 iD/eD 的 动态 规划 算法 。 例 如 ，15. 2 节 的 矩阵 链 乘法 算法 是 2D/1D 的 ， 而 15.4 节 的 最 
长 公共 子 序列 算法 是 2D/0D W. 

Hu 和 Shing[182，183j 给 出 了 和 矩阵 链 乘法 问题 的 一 个 O(nlgn) 时 间 的 算法 。 

最 长 公共 子 序列 问题 的 OCmn) 时 间 的 算法 看 起 来 像 个 民间 算法 。Knuth[70j] 提 出 了 LCS 问题 
是 否 存在 次 平方 时 间 算 法 的 讨论 。Masek 和 Paterson[244] 给 出 了 肯定 的 回答 ， 他 们 给 出 了 一 个 
Olmn/lgn) 时 间 的 算法 ， 其 中 n<m 且 序 列 是 从 一 个 有 限 集 中 选取 的 。 对 于 元 素 不 会 在 一 个 输入 
序列 中 重复 出 现 的 特殊 情况 ，Szymanski[ 326j] 给 出 了 一 个 OC((n 十 m)lg(n 十 m)) 时 间 的 算法 。 很 多 
这 种 结果 都 可 以 扩展 到 字符 串 编辑 距离 问题 (思考 题 15-5) 。 

Gilbert 和 Moore[L133] 早 期 的 一 篇 关于 变 长 二 进 制 编码 的 论文 已 经 被 用 来 对 所 有 概率 p; 均 为 
0 的 情况 构造 最 优 二 又 搜索 树 ， 算 法 的 时 间 复 杂 性 为 Ol(m?)。Aho、Hopcroft 和 Ullman[5] 提 出 了 
15. 5 节 的 算法 。 练 习 15. 5-4 MÆ KnuthL212] 提 出 的 。Hu 和 Tucker[184] 设 计 了 一 个 算法 ， 可 以 
用 OG? ) 的 时 间 和 O(n) 的 空间 求解 所 有 概率 p; 均 为 0 的 情况 。 最 终 ，Knuth 将 此 算法 的 时 间 降 
为 O(nlgn)。 

思考 题 15-8 是 Avidan 和 Shamir[27] 提 出 的 ， 他 们 在 Web 上 发 布 了 一 个 精彩 的 视频 ， 来 演 
示 这 种 图 像 压 缩 技术 。 
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求解 最 优化 问题 的 算法 通常 需要 经 过 一 系列 的 步骤 ， 在 每 个 步骤 都 面临 多 种 选择 。 对 于 许 
多 最 优化 问题 ， 使 用 动态 规划 算法 来 求 最 优 解 有 些 杀 鸡 用 牛刀 了 ， 可 以 使 用 更 简单 、 更 高 效 的 算 
法 。 贪 心算 法 (greedy algorithm) 就 是 这 样 的 算法 ， 它 在 每 一 步 都 做 出 当时 看 起 来 最 佳 的 选择 。 也 
就 是 说 ， 它 总 是 做 出 局 部 最 优 的 选择 ， 寄 希望 这 样 的 选择 能 导致 全 局 最 优 解 。 本 章 介绍 一 些 贪心 
算法 能 找到 最 优 解 的 最 优化 问题 。 在 学 习 本 章 之 前 ， 你 应 该 学 习 第 15 章 动 态 规划 ， 特 别 是 应 认 
真 学 村 15. 3 节 。 

贪心 算法 并 不 保证 得 到 最 优 解 ， 但 对 很 多 问题 确实 可 以 求 得 最 优 解 。 我 们 首先 在 16. 1 节 介 
绍 一 个 简单 但 非 平凡 的 问题 一 一 活动 选择 问题 ， 这 是 一 个 可 以 用 贪心 算法 求 得 最 优 解 的 问题 。 
首先 考虑 用 动态 规划 方法 解决 这 个 问题 ， 然 后 证 明 一 直 做 出 贪心 选择 就 可 以 得 到 最 优 解 ， 从 而 
得 到 一 个 贪心 算法 。16. 2 节 会 回顾 贪心 方法 的 基本 要 素 ， 并 给 出 一 个 直接 的 方法 ， 可 用 来 证 明 
贪心 算法 的 正确 性 。16. 3 节 提 出 贪心 技术 的 一 个 重要 应 用 : 设计 数据 压缩 编码 (Huffman 编码 ) 。 
在 16.4 节 中 ， 我 们 讨论 一 种 称 为 “ 拟 阵 >Cmatroid) 的 组 合 结构 的 理论 基础 ， 贪 心算 法 总 是 能 获得 
这 种 结构 的 最 优 解 。 最 后 ，16. 5 节 将 拟 阵 应 用 于 单位 时 间 任 务 调度 问题 ， 每 个 任务 均 有 截止 时 
间 和 超时 惩罚 。 

贪心 方法 是 一 种 强 有 力 的 算法 设计 方法 ， 可 以 很 好 地 解决 很 多 问题 。 在 后 面 的 章节 中 ， 我 们 
会 提出 很 多 利用 贪心 策略 设计 的 算法 ， 包 括 最 小 生成 树 (minimum-spanning-tree) 算 法 (第 23 章 )、 
单 源 最 短路 径 的 Dijkstra 算法 (第 24 章 )， 以 及 集合 覆盖 问题 的 Chvdtal 贪心 启发 式 算 法 (第 35 
章 )。 最 小 生成 树 算法 提供 了 一 个 经 典 的 贪心 方法 的 例子 。 虽 然 可 以 独立 学 习 本 章 和 第 23 章 , 但 
你 会 发 现 两 章 结合 学 习 ， 效 果 更 好 。 


16. 1 活动 选择 问题 

我 们 的 第 一 个 例子 是 一 个 调度 竞争 共享 资源 的 多 个 活动 的 问题 ， 目 标 是 选 出 一 个 最 大 的 互 
相 兼 容 的 活动 集合 。 假 定 有 一 个 ”个 活动 (activity) 的 集合 S={a, a, s a), RH AHA 
同一 个 资源 (例如 一 个 阶梯 教室 ) ， 而 这 个 资源 在 某 个 时 刻 只 能 供 一 个 活动 使 用 。 每 个 活动 a; 都 
有 一 个 开始 时 间 s; 和 一 个 结束 时 间 f;， 其 中 O<s;< foo, WIRE. (ES a; 发 生 在 半 开 时 
间 区 间 [s;， fO HWE. 如 果 两 个 活动 Qi All a; 满足 [si， SOAILS; » fo AEBS, 则 称 它 们 是 兼容 的 。 
bee, ESS; Ks Sf, Wa Ma 是 兼容 的 。 在 活动 选择 问题 中 ， 我 们 希望 选 出 一 个 最 
大 兼容 活动 集 。 假 定 活动 已 按 结束 时 间 的 单调 递增 顺序 排序 : 

fla (16. 1) 

《 稍 后 ， 我 们 会 看 到 这 一 假设 的 好 处 )。 例 如 ， 考 虑 下 面 的 活动 集合 S: 





i 1 2 3 4 5 6 7 8 9 10 11 
Si 1 3 0 5 3 5 6 8 8 2 12 
fi 4 5 6 7 9 9 10 11 12 14 16 











对 于 这 个 例子 ， 子 集 {4a3，as。，aun} 由 相互 兼容 的 活动 组 成 。 但 它 不 是 一 个 最 大 集 ， 因 为 子 集 {ai， 
U4, Ags an} HK. 实际 上 ， {as Qs Ags ai } 是 一 个 最 大 兼容 活动 子 集 ， 另 一 个 最 大 子 集 是 


{aos Ags Ags an}. 
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下 面 分 几 个 步骤 来 解决 这 个 问题 。 我 们 可 以 通过 动态 规划 方法 将 这 个 问题 分 为 两 个 子 问题 ， 
然后 将 两 个 子 问题 的 最 优 解 整合 成 原 问 题 的 一 个 最 优 解 。 在 确定 该 将 哪些 子 问题 用 于 最 优 解 时 ， 
要 考虑 几 种 选择 。 读 者 稍 后 会 发 现 ， 贪 心算 法 只 需 考虑 一 个 选择 ( 即 贪心 的 选择 ) ， 在 做 贪心 选择 
时 ， 子 问题 之 一 必 是 空 的 ， 因 此 ， 只 留 下 一 个 非 空子 问题 。 基 于 这 些 观 察 ， 我 们 将 找到 一 种 递归 
贪心 算法 来 解决 活动 调度 问题 ， 并 将 递归 算法 转化 为 只 代 算法 ， 以 完成 贪心 方法 的 过 程 。 虽 然 本 
节 介 绍 的 步 又 比 典型 的 贪心 算法 的 设计 过 程 更 为 复杂 ， 但 它们 说 明了 贪心 算法 和 动态 规划 之 间 
的 关系 。 

活动 选择 问题 的 最 优 子 结构 

我 们 容易 验证 活动 选择 问题 具有 最 优 子 结构 性 质 。 令 Sy 表示 在 a: 结束 之 后 开始 ， 且 在 a; F 
始 之 前 结束 的 那些 活动 的 集合 。 假 定 我 们 希望 求 Si 的 一 个 最 大 的 相互 兼容 的 活动 子 集 ， 进 一 步 
假定 A, 就 是 这 样 一 个 子 集 ， 包 含 活动 w。 由 于 最 优 解 包含 活动 w， 我 们 得 到 两 个 子 问 题 : 寻找 
Sx 中 的 兼容 活动 (在 a 结束 之 后 开始 且 ax 开始 之 前 结束 的 那些 活动 ) 以 及 寻找 Sy 中 的 兼容 活动 
CE a 结束 之 后 开始 且 在 a; 开始 之 前 结束 的 那些 活动 )。 令 Ar =A; N Sa MAy 5A; N Sy RAE 
Ar BA A; PIRE a, 开始 之 前 结束 的 活动 ，Ajj 包 含 A; 中 那些 在 as 结束 之 后 开始 的 活动 。 因 
此 , RITE A; 一 An U (a) U As， 而 且 Sj 中 最 大 兼容 任务 子 集 A; 包 含 | As | =| Au | 十 |As | 十 1 
个 活动 。 

我 们 仍然 用 剪 切 一 粘贴 法 证 明 最 优 解 Ay 必然 包含 两 个 子 问题 Sa 和 S 的 最 优 解 。 否 则 ， 如 果 
可 以 找到 Sy 的 一 个 兼容 活动 子 集 Ayo WE | AG | 二 |Aw | ， 则 可 以 将 A 而 不 是 A 作为 Sy 的 最 优 
解 的 一 部 分 。 这 样 就 构造 出 一 个 兼容 活动 集 ， 其 大 小 14 十 14 二 1>>14| 十 An 二 1= 
| A; | ， 与 人 是 最 优 解 的 假设 矛盾 。 对 子 问题 54 类似 可 证 。 

这 样 刻画 活动 选择 问题 的 最 优 子 结构 ， 意 味 着 我 们 可 以 用 动态 规划 方法 求解 活动 选择 问题 。 
如 果 用 cli, IERRA S; 的 最 优 解 的 大 小 ， 则 可 得 递归 式 

clisj] = chik] + clef] +1 
当然 ， 如 果 不 知道 S; 的 最 优 解 包含 活动 a;， 就 需要 考查 S 中 所 有 活动 ， 寻 找 哪个 活动 可 获 
得 最 优 解 ， 于 是 
0 T S; = Ø 
cli,j] = ， 
max{cLi,k] + cLkoj]+1} HS; AD 
于 是 接 下 来 可 以 设计 一 个 带 备 忘 机 制 的 递归 算法 ， 或 者 使 用 自 底 向 上 法 填写 表 项 。 但 我 们 可 能 
忽略 了 活动 选择 问题 的 另 一 个 重要 性 质 ， 而 这 一 性 质 可 以 极 大 地 提高 问题 求解 速度 。 

贪心 选择 

假如 我 们 无 需求 解 所 有 子 问题 就 可 以 选择 出 一 个 活动 加 入 到 最 优 解 ， 将 会 怎样 ? 这 将 使 我 
们 省 去 递归 式 (16. 2) 中 固有 的 考查 所 有 选择 的 过 程 。 实 际 上 ， 对 于 活动 选择 问题 ， 我 们 只 需 考虑 
一 个 选择 : 贪心 选择 。 

对 于 活动 选择 问题 ， 什 么 是 贪心 选择 ? 直观 上 ， 我 们 应 该 选择 这 样 一 个 活动 ， 选 出 它 后 剩 下 
的 资源 应 能 被 尽量 多 的 其 他 任务 所 用 。 现 在 考虑 可 选 的 活动 ， 其 中 必然 有 一 个 最 先 结束 。 因 此 ， 
直觉 告诉 我 们 ， 应 该 选择 S 中 最 早 结束 的 活动 ， 因 为 它 剩 下 的 资源 可 供 它 之 后 尽量 多 的 活动 使 
A. GOIR S 中 最 早 结束 的 活动 有 多 个 ， 我 们 可 以 选择 其 中 任意 一 个 ) 。 换 名 话说 ， 由 于 活动 已 按 
结束 时 间 单 调 递增 的 顺序 排序 ， 贪 心 选择 就 是 活动 wm 。 选 择 最 早 结束 的 活动 并 不 是 本 问题 唯一 
的 贪心 选择 方法 ， 练 习 16. 1-3 要 求 设计 其 他 贪心 选择 方法 。 

当做 出 贪心 选择 后 ， 只 剩 下 一 个 子 问题 需要 我 们 求解 . 寻找 在 a 结束 后 开始 的 活动 。 为 什 
么 不 需要 考虑 在 a, 开始 前 结束 的 活动 呢 ? 因 为 5 二 有 i 且 fi 是 最 早 结束 的 活动 ， 所 以 不 会 有 活动 
的 结束 时 间 早 于 % 。 因 此 ， 所 有 与 a 兼容 的 活动 都 必须 在 a, 结束 之 后 开始 。 


(16. 2) 
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WH. 我 们 已 经 证 明 活 动 选择 问题 具有 最 优 子 结构 性 质 。 令 5S 二 {a;E€5: s; 宇 有 ) 为 在 a 结 
束 后 开始 的 任务 集合 。 当 我 们 做 出 贪心 选择 ， 选 择 了 a 后 ， 剩 下 的 S 是 唯一 需要 求解 的 子 问 
题 9 。 最 优 子 结构 性 质 告诉 我 们 ， 如 果 a 在 最 优 解 中 ， 那 么 原 问题 的 最 优 解 由 活动 a 及 子 问题 
Si 中 所 有 活动 组 成 。 

现在 还 剩 下 一 个 大 问题 : 我 们 的 直觉 是 正确 的 吗 ? 贪心 选择 一 一 最 早 结束 的 活动 一 一 总 是 
最 优 解 的 一 部 分 吗 ? 下 面 的 定理 证 明了 这 一 点 。 

定理 16.1 考虑 任意 非 空子 问题 S， 令 an 是 Se 中 结束 时 间 最 早 的 活动 ， 则 a 在 Si 的 某 个 
最 大 兼容 活动 子 集中 。 

证 明 SA, ES, 的 一 个 最 大 兼容 活动 子 集 ， 且 ww 是 A 中 结束 时 间 最 早 的 活动 。 若 4; 二 
an ， 则 已 经 证 明 an 在 S 的 某 个 最 大 兼容 活动 子 集中 。 若 uan SRA ASA (a) U {an} 
BDA, 中 的 a; 替换 为 a 。Ai 中 的 活动 都 是 不 相交 的 ， 因 为 A 中 的 活动 都 是 不 相交 的 ，w HEA, 
中 结束 时 间 最 早 的 活动 ,而 f 志 f;。 由 于 |Ai | 二 |Ai|， 因 此 得 出 结论 A 也 是 Sx 的 一 个 最 大 兼 
容 活动 子 集 ， 且 它 包 含 ano m 

因此 ， 我 们 看 到 虽然 可 以 用 动态 规划 方法 求解 活动 选择 问题 ， 但 并 不 需要 这 样 做 (此 外 ， 我 
们 并 未 检查 活动 选择 问题 是 否 具有 重合 子 问题 性 质 )。 相 反 ， 我 们 可 以 反复 选择 最 早 结束 的 活动 ， 
保留 与 此 活动 兼容 的 活动 ， 重 复 这 一 过 程 ， 直 至 不 再 有 剩余 活动 。 而 且 ， 因 为 我 们 总 是 选择 最 早 
结束 的 活动 ， 所 以 选择 的 活动 的 结束 时 间 必 然 是 严格 递增 的 。 我 们 只 需 按 结束 时 间 的 单调 递增 
顺序 处 理 所 有 活动 ， 每 个 活动 只 考查 一 次 。 

求解 活动 选择 问题 的 算法 不 必 像 基于 表格 的 动态 规划 算法 那样 自 底 向 上 进行 计算 。 相 反 ， 
可 以 自 顶 向 下 进行 计算 ， 选 择 一 个 活动 放 人 最 优 解 ， 然 后 ， 对 剩余 的 子 问题 (包含 与 已 选择 的 活 
动 兼容 的 活动 ) 进 行 求解 。 贪 心算 法 通常 都 是 这 种 自 顶 向 下 的 设计 : 做 出 一 个 选择 ， 然 后 求解 番 
下 的 那个 子 问题 ， 而 不 是 自 底 向 上 地 求解 出 很 多 子 问 题 ， 然 后 再 做 出 选择 。 

递归 贪心 算法 

我 们 已 经 看 到 如 何 绕 过 动态 规划 方法 而 使 用 自 项 向 下 的 贪心 算法 来 求解 活动 选择 问题 ， 现 
在 我 们 可 以 设计 一 个 直接 的 递归 过 程 来 实现 贪心 算法 。 过 程 RECURSIVE-ACTIVITY- 
SELECTOR 的 输入 为 两 个 数组 s 和 f®， 表 示 活 动 的 开始 和 结束 时 间 ， 下 标 & 指 出 要 求解 的 子 问 
题 S$,.， 以 及 问题 规模 n。 它 返回 S 的 一 个 最 大 兼容 活动 集 。 我 们 假定 输入 的 n 个 活动 已 经 按 结 
束 时 间 的 单调 递增 顺序 排列 好 (公式 (16. 1))。 如 果 未 排 好 序 ， 我 们 可 以 在 OC lgz) 时 间 内 对 它们 
进行 排序 ， 结 束 时 间 相同 的 活动 可 以 任意 排列 。 为 了 方便 算法 初始 化 ， 我 们 添加 一 个 虚拟 活动 
ao， 其 结束 时 间 有 二 0， 这 样子 问题 S, 就 是 完整 的 活动 集 S。 求 解 原 问题 即 可 调用 RECURSIVE- 
ACTIVITY-SELECTOR(s, f, 0, n)a 

RECURSIVE-ACTIVITY-SELECTOR(s, f, k, n) 

1 m=k+1 

2 while m<n and s[m]< fk] // find the first activity in S, to finish 
3 m=m+1 

4 ifm<n 

5 return {a„ } JRECURSIVE-ACTIVITY-SELECTOR(s, f, m, n) 

6 else return Ø 


Al 16-1 显示 了 算法 的 执行 过 程 。 在 一 次 递归 调用 RECURSIVE-ACTIVITY-SELECTOR(s， 





O 我们 有 时 用 Si 表示 子 问题 而 不 是 活动 集合 。 根 据 上 下 文 ， 可 以 很 清楚 地 判定 S 表示 一 个 活动 集 还 是 以 该 活动 
集 为 输入 的 子 问题 。 
加 ”因为 伪 代 码 把 * 和 了 作为 数组 ， 所 以 用 方 括号 而 不 是 下 标 来 指向 它们 。 
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fr k, DME, 第 2 一 3 行 while 循环 查找 S 中 最 早 结束 的 活动 。 循 环 检查 or: as to 
Qn» 直至 找到 第 一 个 与 a, 兼容 的 活动 ww， 此 活动 满足 Sm > fe o 如 果 循 环 因为 查找 成 功 而 结束 ， 
第 5 [RE] {an} 5 RECURSIVE-ACTIVITY-SELECTOR(s, f, m, MBEK Sn 的 最 大 子 集 的 
并 集 。 循 环 也 可 能 因为 wz” 而 终止 ， 这 意味 着 我 们 已 经 检查 了 S 中 所 有 活动 ， 未 找到 与 a H 
容 者 。 在 此 情况 下 ，S; 二 名， 因此 第 6 行 返回 多 。 
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图 16-1 对 前 文 给 出 的 11 个 活动 执行 RECURSIVE-ACTIVITY-SELECTOR 的 过 程 。 每 次 递归 调用 中 处 
理 的 活动 位 于 水 平 线 之 间 。 虚 拟 活动 we 于 时 刻 0 结束 ， 因 此 第 一 次 调用 RECURSIVE- 
ACTIVITY-SELECTOR(s，f，0，11) 会 选择 活动 ca 。 在 每 次 递归 调用 中 ， 被 选择 的 活动 用 阴 
影 表 示 ， 而 白 底 方 框 表 示 正 在 处 理 的 活动 。 如 果 一 个 活动 的 开始 时 间 早 于 最 近 选 中 的 活动 的 结 
束 时 间 ( 两 者 间 的 箭头 是 指向 左 侧 的 )， 它 将 被 丢弃 。 否 则 (箭头 指向 右 侧 ) ， 将 选择 该 活动 。 最 
后 一 次 递归 调用 RECURSIVE-ACTIVITY-SELECTOR(s，f，11，11) 返 回避 。 选 择 的 活动 的 
最 终结 果 集 为 {41， G45 Ags an} 


假定 活动 已 经 按 结束 时 间 排 好 序 ， 则 递归 调用 RECURSIVE-ACTIVITY-SELECTOR(s, f, 
0, MARISTA 8(Cz) ， 我 们 稍 后 证 明 这 个 结论 。 在 整个 递归 调用 过 程 中 ， 每 个 活动 被 且 只 被 
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第 2 行 的 while 循环 检查 一 次 。 特 别 地 ， 活 动 a; 在 &<i 的 最 后 一 次 调用 中 被 检查 。 

迭代 贪心 算法 

我 们 可 以 很 容易 地 将 算法 转换 为 迭代 形式 。 过 程 RECURSIVE-ACTIVITY-SELECTOR 几乎 
就 是 “ 尾 递 归 ”( 参 见 思 考题 7-4): 它 以 一 个 对 自身 的 递归 调用 再 接 一 次 并 集 操作 结尾 。 将 一 个 尾 
递归 过 程 改 为 迭代 形式 通常 是 很 直接 的 ， 实 际 上 ， 某 些 特定 语言 的 编译 器 可 以 自动 完成 这 一 工 
作 。 如 前 所 述 ，RECURSIVE-ACTIVITY-SELECTOR 用 来 求解 子 问题 S ， 即 由 最 后 完成 的 任务 
组 成 的 子 问题 。 

过 程 GREEDY-ACTIVITY-SELECTOR 是 过 程 RECURSIVE-ACTIVITY-SELECTOR 的 一 
个 迭代 版 本 。 它 也 假定 输入 活动 已 按 结束 时 间 单 调 递 增 顺 序 排 好 序 。 它 将 选 出 的 活动 存 人 集合 A 
中 ， 并 将 A 返回 调用 者 。 

GREEDY-ACTIVITY-SELECTOR(s, f) 

1 n=s. length 

2 A={a} 

3 k=l 

4 for m=2 ton 
5 if simn] >f] 
6 A=AU {an} 
7 k=m 
8 return A 

过 程 执行 如 下 。 变 量 & 上 记录 了 最 近 加 入 集合 A 的 活动 的 下 标 ， 它 对 应 递归 算法 中 的 活动 
as。 由 于 我 们 按 结束 时 间 的 单调 递增 顺序 处 理 活动 ，f 总 是 A 中 活动 的 最 大 结束 时 间 。 也 就 
是 说 ， 

fi = max{ f;:a; E A} (16. 3) 

第 2 一 3 行 选 择 活 动 a ， 将 A 的 初 值 设置 为 只 包含 此 活动 ， 并 将 的 初 值 设 为 此 活动 的 下 标 。 第 
4 一 7 行 的 for 循环 查找 S. 中 最 早 结束 的 活动 。 循 环 依次 处 理 每 个 活动 ans On 若 与 之 前 选 出 的 活 
动 兼容 ， 则 将 其 加 入 A， 这 样 选 出 的 av URES, 中 最 早 结束 的 活动 。 为 了 检查 活动 ww BBS 
A 中 所 有 活动 都 兼容 ， 过 程 检 查 公 式 (16. 3) 是 否 成 立 ， 即 检查 活动 的 开始 时 间 s,, 是 否 不 早 于 最 
近 加 入 到 A 中 的 活动 的 结束 时 间 fro WRIS an 是 兼容 的 ， 第 6 一 7 行将 其 加 入 A 中 ， 并 将 
设置 为 m。GREEDY-ACTIVITY-SELECTOR(s， 有 ) 返 回 的 集合 A 与 RECURSIVE-ACTIVITY- 
SELECTOR(s，f，0，n) 返 回 的 集合 完全 相同 。 

与 递归 版 本 类 似 , 在 输入 活动 已 按 结 束 时 间 排 序 的 前 提 下 ，GREEDY-ACTIVITY- 
SELECTOR 的 运行 时 间 为 On). 


练习 


16.1-1 根据 递归 式 (16. 2) 为 活动 选择 问题 设计 一 个 动态 规划 算法 。 算 法 应 该 按 前 文 定义 计算 最 
大 兼容 活动 集 的 大 小 cLi，j] 并 生成 最 大 集 本 身 。 假 定 输入 的 活动 已 按 公 式 (16. 1) 排 好 
序 。 比 较 你 的 算法 和 GREEDY-ACTIVITY-SELECTOR 的 运行 时 间 。 

16. 1-2 ”假定 我 们 不 再 一 直选 择 最 早 结束 的 活动 ， 而 是 选择 最 晚 开 始 的 活动 ， 前 提 仍然 是 与 之 前 
选 出 的 所 有 活动 均 兼 容 。 描 述 如 何 利用 这 一 方法 设计 贪心 算法 ， 并 证 明 算法 会 产生 最 
优 解 。 

16.1-3 ”对 于 活动 选择 问题 ， 并 不 是 所 有 贪心 方法 都 能 得 到 最 大 兼容 活动 子 集 。 请 举例 说 明 ， 在 
剩余 兼容 活动 中 选择 持续 时 间 最 短 者 不 能 得 到 最 大 集 。 类 似 地 ， 说 明 在 剩余 兼容 活动 中 
选择 与 其 他 剩余 活动 重要 最 少 者 ， 以 及 选择 最 早 开始 者 均 不 能 得 到 最 优 解 。 
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16.1-4 假定 有 一 组 活动 ， 我 们 需要 将 它们 安排 到 一 些 教室 ， 任 意 活动 都 可 以 在 任意 教室 进行 。 
我 们 希望 使 用 最 少 的 教室 完成 所 有 活动 。 设 计 一 个 高 效 的 贪心 算法 求 每 个 活动 应 该 在 哪 

个 教室 进行 。 
(这 个 问题 称 为 区 间 图 着 色 问 题 (interval-graph color problem) 。 我 们 可 以 构造 一 个 区 间 
A, 顶点 表示 给 定 的 活动 ， 边 连接 不 兼容 的 活动 。 要 求 用 最 少 的 颜色 对 顶点 进行 着 色 ， 
使 得 所 有 相 邻 顶点 颜色 均 不 相同 一 一 这 与 使 用 最 少 的 教室 完成 所 有 活动 的 问题 是 对 应 的 。) 
16.1-5 考虑 活动 选择 问题 的 一 个 变形 : 每 个 活动 a; 除了 开始 和 结束 时 间 外 ， 还 有 一 个 值 v。 目 
标 不 再 是 求 规模 最 大 的 兼容 活动 子 集 ， 而 是 求 值 之 和 最 大 的 兼容 活动 子 集 。 也 就 是 说 ， 
选择 一 个 兼容 活动 子 集 A， 使 得 di 最 大 化 。 设 计 一 个 多 项 式 时 间 的 算法 求解 此 


问题 。 


16.2 贪心 算法 原理 

贪心 算法 通过 做 出 一 系列 选择 来 求 出 问题 的 最 优 解 。 在 每 个 决策 点 ， 它 做 出 在 当时 看 来 最 
佳 的 选择 。 这 种 启发 式 策略 并 不 保证 总 能 找到 最 优 解 ， 但 对 有 些 问 题 确实 有 效 ， 如 活动 选择 问 
题 。 本 节 讨 论 贪心 方法 的 一 些 一 般 性 质 。 

16. 1 节 中 设计 贪心 算法 的 过 程 比 通常 的 过 程 繁 琐 一 些 ， 我 们 当时 经 过 了 如 下 几 个 步骤 : 

1. 确定 问题 的 最 优 子 结构 。 

2. 设计 一 个 递归 算法 (对 活动 选择 问题 ， 我 们 给 出 了 递归 式 (16. 2)， 但 跳 过 了 基于 此 递归 式 
设计 递归 算法 的 步 又) 。 

3. 证 明 如 果 我 们 做 出 一 个 贪心 选择 ， 则 只 剩 下 一 个 子 问题 。 

4. 证 明 贪心 选择 总 是 安全 的 (步骤 3、4 的 顺序 可 以 调换 ) 。 

5. 设计 一 个 递归 算法 实现 贪心 策略 。 

6. 将 递归 算法 转换 为 迭代 算法 。 

在 这 个 过 程 中 ,我们 详细 地 看 到 了 贪心 算法 是 如 何以 动态 规划 方法 为 基础 的 。 例 如 ， 在 活动 
选择 问题 中 ,我 们 首先 定义 了 子 问题 S ， 其 中 i 和 j 都 是 可 变 的 。 然 后 我 们 发 现 ， 如 果 总 是 做 出 
贪心 选择 ， 则 可 以 将 子 问题 限定 为 S 的 形式 。 

与 这 种 繁琐 的 过 程 相 反 ， 我 们 可 以 通过 贪心 选择 来 改进 最 优 子 结构 ， 使 得 选择 后 只 留 下 一 
个 子 问 题 。 在 活动 选择 问题 中 ， 我 们 可 以 一 开始 就 将 第 二 个 下 标 去 掉 ， 将 子 问题 定义 为 S 的 形 
式 。 然 后 ， 我 们 可 以 证 明 ， 贪 心 选择 (Se 中 最 早 结束 的 活动 an) 与 剩余 兼容 活动 集 的 最 优 解 组 合 
在 一 起 ， 就 会 得 到 S 的 最 优 解 。 更 一 般 地 ， 我 们 可 以 按 如 下 步骤 设计 贪心 算法 : 

1. 将 最 优化 问题 转化 为 这 样 的 形式 : 对 其 做 出 一 次 选择 后 ， 只 剩 下 一 个 子 问题 需要 求解 。 

2. 证 明 做 出 贪心 选择 后 ， 原 问题 总 是 存在 最 优 解 ， 即 贪心 选择 总 是 安全 的 。 

3. 证 明 做 出 贪心 选择 后 ， 剩 余 的 子 问 题 满 足 性 质 : 其 最 优 解 与 贪心 选择 组 合 即 可 得 到 原 问 
题 的 最 优 解 ， 这 样 就 得 到 了 最 优 子 结构 。 

在 本 章 剩 余部 分 中 ， 我 们 将 使 用 这 种 更 直接 的 设计 方法 。 但 我 们 应 该 知道 ， 在 每 个 贪心 算法 
之 下 ， 几 乎 总 有 一 个 更 繁琐 的 动态 规划 算法 。 

我 们 如 何 证 明 一 个 贪心 算法 是 否 能 求解 一 个 最 优化 问题 呢 ? 并 没有 适合 所 有 情况 的 方法 ， 
但 贪心 选择 性 质 和 最 优 子 结构 是 两 个 关键 要 素 。 如 果 我 们 能 够 证 明 问 题 具有 这 些 性 质 ， 就 向 贪 
心算 法 迈 出 了 重要 一 步 。 

贪心 选择 性 质 

第 一 个 关键 要 素 是 贪心 选择 性 质 (greedy-choice property): 我 们 可 以 通过 做 出 局 部 最 优 ( 贪 
心 ) 选 择 来 构造 全 局 最 优 解 。 换 名 话说 ， 当 进行 选择 时 ， 我 们 直接 做 出 在 当前 问题 中 看 来 最 优 的 
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选择 ， 而 不 必 考 虑 子 问题 的 解 。 

这 也 是 贪心 算法 与 动态 规划 的 不 同 之 处 。 在 动态 规划 方法 中 ， 每 个 步骤 都 要 进行 一 次 选择 ， 
但 选择 通常 依赖 于 子 问题 的 解 。 因 此 ， 我 们 通常 以 一 种 自 底 向 上 的 方式 求解 动态 规划 问题 ， 先 求 
解 较 小 的 子 问 题 ， 然 后 是 较 大 的 子 问题 (我 们 也 可 以 自 顶 向 下 求解 ， 但 需要 备 忘 机 制 。 当 然 ， 即 
使 算法 是 自 顶 向 下 进行 计算 ， 我 们 仍然 需要 先 求解 子 问题 再 进行 选择 ) 。 在 贪心 算法 中 ， 我 们 总 
是 做 出 当时 看 来 最 佳 的 选择 ， 然 后 求解 剩 下 的 唯一 的 子 问题 。 贪 心算 法 进行 选择 时 可 能 依赖 之 
前 做 出 的 选择 ， 但 不 依赖 任何 将 来 的 选择 或 是 子 问 题 的 解 。 因 此 ， 与 动态 规划 先 求 解 子 问题 才能 
进行 第 一 次 选择 不 同 ， 贪 心算 法 在 进行 第 一 次 选择 之 前 不 求解 任何 子 问题 。 一 个 动态 规划 算法 
是 自 底 向 上 进行 计算 的 ， 而 一 个 贪心 算法 通常 是 自 顶 向 下 的 ， 进 行 一 次 又 一 次 选择 ， 将 给 定 问题 
实例 变 得 更 小 。 

当然 ， 我 们 必须 证 明 每 个 步骤 做 出 贪心 选择 能 生成 全 局 最 优 解 。 如 定理 16. 1 所 示 ， 这 种 证 
明 通常 首先 考查 某 个 子 问 题 的 最 优 解 ， 然 后 用 贪心 选择 替换 某 个 其 他 选择 来 修改 此 解 ， 从 而 得 
到 一 个 相似 但 更 小 的 子 问 题 。 

如 果 进 行 贪心 选择 时 我 们 不 得 不 考虑 众多 选择 ， 通 常 意 味 着 可 以 改进 贪心 选择 ， 使 其 更 为 
高 效 。 例 如 ， 在 活动 选择 问题 中 ， 假 定 我 们 已 经 将 活动 按 结束 时 间 单 调 递增 顺序 排 好 序 ， 则 对 每 
个 活动 能 够 只 需 处 理 一 次 。 通 过 对 输入 进行 预 处 理 或 者 使 用 适合 的 数据 结构 (通常 是 优先 队列 )， 
我 们 通常 可 以 使 贪心 选择 更 快速 ， 从 而 得 到 更 高 效 的 算法 。 

最 优 子 结构 

如 果 一 个 问题 的 最 优 解 包 含 其 子 问题 的 最 优 解 ， 则 称 此 问题 具有 最 优 子 结构 性 质 。 此 性 质 
是 能 否 应 用 动态 规划 和 贪心 方法 的 关键 要 素 。 我 们 还 是 以 16. 1 节 的 活动 选择 问题 为 例 ， 如 果 一 
个 子 问题 5; 的 最 优 解 包含 活动 a;:， 那 么 它 必然 也 包含 子 问 题 S. 和 Si 的 最 优 解 。 给 定 这 样 的 最 
优 子 结构 ， 我 们 可 以 得 出 结论 ， 如 果 知 道 Si 的 最 优 解 应 该 包含 哪个 活动 a:， 就 可 以 组 合 a 以 及 
Sa 和 Si 的 最 优 解 中 所 有 活动 来 构造 5; 的 最 优 解 。 基 于 对 最 优 子 结构 的 这 种 观察 结果 ， 我 们 就 可 
以 设计 出 递归 式 (16. 2) 来 描述 最 优 解 值 的 计算 方法 。 

当 应 用 于 贪心 算法 时 ， 我 们 通常 使 用 更 为 直接 的 最 优 子 结构 。 如 前 所 述 ， 我 们 可 以 假定 ， 通 
过 对 原 问 题 应 用 贪心 选择 即 可 得 到 子 问 题 。 我 们 真正 要 做 的 全 部 工作 就 是 论证 : 将 子 问 题 的 最 
优 解 与 贪心 选择 组 合 在 一 起 就 能 生成 原 问题 的 最 优 解 。 这 种 方法 隐 含 地 对 子 问 题 使 用 了 数学 归 
纳 法 ， 证 明了 在 每 个 步 又 进行 贪心 选择 会 生成 原 问题 的 最 优 解 。 

贪心 对 动态 规划 

由 于 贪心 和 动态 规划 策略 都 利用 了 最 优 子 结构 性 质 ， 你 可 能 会 对 一 个 可 用 贪心 算法 求解 的 
问题 设计 一 个 动态 规划 算法 ,或 者 相反 ， 对 一 个 实际 上 需要 用 动态 规划 求解 的 问题 使 用 了 贪心 
方法 。 为 了 说 明 两 种 方法 之 间 的 细微 差别 ， 我 们 研究 一 个 经 典 最 优化 问题 的 两 个 变形 。 

0-1 背包 问题 (0-1 knapsack problem) 是 这 样 的 : 一 个 正在 抢 动 商店 的 小 偷 发 现 了 个 商品 ， 
第 i 个 商品 价值 wv; KI, Ew B, u Mw, 都 是 整数 。 这 个 小 偷 希 望 拿 走 价值 尽量 高 的 商品 ,但 
他 的 背包 最 多 能 容纳 W 磅 重 的 商品 ，W 是 一 个 整数 。 他 应 该 拿 哪 些 商 品 呢 ? (我 们 称 这 个 问题 
是 0-1 背包 问题 ， 因 为 对 每 个 商品 ， 小 偷 要 么 把 它 完 整 拿 走 ， 要 么 把 它 留 下 ;他 不 能 只 拿 走 一 个 
商品 的 一 部 分 ， 或 者 把 一 个 商品 拿 走 多 次 。) 

在 分 数 背包 问题 (fractional knapsack problem) 中 ， 设 定 与 0-1 背包 问题 是 一 样 的 ， 但 对 每 个 
商品 ， 小 偷 可 以 拿 走 其 一 部 分 ， 而 不 是 只 能 做 出 二 元 (0-1) 选 择 。 你 可 以 将 0-1 背包 问题 中 的 商 
品 想象 为 金 锭 ， 而 分 数 背 包 问 题 中 的 商品 更 像 金砂 。 

两 个 背包 问题 都 具有 最 优 子 结构 性 质 。 对 0-1 背包 问题 ， 考 虑 重量 不 超过 W 而 价值 最 高 的 
装 包 方 案 。 如 果 我 们 将 商品 7 从 此 方案 中 删除 ， 则 剩余 商品 必须 是 重量 不 超过 W 一 w 的 价值 最 
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高 的 方案 (小 偷 只 能 从 不 包括 商品 7 的 ”一 1 个 商品 中 选择 拿 走 哪些 ) 。 

虽然 两 个 问题 相似 ， 但 我 们 用 贪心 策略 可 以 求解 分 数 背 包 问 题 ， 而 不 能 求解 0-1 背包 问题 。 
为 了 求解 分 数 背 包 问 题 ， 我 们 首先 计算 每 个 商品 的 每 磅 价值 w/w:。 遵 循 贪心 策略 ， 小 偷 首先 尽 
量 多 地 拿 走 每 磅 价值 最 高 的 商品 。 如 果 该 商品 已 全 部 拿 走 而 背包 尚未 满 ， 他 继续 尽量 多 地 拿 走 
每 磅 价值 第 二 高 的 商品 ， 依 此 类 推 ， 直 至 达到 重量 上 限 W。 因 此 ,通过 将 商品 按 每 磅 价值 排序 ， 
贪心 算法 的 运行 时 间 为 Olnlgn)。 我 们 将 分 数 背包 问题 的 贪心 选择 性 质 的 证 明 留 作 练习 16. 2-1, 

为 了 说 明 这 一 贪心 策略 对 0-1 背包 问题 无 效 ， 考 虑 图 16-2(a) 所 示 的 问题 实例 。 此 例 包含 3 
个 商品 和 一 个 能 容纳 50 磅 重量 的 背包 。 商 品 1 重 10 磅 ， 价 值 60 美元 。 商 品 2 重 20 磅 ， 价 值 
100 美元 。 商 品 3 Æ 30 磅 ， 价 值 120 美元 。 因 此 ， 商 品 1 的 每 磅 价值 为 6 美元 ， 高 于 商品 2 的 每 
磅 价值 (5 美元 ) 和 商品 3 的 每 磅 价值 (4 美元 ) 。 因 此 ， 上 述 贪心 策略 会 首先 拿 走 商 品 1。 但 是 ， 
如 图 16-2(b) 的 实例 分 析 所 示 ， 最 优 解 应 该 拿 走 商品 2 和 商品 3， 而 留 下 商品 1。 拿 走 商品 1 的 两 
种 方案 都 是 次 优 的 。 

但 是 ， 如 图 16-2(c) 所 示 ， 对 于 分 数 背包 问题 ， 上 述 贪心 策略 首先 拿 走 商品 1， 是 可 以 生成 
最 优 解 的 。 拿 走 商品 1 的 策略 对 0-1 背包 问题 无 效 是 因为 小 偷 无 法 装 满 背 包 ， 空 闲 空间 降低 了 方 
案 的 有 效 每 磅 价值 。 在 0-1 背包 问题 中 ， 当 我 们 考虑 是 否 将 一 个 商品 装 和 人 背包 时 ， 必 须 比 较 包 含 
此 商品 的 子 问 题 的 解 与 不 包含 它 的 子 问题 的 解 ， 然 后 才能 做 出 选择 。 这 会 导致 大 量 的 重合 子 问 
题 一 一 动态 规划 的 标识 ， 练 习 16. 2-2 要 求 你 证 明 可 以 用 动态 规划 方法 求解 0-1 背包 问题 。 











19) J ue a ee ae 
$60 $100 $120 #8 = $220 = $160 = $180 
(a) (b) 
图 16-2 ”一 个 实例 ， 说 明 贪心 策略 对 0-1 背包 问题 无 效 。(a) 小 偷 必须 选择 所 示 三 个 商品 的 一 个 子 
集 ， 总 重量 不 超过 50 磅 。(b) 最 优 子 集 由 商品 2 和 商品 3 组 成 。 虽 然 商品 1 有 最 大 的 每 磅 


价值 ， 但 包含 它 的 任何 解 都 是 次 优 的 。(c) 对 于 分 数 背 包 问题 ， 按 每 磅 价值 降序 拿 走 商品 
会 生成 一 个 最 优 解 


练习 

16. 2-1 WH: 分 数 背包 问题 具有 贪心 选择 性 质 。 

16.2-2 设计 动态 规划 算法 求解 0-1 背包 问题 ， 要 求 运行 时 间 为 O(nW) ，n 为 商品 数量 ，W 是 小 
偷 能 放 进 背包 的 最 大 商品 总 重量 。 

16.2-3 假定 在 0-1 背包 问题 中 ， 商 品 的 重量 递增 序 与 价值 递减 序 完全 一 样 。 设 计 一 个 高 效 算法 
求 此 背包 问题 的 变形 的 最 优 解 ， 证 明 你 的 算法 是 正确 的 。 

16.2-4 ”Gekko 教授 一 直 梦 想 用 直 排 轮滑 的 方式 横 穿 北 达科他 州 。 他 计划 沿 U.S. 2 号 高 速 公路 横 
穿 ， 这 条 高 速 公路 从 明尼苏达 州 东 部 边境 的 大 福克斯 市 到 靠近 蒙 大 拿 州 西部 边境 的 威 利 
斯 顿 市 。 教 授 计 划 带 两 公升 水 ， 在 喝 光 水 之 前 能 滑行 m 英里 (由 于 北 达 科 他 州 地 势 相 对 
平坦 ， 教 授 无 需 担心 在 上 坡 路 段 喝 水 速度 比 平地 或 下 坡 路 段 快 )。 教 授 从 大 福克斯 市 出 
发 时 带 整 整 两 公升 水 。 他 携带 的 北 达科他 州 官方 地 图 显示 了 U.S 2 号 公路 上 所 有 可 以 
补充 水 的 地 点 ， 以 及 这 些 地 点 间 的 距离 。 
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教授 的 目标 是 最 小 化 横 穿 途中 补充 水 的 次 数 。 设 计 一 个 高 效 的 方法 ， 以 帮助 教授 确 
定 应 该 在 哪些 地 点 补充 水 。 证 明 你 的 策略 会 生成 最 优 解 ， 分 析 其 运行 时 间 。 
16. 2-5 设计 一 个 高 效 算法 ， 对 实数 线 上 给 定 的 一 个 点 集 {zi， ts Behe I 一 个 单位 长 度 闭 
区 间 的 集合 ， 包 含 所 有 给 定 的 点 ， 并 要 求 此 集合 最 小 。 证 明 你 的 算法 是 正确 的 。 
*16. 2-6 ”设计 算法 ， 在 O(n) 时 间 内 求解 分 数 背 包 问题 。 
16. 2-7 ”给 定 两 个 集合 A 和 B， 各 包含 nn 个 正 整 数 。 你 可 以 按 需 要 任意 重 排 每 个 集合 。 重 排 后 ， 


Sa 为 集合 A 的 第 i ATC, b 为 集合 B 的 第 i 个 元 素 。 于 是 你 得 到 回报 Ta ,设计 
算法 最 大 化 你 的 回报 。 证 明 你 的 算法 是 正确 的 ， 并 分 析 运行 时 间 。 


16.3 HRSA 
赫 夫 曼 编码 可 以 很 有 效 地 压缩 数据 : 通常 可 以 节省 20% 一 90%% 的 空间 ， 具 体 压 缩 率 依赖 于 
数据 的 特性 。 我 们 将 待 压 缩 数据 看 做 字符 序列 。 根 据 每 个 字符 的 出 现 频 率 ， 赫 夫 曼 贪心 算法 构造 
出 字符 的 最 优 二 进 制 表示 。 
假定 我 们 希望 压缩 一 个 10 万 个 字符 的 数据 文件 。 图 16-3 给 出 了 文件 中 所 出 现 的 字符 和 它们 
的 出 现 频率 。 也 就 是 说 ,文件 中 只 出 现 了 6 个 不 同 字符 ， 其 中 字符 a 出 现 了 45 000 次 。 
a b c d e E 





频率 ( 千 次 ) 45 13 12 16 9 5 
定 长 编码 000 001 010 011 100 101 
变 长 编码 0 101 100 111 1101 1100 





图 16-3 一 个 字符 编码 问题 。 一 个 100 000 个 字符 的 文件 ， 只 包含 a~f 6 个 不 同 字符 ， 出 现 频 率 如 上 
表 所 示 。 如 果 为 每 个 字符 指定 一 个 3 位 的 码 字 ,我 们 可 以 将 文件 编码 为 300 000 位 的 长 度 。 
但 使 用 上 表 所 示 的 变 长 编码 ， 我 们 可 以 仅 用 224 000 位 编码 文件 


我 们 有 很 多 方法 可 以 表示 这 个 文件 的 信息 。 在 本 节 中 ， 我 们 考虑 一 种 二 进 制 字符 编码 (或 简 
称 编码 ) 的 方法 ， 每 个 字符 用 一 个 唯一 的 二 进 制 串 表 示 ， 称 为 码 字 。 如 果 使 用 定 长 编码 ， 需 要 用 
3 位 来 表示 6 个 字符 : a 二 000，b 二 001，…，f 二 101。 这 种 方法 需要 300 000 个 二 进 制 位 来 编码 文 
件 。 是 否 有 更 好 的 编码 方案 呢 ? 

变 长 编码 (variable-length code) 可 以 达到 比 定 长 编码 好 得 多 的 压缩 率 ， 其 思想 是 赋予 高 频 字 
符 短 码 字 ， 赋 予 低频 字符 长 码 字 。 图 16-3 显示 了 本 例 的 一 种 变 长 编码 : 1 位 的 串 0 表示 a，4 位 
的 串 1100 表示 f。 因 此 ， 这 种 编码 表示 此 文件 共 需 

(45。1 十 13。3 十 12。3 十 16。3 十 9。4 十 5。4)。1 000=224 000 位 

与 定 长 编码 相 比 节约 了 25%% 的 空间 。 实 际 上 ， 我 们 将 看 到 ， 这 是 此 文件 的 最 优 字 符 编码 。 

前 缀 码 

我 们 这 里 只 考虑 所 谓 前 缀 码 (prefix code)3 ， 即 没有 任何 码 字 是 其 他 码 字 的 前 缀 。 虽 然 我 们 
这 里 不 会 证 明 , 但 与 任何 字符 编码 相 比 ， 前 缀 码 确实 可 以 保证 达到 最 优 数 据 压 缩 率 ， 因 此 我 们 只 
关注 前 级 码 ， 不 会 丧失 一 般 性 。 

任何 二 进 制 字符 码 的 编码 过 程 都 很 简单 ， 只 要 将 表示 每 个 字符 的 码 字 连 接 起 来 即 可 完成 文件 
压缩 。 例如， 使 用 图 16-3 所 示 的 变 长 前 级 码 ， 我们 可 以 将 3 个 字符 的 文件 abc 编码 为 0。101 。 
100 二 0101100,“。” 表 示 连 结 操 作 。 

前 缀 码 的 作用 是 简化 解码 过 程 。 由 于 没有 码 字 是 其 他 码 字 的 前 级 ， 编 码 文件 的 开始 码 字 是 
无 牙 义 的 。 我 们 可 以 简单 地 识别 出 开始 码 字 ， 将 其 转换 回 原 字 符 ， 然 后 对 编码 文件 剩余 部 分 重复 





日 ”可 能 “无 前 级 码 ” 是 一 个 更 好 的 名 字 ， 但 在 相关 文献 中 ,“ 前 级 码 ” 是 一 致 认可 的 标准 术语 。 
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这 种 解码 过 程 。 在 我 们 的 例子 中 ， 二 进 制 串 001011101 可 以 唯一 地 解析 为 0。0。101。1101， 解 
码 为 aabe。 

解码 过 程 需要 前 绥 码 的 一 种 方便 的 表示 形式 ， 以 便 我 们 可 以 容易 地 截取 开始 码 字 。 一 种 二 
叉 树 表示 可 以 满足 这 种 需求 ， 其 叶 结 点 为 给 定 的 字符 。 字 符 的 二 进 制 码 字 用 从 根 结 点 到 该 字符 
叶 结 点 的 简单 路 径 表 示 ， 其 中 0 意味 着 “转向 左 孩子 ”，!1 意味 着 “转向 右 孩子 ”。 图 16-4 给 出 了 两 
个 编码 示例 的 二 叉 树 表示 。 注 意 ， 编 码 树 并 不 是 二 又 搜索 树 ， 因 为 叶 结 点 并 未 有 序 排列 ， 而 内 部 
结 点 并 不 包含 字符 关键 字 。 





图 16-4 图 16-3 中 编码 方案 的 二 又 树 表示 。 每 个 叶 结 点 标记 了 一 个 字符 及 其 出 现 频率 。 每 个 内 
部 结 点 标记 了 其 子 树 中 叶 结 点 的 频率 之 和 。(a) 对 应 定 长 编码 a=000, «+, f=101 的 二 
叉 树 。(b) 对 应 最 优 前 级 码 a 二 0，b 二 101，…，f 二 1100 的 二 叉 树 
文件 的 最 优 编码 方案 总 是 对 应 一 棵 满 (fulD) 二 叉 树 ， 即 每 个 非 叶 结 点 都 有 两 个 孩子 结 点 (参见 
练习 16. 3-2)。 前 文 给 出 的 定 长 编码 实例 不 是 最 优 的 ， 因 为 它 的 二 又 树 表 示 并 非 满 二 又 树 ， 如 
图 16-4(a) 所 示 : 它 包含 以 10 开头 的 码 字 ， 但 不 包含 以 11 开头 的 码 字 。 现 在 我 们 可 以 只 关注 满 
二 义 树 了 ， 因 此 可 以 说 ， 若 C 为 字母 表 且 所 有 字符 的 出 现 频 率 均 为 正 数 ， 则 最 优 前 缀 码 对 应 的 
树 恰 有 | C| 个 叶 结 点 ， 每 个 叶 结 点 对 应 字母 表 中 一 个 字符 ， 且 恰 有 |C| 一 1 个 内 部 结 点 (参见 练习 
B. 98 
给 定 一 棵 对 应 前 缀 码 的 树 TT 我 们 可 以 容易 地 计算 出 编码 一 个 文件 需要 多 少 个 二 进 制 位 。 对 
于 字母 表 C 中 的 每 个 字符 c, 令 属 性 c. freq 表示 < 在 文件 中 出 现 的 频率 ， 令 dr(c) 表 示 c 的 叶 结 
点 在 树 中 的 深度 。 注 意 ，dr(c) 也 是 字符 c 的 码 字 的 长 度 。 则 编码 文件 需要 
RT) = dye. freq 。 dr(c) (16. 4) 


个 二 进 制 位 ， 我 们 将 BD ELA THRE. 

构造 赫 夫 曼 编码 

赫 夫 曼 设 计 了 一 个 贪心 算法 来 构造 最 优 前 级 码 ， 被 称 为 灰 夫 曼 编 码 (Huffman code), 与 
16. 2 节 中 我 们 的 观察 一 致 ， 它 的 正确 性 证 明 也 依赖 于 贪心 选择 性 质 和 最 优 子 结构 。 接 下 来 ， 我 
们 并 不 是 先 证 明 这 些 性 质 成 立 然后 再 设计 算法 ， 而 是 先 设计 算法 。 这 样 做 可 以 帮助 我 们 明确 算 
法 是 如 何 做 出 贪心 选择 的 。 

在 下 面 给 出 的 伪 代 码 中 ， 我 们 假定 C 是 一 个 ”个 字符 的 集合 ， 而 其 中 每 个 字符 cE C 都 是 一 
个 对 象 ， 其 属性 c freq 给 出 了 字符 的 出 现 频率 。 算 法 自 底 向 上 地 构造 出 对 应 最 优 编码 的 二 又 树 
T。 它 从 | C| 个 时 结 点 开始 ， 执 行 |C| 一 1 个 “合并 ?操作 创建 出 最 终 的 二 又 树 。 算 法 使 用 一 个 以 
属性 freq 为 关键 字 最 小 优先 队列 Q， 以 识别 两 个 最 低频 率 的 对 象 将 其 合并 。 当 合并 两 个 对 象 时 ， 
得 到 的 新 对 象 的 频率 设置 为 原来 两 个 对 象 的 频率 之 和 。 

HUFFMAN(C) 

i a=(Cl 
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2 Q=C 

3 fori = 1ton—1 

4 allocate a new node z 

5 z. left = x = EXTRACT-MIN(Q) 

6 z. right = y = EXTRACT-MIN(Q) 

is z. freq = x. freq + y. freq 

8 INSERT(Q, z) 

9 return EXTRACT-MIN(Q) // return the root of the tree 


对 前 文 给 出 的 例子 ， 赫 夫 曼 算法 的 执行 过 程 如 图 16-5 所 示 。 由 于 字母 表 包含 6 个 字母 ， 初 


始 队列 大 小 为 * 一 6， 需 要 5 个 合并 步骤 构造 二 叉 树 。 最 终 的 二 叉 树 表示 最 优 前 级 码 。 一 个 字母 
的 码 字 为 根 结 点 到 该 字母 叶 结 点 的 简单 路 径 上 边 标签 的 序列 。 


[ES] EE 区 加 Bas] Ed ES eT [be 





图 16-5 对 图 16-3 中 给 出 的 频率 执行 赫 夫 曼 算法 的 过 程 。 每 一 部 分 显示 了 优先 队列 的 内 容 ， 已 按 
频率 递增 顺序 排 好 序 。 在 每 个 步 又， 频率 最 低 的 两 棵 树 进 行 合并 。 叶 结 点 用 矩形 表示 ， 
每 个 叶 结 点 包含 一 个 字符 及 其 频率 。 内 部 结 点 用 圆圈 表示 ， 包 含 其 孩子 结 点 的 频率 之 和 。 
内 部 结 点 指向 左 孩子 的 边 标记 为 0， 指 向 右 孩 子 的 边 标 记 为 1。 一 个 字母 的 码 字 对 应 从 根 
到 其 叶 结 点 的 路 径 上 的 边 的 标签 序列 。(a) 初 始 集合 有 n=6 个 结 点 ， 每 个 结 点 对 应 一 个 
字母 。(b) 一 (e) 为 中 间 步 又。( 旨 为 最 终 的 编码 树 


第 2 行 用 C 中 字符 初始 化 最 小 优先 队列 Q。 第 3 一 8 行 的 for 循环 反复 从 队列 中 提取 两 个 频率 
最 低 的 结 点 = 和 y， 将 它们 合并 为 一 个 新 结 点 z BREN. z 的 频率 为 x 和 y 的 频率 之 和 (第 7 
行 )。 结 点 < 将 x 作为 其 左 孩子 ， 将 y 作为 其 右 孩 子 (顺序 是 任意 的 ， 交 换 左 右 孩 子 会 生成 一 个 不 
同 的 编码 ， 但 代价 完全 一 样 )。 经 过 wn 一 1 次 合并 后 ,第 9 行 返回 队列 中 剩 下 的 唯一 结 点 一 一 编码 
树 的 根 结 点 。 

如 果 我 们 不 使 用 变量 x 和 y (第 5、6 行 直接 对 = left 和 z right 直接 赋值 ， 将 第 7 行 改 为 | 
z. freq=z. left. freqtz. right. freq)， 算 法 还 是 会 生成 相同 的 结果 ， 但 后 面 在 证 明 算 法 正确 性 |432 
时 ， 我 们 需要 用 到 结 点 名 xz Aly. At, RB x Aly 更 方便 。 
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为 了 分 析 赫 夫 曼 算法 的 运行 时 间 ， 我 们 假定 Q 是 使 用 最 小 二 叉 堆 实现 的 (参见 第 6 章 )。 对 
一 个 nn 个 字符 的 集合 C， 我 们 在 第 2 行 用 BUILD-MIN-HEAP 过 程 (参见 6. 3 节 ) 将 QWE, 
费时 间 为 O(0z) 。 第 3 一 8 行 的 for 循环 执行 了 一 1 次 ， 且 每 个 堆 操 作 需 要 O(lgz) 的 时 间 ， 所 以 循 
环 对 总 时 间 的 贡献 为 Olnlgn)。 因 此 ， 处 理 一 个 n 个 字符 的 集合 ，HUFFMAN 的 总 运行 时 间 为 
Onlgn) 。 如 果 将 最 小 二 叉 堆 换 为 van Emde Boas 树 ( 参 见 第 20 章 )， 我们 可 以 将 运行 时 间 减 少 为 
Olnlglgn). 

PAB AEH EME 

为 了 证 明 贪 心算 法 HUFFMAN 是 正确 的 ， 我 们 证 明确 定 最 优 前 绥 码 的 问题 具有 贪心 选择 和 
最 优 子 结构 性 质 。 下 面 的 引 理 证 明 问 题 具 有 贪心 选择 性 质 。 

引 理 16.2 令 C 为 一 个 字母 表 ， 其 中 每 个 字符 cEC 都 有 一 个 频率 c. frege Aray RCH 
频率 最 低 的 两 个 字符 。 那 么 存在 C 的 一 个 最 优 前 组 码 ，x 和 yy 的 码 字 长 度 相 同 ， 且 只 有 最 后 一 个 
二 进 制 位 不 同 。 

证 明 证 明 的 思路 是 令 工 表 示 任 意 一 个 最 优 前 缀 码 所 对 应 的 编码 树 ， 对 其 进行 修改 ， 得 到 
表示 另外 一 个 最 优 前 绥 码 的 编码 树 ， 使 得 在 新 树 中 ，z 和 yy 是 深度 最 大 的 叶 结 点 ， 且 它们 为 兄弟 
结 点 。 如 果 可 以 构造 这 样 一 棵 树 ， 那 么 zx ily 的 码 字 将 有 相同 长 度 ， 且 只 有 最 后 一 位 不 同 。 

令 a 和 2 是 工 中 深度 最 大 的 兄弟 叶 结 点 。 不 失 一 般 性 ， 假 定 a. freq. freq H x. freq 
y. freq. HF x. freq 和 y. fre 是 叶 结 点 中 最 低 的 两 个 频率 ， 而 a. freq Ab. freq 是 两 个 任意 频 
率 ， 因 此 ， 我们 有 x. freq<a. freq H y. freqXb. freq. 

在 证 明 的 剩余 部 分 ， 有 可 能 x. freq=a. freq X y. freq=b. freq RL. BÆ, WE x. freq= 
b. freq, WA a. freq=b. freq=x. freq=y. freq( 参 见 练习 16. 3-1)， 此 时 引 理 显然 是 成 立 的 。 因 
此 ， 我们 假定 x. fregAb. freq， 这 意味 着 Ab. 

如 图 16-6 所 示 ， 我 们 在 荆 中 交换 zx 和 a 生成 一 棵 新 树 T， 并 在 荆 中 交换 5b M y 生成 一 棵 新 
WT’, BALE TH c Ay 是 深度 最 深 的 两 个 兄弟 叶 结 点 (注意 ， 如 果 z==5 但 y 了 a， MAT Px 
Aly 不 是 深度 最 深 的 兄弟 叶 结 点 )。 由 公式 (16. 4), TAT REA 

B(T)—B(T)= Zc: freq + dr(c) — >)c. freq + dr (o) 


= x. freq * d(x) +a. freq * dr(a)— x. freq * dr (x) —a. freq * dr' (a) 

= a. freq dr(x) +a. freq » dr(a)— x. freq » drla) —a. freq » d(x) 

= (a. freq — x. freq) (dr(a) — dr(z)) 

>0 
因为 a. freq—zx. freq 和 dr(a) 一 dr(z) 都 是 非 负 的 。 更 具体 地 ，a. freg 一 x. freq 是 非 负 的 ， 因 为 
工 是 出 现 频率 最 低 的 叶 结 点 ; dr(a) 一 dr(z) 是 非 负 的 ， 因 为 a 是 T 中 深度 最 深 的 叶 结 点 。 类 似 
地 ， 交 换 y 和 2 也 不 能 增加 代价 ， 所 以 BCT') 一 BCT") 也 是 非 负 的 。 因 此 BCT <B(T), AFT 
是 最 优 的 ， RTA B(T) 三 BC(T")， 这 意味 着 BC(T”")= 二 BC(T)。 因 此 ，T" 也 是 最 优 树 ， 且 x 和 是 
其 中 深度 最 深 的 兄弟 叶 结 点 ， 引 理 成 立 。 E 

L 


O 










aga 国 加 EE 


图 16-6 对 引 理 16. 2 的 证 明 中 关键 步 又 的 说 明 。 在 最 优 树 工 中 ， 叶 结 点 a 和 6 是 最 深 的 叶 结 
点 中 的 两 个 ， 并 且 是 兄弟 。 叶 结 点 x 和 y 为 赫 夫 曼 算 法 首先 合并 的 两 个 叶 结 点 ; 它 
们 出 现 于 工 中 任意 位 置 上 。 假 设 zx 关 5， 叶 结 点 a 和 zz 交换 得 到 树 工 ， 然 后 交换 叶 结 
点 6 和 y 得 到 树 T。 因 为 每 次 交换 并 不 增加 代价 ， 所 以 所 得 的 树 了 也 是 最 优 树 
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引 理 16. 2 说 明 ， 不 失 一 般 性 ， 通 过 合并 来 构造 最 优 树 的 过 程 ， 可 以 从 合并 出 现 频率 最 低 的 
两 个 字符 这 样 一 个 贪心 选择 开始 。 为 什么 这 是 一 个 贪心 选择 ? 我 们 可 以 将 一 次 合并 操作 的 代价 
看 做 被 合并 的 两 项 的 频率 之 和 。 练 习 16. 3-4 要 求证 明 编 码 树 构造 的 总 代价 等 于 所 有 合并 操作 的 
代价 之 和 。 在 每 个 步骤 可 选 的 所 有 合并 操作 中 ，HUFFMAN 选择 是 代价 最 小 的 那个 。 

下 面 的 引 理 证 明了 构造 最 优 前 级 码 的 问题 具有 最 优 子 结构 性 质 。 

引 理 16.3 令 C 为 一 个 给 定 的 字母 表 ， 其 中 每 个 字符 cEC 都 定义 了 一 个 频率 c. freq. x 
foy 是 C 中 频率 最 低 的 两 个 字符 。 令 C' 为 C 去 掉 字符 x 和 yy， 加 入 一 个 新 字符 z 后 得 到 的 字母 
表 ,， 即 C= 二 C 一 {zx，y)})U{z)。 类 似 C, wA CRA freq， 不 同 之 处 只 是 z. req 三 工 freq 十 
y. freq。 令 TT 为 字母 表 C' 的 任意 一 个 最 优 前 缓 码 对 应 的 编码 树 。 于 是 我 们 可 以 将 本 中 叶 结 点 之 
替换 为 一 个 以 x 和 为 孩子 的 内 部 结 点 ， 得 到 树 了 ， 而 工 表示 字母 表 C 的 一 个 最 优 前 缓 码 。 

证 明 首先 说 明 如 何 用 树 荆 的 代价 BCT ) 来 表示 树 工 的 代价 BCT)， 方 法 是 考虑 公式 (16. 4) 
中 每 项 的 代价 。 对 于 每 个 字符 cE C 一 {zx，y}， RIA drl) =dr Ce), AIE c. freq* drl) = 
c. freq? dr'(c)。 由 于 dr(z) 二 dr(y) 二 dr'(z) 十 1， 我 们 有 

x. freq » dr(x) + y. freq > dr(y)= (a. freq + y. freq) (dr: (z) +1) 
= z. freq» dr' (z) + (a. freq + y. freq) 
于 是 可 以 得 到 结论 
BCT) = B(T') +z. freq + y. freq 
或 者 等 价 地 





BCT’) = B(T) — zx. freq — y. freq 

现在 用 反 证 法 来 证 明 引 理 。 假 定 对 应 的 前 缀 码 并 不 是 C RRS. AER TS 
T' 满 足 BC(T”) 二 B(T)。 不 失 一 般 性 (由 引 理 16. 2)，T* 包 含 兄 弟 结 点 x Aly. ST WK TP z, 
y 及 它们 的 父 结 点 替换 为 叶 结 点 z 得 到 的 树 ， 其 中 z. freq 二 zx. freq 十 y. freq. TÆ 

BCT”) = B(T") — zx. freq — y. freq < B(T) — zx. freq — y. freq = BC(T') 

5 THA C 的 一 个 最 优 前 绥 码 的 假设 矛盾 。 因 此 ，T 必然 表示 字母 表 C 的 一 个 最 优 前 级 码 。 m 

定理 16. 4 过 程 HUFFMAN 会 生成 一 个 最 优 前 组 码 。 

证 明 由 引 理 16. 2 和 引 理 16. 3 即 可 得 。 m 


练习 


16.3-1 请 解释 ， 在 引 理 16. 2 的 证 明 中 ， 为 什么 若 x. freq=b. freq, WA a. freq=b. freq= 
x. freq=y. freq. 

16.3-2 证 明 : 一 棵 不 满 的 二 又 树 不 可 能 对 应 一 个 最 优 前 缀 码 。 

16.3-3 如 下 所 示 ，8 个 字符 对 应 的 出 现 频率 是 斐 波 那 契 数列 的 前 8 个 数 ， 此 频率 集合 的 赫 夫 曼 
编码 是 怎样 的 ? 
azi bel œ 2 d: 3 e5 f: 8 gr 18 bh: 21 
你 能 否 推 广 你 的 结论 ， 求 频率 集 为 前 n SEAR RTA? 

16.3-4 证明: 编码 树 的 总 代价 还 可 以 表示 为 所 有 内 部 结 点 的 两 个 孩子 结 点 的 联合 频率 之 和 。 

16. 3-5 证 明 : 如 果 我 们 将 字母 表 中 字符 按 频率 单调 递减 排序 ， 那 么 存在 一 个 最 优 编码 ， 其 码 字 
长 度 是 单调 递增 的 。 

16.3-6 ”假定 我 们 有 字母 表 C 二 {0，1，…，n 一 1} 上 的 一 个 最 优 前 级 码 ， 我 们 希望 用 最 少 的 二 进 
制 位 传输 此 编码 。 说 明 如 何 仅 用 2n 一 1 十 n| len ] 位 表示 C 上 的 任意 最 优 前 级 码 。( 提 示 : 
通过 对 树 的 遍历 ， 用 2n 一 1 位 说 明 编 码 树 的 结构 。) 

16.3-7 推广 赫 夫 曼 算法 ,使 之 能 生成 三 进 制 的 码 字 ( 即 码 字 由 符号 0、1、2 组 成 )， 并 证 明 你 的 
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算法 能 生成 最 优 三 进 制 码 。 
16. 3-8 ”假定 一 个 数据 文件 由 8 位 字符 组 成 ， 其 中 所 有 256 个 字符 出 现 的 频率 大 致 相同 : 最 高 的 频率 
也 低 于 最 低频 率 的 2 倍 。 证 明 : 在 此 情况 下 ， 赫 夫 曙 编码 并 不 比 8 位 固定 长 度 编码 更 高 效 。 
16.3-9 证 明 : 对 于 一 个 由 随机 生成 的 8 位 字符 组 成 的 文件 ， 没 有 任何 压缩 方法 可 以 望 将 其 压 
缩 ， 哪 怕 只 是 压缩 一 位 。( 提 示 : 比较 可 能 的 文件 数量 和 可 能 的 编码 文件 数量 。) 


* 16. 4 拟 阵 和 贪心 算法 


本 节 概 略 介绍 一 种 与 贪心 算法 相关 的 漂亮 的 理论 。 该 理论 描述 了 很 多 贪心 方法 生成 最 优 解 
的 情形 ， 它 涉及 一 种 称 为 “ 拟 阵 ? 的 组 合 结构 。 虽 然 这 种 理论 不 能 涵盖 贪心 方法 适用 的 所 有 情况 
(例如 ， 它 不 能 用 于 16. 1 节 的 活动 选择 问题 或 16. 3 MKS, ， 但 它 确实 覆盖 了 很 多 
有 实际 意义 的 情况 。 而 且 ， 这 种 理论 的 扩展 还 覆盖 了 其 他 很 多 应 用 ， 参 见 本 章 末尾 的 注 记 。 

拟 阵 

一 个 拟 阵 (matroid) 就 是 一 个 满足 如 下 条 件 的 序 偶 M 一 (S，Z) : 

1.S 是 一 个 有 限 集 。 

2. TÆ S 的 子 集 的 一 个 非 空 族 ， 这 些 子 集 称 为 S 的 独立 子 集 ， 使 得 如 果 BETA ACB, W 
AEI。 如 果 Z 满 足 此 性 质 ， 则 称 之 为 遗传 的 。 注 意 ， 空 集 名 必然 是 了 的 成 员 。 

3. AETI, BETH|A|<|B|, 那么 存在 某 个 元 素 rEB—A, 使 得 AU {x} CT, MEM 
满足 交换 性 质 。 

“ 拟 阵 ”一 词 最 早 是 Hassler Whitney 提出 的 。 他 当时 在 研究 矩阵 拟 阵 ， 其 中 SP E 
阵 的 所 有 行 ， 而 行 之 间 的 独立 性 质 与 通常 意义 上 的 线性 无 关 性 质 是 等 价 的 。 练 习 16. 4-2 要 求证 
明 ， 这 个 结构 定义 了 一 个 拟 阵 。 

另 一 个 拟 阵 的 例子 是 图 拟 阵 (graphic matroid) Mc 二 (Sc，Ze)， 它 定义 在 一 个 给 定 的 无 向 图 
G=(V, DZE: 

。 Sc 定义 为 上 ， 即 G 的 边 集 。 

。 MRABE WFR, WACTc 当 且 仅 当 A 是 无 圈 的 。 也 就 是 说 ,一 组 边 A 是 独立 的 当 

且 仅 当 子 图 Gs 一 (V，A) 形 成 一 个 森林 。 

图 拟 阵 Me 与 最 小 生成 树 问 题 是 紧密 相关 的 ， 第 23 章 会 详细 讨论 。 

定理 16.5 如 果 G 二 (V， 也 ) 是 一 个 无 向 图 ， 则 Mec 王 (Se，Tc) 是 一 个 拟 阵 。 

证 明 显然 Sc 二 是 一 个 有 限 集 。 而 且 ，Ie 是 遗传 的 ， 因 为 森林 的 子 集 还 是 森林 。 换 句 话 
说 ， 从 一 个 无 圈 的 边 集 中 删除 边 不 会 产生 图 。 

因此 ， 接 下 来 只 需 证 明 Mo 满足 交换 性 质 。 假定 G4 一 (V，A) 和 Gs 二 (V，B) 是 G 的 森林 ， 
且 1B| 二 |A|。 也 就 是 说 ，A 和 B 是 无 圈 边 集 ， 且 B 包含 更 多 的 边 。 

我 们 有 结论 : F=(V;, Er) 恰 好 包含 1Vs | 一 | Er | 棵 树 。 为 了 证 明 此 结论 ， 假定 下 包含 i 棵 
树 ， 其 中 第 i 棵 树 包 含 v; 个 顶点 和 e; 条 边 。 于 是 有 


|Er|= dle = $ w1) (由 定理 B. 2) 


= Diu—t= |Vr|—t 


RRA = |Ve|—lEr|. Ait, 森林 G4 包含 |1V| 一 |A| 棵 树 ， 森 林 Gs 包含 |V| 一 | 也 | 棵 树 。 

由 于 森林 Gs 中 树 的 数量 比 森 林 Ga 少 ， 它 必然 包含 某 棵 树 TT 其 中 两 个 顶点 在 森林 Ga 中 属 
于 两 棵 不 同 的 树 。 而 且 ， 由 于 工 是 连通 的 ， 它 必然 包含 一 条 边 (x，z)， 使 得 顶点 和 vw 在 森林 
Ga 中 属于 两 棵 不 同 的 树 。 由 于 边 (u，v) 连 接 了 森林 Ga 中 两 棵 不 同 的 树 中 的 顶点 ， 可 以 将 边 
(u，v) 加 入 森林 Ga, TAR AER. Kk, Mo 满足 交换 性 质 。 至 此 ， 已 证 明 Me 是 拟 阵 。 m 
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给 定 一 个 拟 阵 M 王 (CS，Z) ， 如 果 对 一 个 集合 AEI 和 一 个 元 素 IEA, 将 zz 加 入 A 会 保持 独 
SHER, ME r EA 的 一 个 扩展 。 也 就 是 说 ， 如 果 AUD ET, M r EA 的 一 个 扩展 。 我 们 以 
图 拟 阵 Ms 为 例 ， 如 果 A 是 一 个 边 独 立 集 ， 那么 边 e 是 A 的 一 个 扩展 当 且 仅 当 e 不 在 A 中 且 将 e 
加 入 A 中 不 会 形成 圈 。 

对 拟 阵 M 中 的 一 个 独立 子 集 A， 如 果 它 不 存在 扩展 ， 则 称 它 是 最 大 的 。 也 就 是 说 ， 如 果 A 
不 包含 于 任何 更 大 的 M 的 独立 子 集 中 ， 则 A 是 最 大 的 。 下 面 的 性 质 通常 很 有 用 。 

定理 16.6 拟 阵 中 所 有 最 大 独立 子 集 都 具有 相同 大 小 。 

WEAR ”假定 命题 不 成 立 ， 拟 阵 M 存 在 一 个 最 大 独立 子 集 A 和 男 一 个 更 大 的 独立 子 集 B。 那 
么 ， 交 换 性 质 意味 着 对 于 某 个 zE B 一 A， 我 们 可 以 将 A 扩展 为 一 个 更 大 的 独立 子 集 AU{z}， 与 
A 是 最 大 独立 子 集 的 假设 矛盾 。 E] 

作为 此 定理 的 一 个 示例 ， 我 们 考虑 一 个 连通 无 向 图 G 的 图 拟 阵 Me。Me 的 每 个 最 大 独立 子 
集 必定 是 一 棵 边 数 为 | Y | 一 1， 连 接 了 G 的 所 有 顶点 的 自由 树 。 这 样 一 棵 树 称 为 G 的 生成 树 。 

如 果 一 个 拟 阵 M 王 (S，Z) 关 联 一 个 权重 函数 w， 为 每 个 元 素 zE S 赋予 一 个 严格 大 于 0 的 权 
E wl), WRK M 是 加 权 的 。 通 过 求 和 ， 可 将 权重 函数 wH ER S 的 任意 子 集 A: 

w(A) = dwt) 


例如 ， 如 果 令 w(e) 表 示 图 拟 阵 Ms 中 边 e 的 权重 ， 那么 w(A) 就 表示 边 集 A 中 所 有 边 的 权重 
之 和 。 

加 权 拟 阵 上 的 贪心 算法 

很 多 可 以 用 贪心 算法 得 到 最 优 解 的 问题 都 可 以 形式 化 为 在 一 个 加 权 拟 阵 中 寻找 最 大 权重 独 
立 子 集 的 问题 。 也 就 是 说 ， 给 定 一 个 加 权 拟 阵 M=(S，Z)， 我 们 希望 寻找 独立 集 AEI 使 得 
w(A) 最 大 。 我 们 称 这 种 独立 且 具 有 最 大 可 能 权重 的 子 集 为 拟 阵 的 最 优 子 集 。 由 于 任何 元 素 zxES 
的 权重 w(xz) 都 是 正 的 ， 则 最 优 子 集 必然 是 最 大 独立 子 集 一 一 它 总 是 有 助 于 使 A 尽 可 能 大 。 

例如 ， 在 最 小 生成 树 问题 中 ， 给 定 一 个 连通 无 向 图 G=(V, E)A—-T+KE AR w， 使 得 
we) AI e 的 长 度 ( 正 值 )( 这 里 我 们 用 “长 度 ” 表 示 图 中 边 的 原始 权重 ， 用 “权重 ”表示 关联 的 拟 
阵 的 权重 ) 。 我 们 希望 找到 一 个 边 的 子 集 ， 能 连接 所 有 顶点 ， 且 具有 最 小 总 长 度 。 为 了 将 此 问题 
描述 为 寻找 拟 阵 最 优 子 集 的 问题 ， 考 虑 加 权 拟 阵 Me， 其 权重 函数 为 w ， 这 里 w (e) 一 zwm w 
C), EP w 为 大 于 最 大 边 长 度 的 值 。 在 此 加 权 拟 阵 中 ， 所 有 权重 均 为 正 ， 且 最 优 子 集 即 为 原 图 
中 的 最 小 总 长 度 生成 树 。 更 具体 地 ， 每 个 最 大 独立 子 集 A 都 对 应 一 棵 | V | 一 1 条 边 的 生成 树 ， 
而 且 由 于 对 所 有 最 大 独立 子 集 A， 有 

w= we) = 2) lawo = (|V|— Daw — Zwe) = V|- Dw — w(A) 


因此 ， 最 大 化 可 (A) 必 然 最 小 化 wA). 因此 ， 任何 能 求 得 任意 拟 阵 中 最 优 子 集 A 的 算法 ， 均 可 
求解 最 小 生成 树 问 题 。 

第 23 章 将 给 出 最 小 生成 树 的 算法 ， 但 现在 我 们 给 出 适用 于 任何 加 权 拟 阵 的 算法 。 算 法 接受 
一 个 加 权 拟 阵 M 王 CS，Z) 及 其 关联 的 正 加 权 函 数 w 作为 输入 ， 返 回 最 优 子 集 A。 在 我 们 的 伪 代 
码 中 ， 我 们 用 M. SHM. TRIR M 的 组 成 部 分 ， 加 权 函 数 表示 为 w。 这 个 算法 是 一 个 贪心 算法 ， 
因为 它 按 权重 单调 递减 的 顺序 考虑 每 个 元 素 xE S， 如 果 AU {xz} 是 独立 的 ， 就 立即 将 x 加 入 到 累 
积 集合 A 中 。 

GREEDY(M,w) 

1 A= 

sort M. S into monotonically decreasing order by weight w 


2 
3 for each x€ M. S, taken in monotonically decreasing order by weight w(x) 
4 if AU{z}EM. T 
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5 A=AU {z} 


6 return A 


第 4 行 检查 加 入 z 后 A 是 否 保 持 独 立 集 性 质 ， 若 是 ， 则 在 第 5 行将 工 加 入 A， 否 则 丢弃 z。 
由 于 空 集 是 独立 的 ， 且 每 步 for 循环 都 保持 A 的 独立 性 ， 因 此 由 归纳 法 可 知 ，A 始终 是 独立 的 。 
Aut, GREEDY 总 是 返回 一 个 独立 子 集 A。 稍 后 ， 我 们 将 会 看 到 A 是 具有 最 大 可 能 权重 的 子 集 ， 
因而 是 一 个 最 优 子 集 。 

GREEDY 的 运行 时 间 很 容易 分 析 。 令 n 表示 | S | ， 则 排序 阶段 花费 时 间 为 O(nlgn)。 第 4 
行 严 格 执 行 了 7 次， 每 次 处 理 S 的 一 个 元 素 。 第 4 行 每 执行 一 次 需 检 查 一 个 集合 AU {xz} 是 否 独 
立 。 如 果 每 次 检查 花费 时 间 为 OC(f(n))， 则 算法 运行 时 间 为 Ol(nlgn 十 nf(n))。 

现在 我 们 证 明 GREEDY 返回 一 个 最 优 子 集 。 

引 理 16. 7( 拟 阵 具有 贪心 选择 性 质 ) ”假定 M 王 (S，Z) 是 一 个 加 权 拟 阵 ， 加 权 函 数 为 ww， 且 
S 已 按 权重 单调 递减 顺序 排序 。 令 工 是 S 中 第 一 个 满足 { 工 } 独 立 的 元 素 ( 如 果 存 在 ) 。 如 果 存 在 这 
样 的 ， 那 么 存在 S 的 一 个 最 优 子 集 A 包含 工 。 

证 明 ”如 果 不 存 在 这 样 的 zx， 唯一 的 独立 子 集 是 空 集 ， 引 理 显然 成 立 。 和 否则 ， 令 B 为 任意 非 
空 最 优 子 集 。 假 定 TEB, KATWE. TA B 就 是 我 们 要 找 的 包含 z 的 最 优 子 集 A。 

我 们 有 结论 B 中 元 素 的 权重 都 不 大 于 w(x)。 原 因 在 于 ， 我 们 观察 到 yo B 意味 着 {y} 是 独立 
的 (因为 BEI 目 ZT 是 遗传 的 )， 因 此 我 们 选择 z 的 方式 (第 一 个 形成 独立 集 的 元 素 ) 保 证 了 对 任意 
yEB, A wlaSwly). 

于 是 可 以 这 样 构 造 集合 A。 以 A 二 {xz} 开始 ， 由 于 z 的 性 质 ， 集合 A 保证 是 独立 的 。 使 用 交换 
性 质 ， 反 复 寻找 B 中 一 个 可 以 加 入 A 中 的 新 元 素 (同时 保持 A 的 独立 性 )， 直 至 1|A|= 二 1B|。 此 
时 ，A 和 B 的 差别 仅 在 于 A 包含 x， 而 B 包 含 男 一 个 元 素 ye MEW, A=B— {y} U {zx), y 为 B 
中 某 个 元 素 , H 

w(A) = w(B) — wly) + wlx) = w(B) 

由 于 集合 B 是 最 优 的 ， 因 此 集合 A 必然 也 是 最 优 的 ， 且 包含 z. iz] 
下 面 证 明 如 果 一 个 元 素 在 初始 时 不 是 最 优 的 选择 ， 那 么 在 随后 也 不 会 被 选 和 人 最 优 集合 中 。 
引 理 16.8 4 M=(S, D-i., WReES 中 一 个 元 素 ， 而 且 是 S 的 某 个 独立 子 集 

A 的 一 个 扩展 ， 则 工 也 是 名 的 一 个 扩展 。 

证 明 由 于 zx 是 A 的 一 个 扩展 ， 可 知 AU {xz} 是 独立 的 。 由 于 I 是 遗传 的 ，{z} 必 然 是 独立 
的 。 因 此 ，z 是 名 的 一 个 扩展 。 m 

推论 16.9 AM=(S, 工 ) 是 一 个 拟 阵 。 如 果 工 是 S 中 一 个 元 素 ， 且 它 不 是 如 的 一 个 扩展 ， 
那么 它 也 不 是 S 的 任何 独立 子 集 A 的 扩展 。 

证 明 ”此 推论 为 引 理 16. 8 WAAL. = 

推论 16.9 表明 ， 任 何 元 素 如 果 首 次 不 能 用 于 构造 独立 集 ， 则 之 后 永远 也 不 可 能 被 用 到 了 。 

因此 ，GREEDY 跳 过 S 中 那些 不 是 名 的 扩展 的 起 始 元 素 ， 不 会 导致 错误 结果 ， 因 为 那些 元 素 永 

远 不 会 被 用 到 。 

引 理 16. 10( 拟 阵 具 有 最 优 子 结构 性 质 ) 4M=(S, 工 ) 是 一 个 加 权 拟 阵 ，z 是 S 中 第 一 个 被 
GREEDY 算法 选 出 的 元 素 ， 则 接 下 来 寻找 一 个 包含 工 的 最 大 权重 独立 子 集 的 问题 归结 为 寻找 加 
权 拟 阵 M' 一 (S'，T ) 的 一 个 最 大 权重 独立 子 集 的 问题 ， 其 中 

S = {y E€ S:{z,y} E€ T} 
T'={BCS— {zx}:BU {zx} € T} 
M 的 权重 函数 就 是 M 的 权重 函数 ， 但 只 局 限于 S 中 元 素 。( 我 们 称 M 为 M 在 元 素 z 上 的 收缩 


(contraction) 。) 
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证 明 若 A 是 M 的 任意 一 个 包含 z 的 最 大 权重 独立 子 集 ， 则 A' 二 A 一 {xz} 是 M 的 一 个 独立 
FÆ., FUR. 任何 M' 的 独立 子 集 4 可 生成 M 的 独立 子 集 A 二 A'U {zx)。 由 于 对 两 种 情况 均 有 
w(A) 二 w(A) 十 w(x)， 因 此 M 的 包含 zx 的 最 大 权重 独立 子 集 必然 生成 M' 的 最 大 权重 独立 子 集 ， 
反之 亦 然 。 a 

定理 16. 11( 拟 阵 上 贪心 算法 的 正确 性 ) #M=(S, DA-AmRMEH, KERKE w, A 
么 GREEDY(M，w) 返 回 一 个 最 优 子 集 。 

证 明 由 推论 16.9，GREEDY 跳 过 的 任何 不 是 名 的 扩展 的 起 始 元 素 可 永远 丢弃 ， 因 为 这 些 
元 素 永远 不 会 被 用 到 。 一 旦 GREEDY 算法 选 出 第 一 个 元 素 z， 引 理 16. 7 表明 算法 将 zx 加 入 A 不 
会 导致 错误 结果 ， 因 为 必然 存在 包含 zx 的 最 优 子 集 。 最 终 ， 引 理 16. 10 说 明 剩 下 的 问题 就 是 如 何 
寻找 拟 阵 M' 的 最 优 子 集 了 ，M 是 M 在 zx 上 的 收缩 。 在 GREEDY 将 A 设置 为 {zx} 后 ,我 们 可 以 
将 之 后 它 的 所 有 步骤 解释 为 拟 阵 M' 王 (S'，Z ) 上 的 操作 ， 因 为 对 所 有 集合 BET'，B 在 M' 中 独 
ZHI BU {x} Æ M 中 独立 。 因 此 ，GREEDY 随后 的 操作 将 会 找到 M 的 一 个 最 大 权重 独立 
子 集 ， 而 其 所 有 操作 的 总 体 效果 就 是 找到 M 的 一 个 最 大 权重 独立 子 集 。 a 


练习 


16.4-1 WEH: 车 S 是 任意 一 个 有 限 集 ，Z4 是 S 的 所 有 规模 不 超过 & 的 子 集 的 集合 (Rk | S | )， 
则 (S，Z) 是 一 个 拟 阵 。 

*16.4-2 ”给 定 某 个 域 ( 如 实数 域 ); 上 的 mXn EET, WH: 〈S，Z) 是 一 个 拟 阵 ， 其 中 SS 是 工 的 列 
的 集合 ， 且 AEZ 当 且 仅 当 A 中 的 列 是 线性 无 关 的 。 

*16.4-3 证明: 若 (S，Z) 是 一 个 拟 阵 ， 则 (CS，Z ) 也 是 一 个 拟 阵 ， 其 中 

T' = {A':S 一 A' 包含 某 些 最 大 独立 子 集 AEI) 

即 (S，TZ ) 的 最 大 独立 子 集 恰 好 是 (S，Z) 的 最 大 独立 子 集 的 补 集 。 

*16.4-4 令 S 是 一 个 有 限 集 ，S ，S$ ，…，S 是 S 的 一 个 划分 ， 这 些 集合 都 是 非 空 且 不 相交 的 。 
定义 结构 (S，Z) 满 足 条 件 T 王 (4A: |ANS | 过 1, i=1, 2, =, k}. 证明: (S, I) 是 一 
个 拟 阵 。 也 就 是 说 ， 与 划分 中 所 有 子 集 都 最 多 有 一 个 共同 元 素 的 集合 A 组 成 的 集合 构成 
了 拟 阵 的 独立 集 。 

16. 4-5 ”对 于 一 个 所 需 最 优化 解 为 最 小 权重 最 大 独立 子 集 的 加 权 拟 阵 问题 ， 如 何 将 其 权重 函数 进 
行 转换 ， 使 其 变 为 标准 的 加 权 拟 阵 问题 。 详 细 论 证 你 的 转换 方法 是 正确 的 。 


”16.5 用 拟 阵 求解 任务 调度 问题 


一 个 可 以 用 拟 阵 来 求解 的 有 趣 问题 是 单 处 理 器 上 的 单位 时 间 任 务 最 优 调度 问题 ， 其 中 每 个 
任务 有 一 个 截止 时 间 以 及 错过 截止 时 间 后 的 惩罚 值 。 问 题 看 起 来 很 复杂 ， 但 我 们 可 以 用 一 个 异 
常 简单 的 方法 求解 它 一 一 将 其 转换 为 一 个 拟 阵 并 用 贪心 算法 求解 。 

单位 时 间 任 务 是 严格 需要 一 个 时 间 单 位 来 完成 的 作业 ， 如 运行 于 计算 机 上 的 一 个 程序 。 给 
定 一 个 单位 时 间 任 务 的 有 限 集合 S$， 对 S 的 一 个 调度 是 指 S 的 一 个 排列 ， 它 指明 了 任务 执行 的 顺 
序 。 第 一 个 被 调度 的 任务 开始 于 时 刻 0， 终 止 于 时 刻 1， 第 二 个 任务 开始 于 时 刻 1， 终 止 于 时 刻 
2， 依 此 类 推 。 

单 处 理 器 上 带 截止 时 间 和 惩罚 的 单位 时 间 任 务 调度 问题 有 如 下 输入 : 

。 nn 个 单位 时 间 任 务 的 集合 S={a1 ,al,，…,， aah 

。 nn 个 整数 截止 时 间 d}，d,，…，d,， 每 个 di WEIK, RIMES a; 在 时 间 d; 

之 前 完成 。 
。 nn 个 非 负 权重 或 翻 罚 wi，w,，…，w,， 若 任务 a; 在 时 间 d; 之 前 没有 完成 ， 我们 就 会 受 
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到 w 这 人 么 多 的 惩罚 ， 如 果 任 务 在 截止 时 间 前 完成 ， 则 不 会 受到 生 罚 。 

我 们 希望 找到 S 的 一 个 调度 方案 ， 能 最 小 化 超过 截止 时 间 导 致 的 惩罚 总 和 。 

考虑 一 个 给 定 的 调度 方案 。 如 果 方 案 中 一 个 任务 在 截止 时 间 后 完成 ， 我 们 称 它 是 延迟 的 
Cate); 和 否则， 我 们 称 它 是 提前 的 (early) 。 对 于 任意 调度 方案 ， 我 们 总 是 可 以 将 其 转换 为 提前 优 
先 形式 (early-first form) ， 即 将 提前 的 任务 都 置 于 延迟 的 任务 之 前 。 原 因 在 于 ， 如 果 某 个 提前 任 
务 a; 位 于 某 个 延迟 任务 a; 之 后 ， 我 们 可 以 交换 它们 的 位 置 ， 显 然 a; 仍然 是 提前 的 ，w 仍然 是 延 
IBN. 

而 且 ， 我 们 总 是 可 以 将 一 个 任意 的 调度 方案 转换 为 规范 形式 (canonical form) 一 一 提前 任务 
都 在 延迟 任务 之 前 ， 且 提前 任务 按 截止 时 间 单 调 递增 的 顺序 排列 。 为 了 进行 这 种 转换 ， 我 们 首先 
将 调度 方案 转换 为 提前 优先 形式 。 然 后 ， 只 要 调度 方案 中 存在 两 个 提前 任务 w 和 a;， 分 别 在 时 
刻 & 和 & 十 1 完成 ， 使 得 dj; 二 4;， 我 们 就 交换 a; Ma 的 位 置 。 由 于 交换 前 a 是 提前 的 ， 我 们 有 
k 十 1<d;， 因 此 & 十 1<d;， 因 而 交换 后 a; 是 提前 的 。 由 于 a 被 移动 到 更 靠 前 的 时 间 ， 因 此 在 交 
换 后 它 保 持 提前 。 

这 样 ， 寻 找 最 优 调度 方案 的 问题 就 归结 为 寻找 提前 任务 子 集 A 的 问题 。 确 定 A 之 后 ， 我 们 
可 以 将 A 中 元 素 按 截止 时 间 递 增 的 顺序 排列 ， 然 后 将 延迟 任务 ( 即 S 一 A) 以 任意 顺序 排列 其 后 ， 
就 得 到 了 最 优 调度 方案 的 规范 形式 。 

对 于 一 个 任务 集合 A， 如 果 存 在 一 个 调度 方案 ， 使 A 中 所 有 任务 都 不 延迟 ， 则 称 A 是 独立 
的 。 显 然 ， 一 个 调度 方案 的 提前 任务 集合 构成 一 个 独立 任务 集 。 令 工 表示 所 有 独立 任务 集 的 
集合 。 

下 面 我 们 考虑 如 何 确定 一 个 给 定 集 合 A 是 否 独立 的 问题 。 对 t=0, 1, 2, +, n, 令 N,(A) 
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表示 A 中 截止 时 间 小 于 等 于 t 的 任务 数 。 注 意 ， 对 任意 集合 A 均 有 N。(A)==0。 

引 理 16.12 ”对 任意 任务 集合 A， 下 面 性 质 是 等 价 的 : 

1. A 是 独立 的 。 

2. 对 二 0，1，2 ; Ny AN, CA. 

3. 如 果 A 中 任务 按 截止 时 间 单 调 递增 的 顺序 调度 ， 那 么 不 会 有 任务 延迟 。 

证 明 为 了 证 明 由 517 可 得 (2)， 我 们 证 明 逆 否 命题 : WERE 2, NCA) >t, WES AH 
任何 调度 方案 都 会 有 任务 延迟 的 情况 发 生 ， 因 为 超过 上 个 任务 必须 在 时 刻 上 前 完成 (而 每 个 任务 
都 花费 一 个 时 间 单 位 )。 因 此 ， 由 (1) 可 得 到 (2) 。 如 果 (2) 成 立 ， 则 (3) 必 然 也 成 立 : 当 按 截止 时 
间 单 调 递增 顺序 调度 任务 时 ， 不 会 发 生 “ 卡 住 ” 的 现象 ， 因 为 (2) 成 立意 味 着 第 i 大 的 截止 时 间 至 
少 是 i。 最 后 ， 由 (3) 显然 能 推导 出 (1)。 m 

利用 引 理 16. 12 的 性 质 2， 我 们 可 以 简单 地 计算 出 一 个 给 定 任务 集合 是 否 独立 (参见 练习 
16. 5-2) 。 

最 小 化 延迟 任务 的 惩罚 之 和 的 问题 与 最 大 化 提前 任务 的 惩罚 之 和 是 等 价 的 。 下 面 的 定理 确 
保 我 们 可 以 使 用 贪心 算法 求 出 总 惩罚 最 大 的 独立 任务 集 A。 

定理 16.13 ”如果 S 是 一 个 给 定 了 截止 时 间 的 单位 时 间 任 务 集合 ,， 工 是 所 有 独立 任务 集合 的 
集合 ， 则 对 应 的 系统 (S，Z) 是 一 个 拟 阵 。 

证 明 ”每 个 独立 任务 集合 的 子 集 必然 也 是 独立 的 。 为 了 证 明 交 换 性 质 ， 假 定 B 和 A 是 独立 
任务 集合 , 且 |1B|> | A|。 令 是 满足 N,(B) 壹 N,(A) 的 最 大 的 i( 这 样 1 肯 定 是 存在 的 ， 因 为 
N,.(A)=N.(B)=0),. HF N,(B)= | B| EN,(A= |A|; @/Bl>/Al, AEX k+ 
ISn WTA 7, DRE R<n KN, (B)>N,; (A). Alt, BHA 包含 更 多 截止 时 间 为 & 十 1 的 任 
务 。 令 a; 为 B 一 A 中 截止 时 间 为 十 1 的 任务 , S A'=AU {a}. 

下 面 利 用 引 理 16. 12 的 性 质 2 证 明 A' 必 然 是 独立 的 。 因 为 A 是 独立 的 ， 对 0 过 ik， 我 们 有 
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N,(AD=N,(AV<t. 因为 了 是 独立 的 ， 对 R<t<n, RNA NCAD<N,(B)<t. Alt, A'EI 
立 的 ， 从 而 得 证 (S，Z) 是 一 个 拟 阵 。 加 
由 定理 16. 11， 我 们 可 以 用 贪心 算法 求 出 一 个 最 大 权重 的 独立 任务 集 A。 然 后 可 以 创建 一 个 
最 优 调度 方案 ， 以 A 中 任务 为 提前 任务 。 这 个 算法 是 求解 单 处 理 器 上 带 截 止 时 间 和 生 罚 的 单位 
时 间 任 务 调度 问题 的 一 种 高 效 算法 。 使 用 GREEDY 的 运行 时 间 为 O), AAA EHH TT 
O(n) 独 立 性 检查 ， 每 次 花费 O(n) 时 间 ( 参 见 练习 16. 5-2)。 思 考题 16-4 给 出 了 一 个 更 快 的 实现 。 
图 16-7 给 出 了 单 处 理 器 上 带 截止 时 间 和 惩罚 任务 
的 单位 时 间 任 务 调度 问题 的 一 个 例子 。 在 此 例 [| 1 “2 3 4 sf 
中 ， 贪 心算 法 按 顺 序 选 择 任 务 a, a, a Ma, se tae ae Gar Gc ca 


然后 拒绝 as (因为 Ni Ca» Azs A39 Ass as})=5) 
Fil as (因为 Ni({a1，as，a3，as，as)) 二 5),， 最 后 ”图 16-7 单 处 理 器 上 带 截止 时 间 和 逢 罚 的 单位 


JE RF NE ae 
接受 a,。 最 终 的 最 优 调度 为 时 间 任 务 调度 问题 的 一 个 实例 
《az ya4 a1 A397 95 95) 


总 惩罚 为 Ws + we 一 50。 


练习 

16.5-1 对 图 16-7 给 出 的 调度 问题 的 实例 ， 将 每 个 惩罚 值 w; 替换 为 80 一 w:， 求 解 修改 后 的 
问题 。 

16.5-2 说 明 如 何 利用 引 理 16. 12 的 性 质 2 在 O(|A|) 时 间 内 确定 一 个 给 定 任务 集合 A 是 独 


立 的 。 


思考 题 


16-1 《〈 找 零 问 题 ) 考虑 用 最 少 的 硬币 找 nn 美 分 零钱 的 问题 。 假 定 每 种 硬币 的 面额 都 是 整数 。 
a 设计 贪心 算法 求解 找 零 问 题 ,假定 有 25 美 分 、10 美 分 、5 美 分 和 1 美 分 4 种 面额 的 硬 
币 。 证 明 你 的 算法 能 找到 最 优 解 。 
b. 假定 硬币 面额 是 的 短 ， 即 面额 为 ，c ，…，c，c 和 ABM, >l, k>1, 证明: 
贪心 算法 总 能 得 到 最 优 解 。 
c 设计 一 组 硬币 面额 ， 使 得 贪心 算法 不 能 保证 得 到 最 优 解 。 这 组 硬币 面额 中 应 该 包含 1 美 
分 ， 使 得 对 每 个 零钱 值 都 存在 找 零 方案 。 
d. 设计 一 个 O(nk) 时 间 的 找 零 算法 ,适用 于 任何 种 不 同 面额 的 硬币 ,假定 总 是 包含 1 美 
分 硬币 。 
16-2 (最 小 平均 完成 时 间 调 度 问 题 ) 假定 给 定 任务 集合 S={a, as s an) EPES a, 在 
启动 后 需要 pi 个 时 间 单 位 完成 。 你 有 一 台 计 算 机 来 运行 这 些 任务 ， 每 个 时 刻 只 能 运行 一 
个 任务 。 令 c 表示 任务 ai; 的 完成 时 间 ， 即 任务 a; 被 执行 完 的 时 间 。 你 的 目标 是 最 小 化 平 


均 完成 时 间 ， 即 最 小 化 (1/m Dc, 。 例 如 ， 假 定 有 两 个 任务 a Ma, p=3, p=5, M 


Ra 首先 运行 ， 然后 运行 a> 则 a= 4 =8, 平均 完成 时 间 为 (5 十 8)/2 二 6. Do 如 果 a 

FGF a 执行 ， 则 ci 二 3，cz 二 8， 平均 完成 时 间 为 (3 十 8)/2 二 5. 5。 

a 设计 算法 ， 求 平均 完成 时 间 最 小 的 调度 方案 。 任 务 的 执行 都 是 非 抢 占 的 ， 即 一 旦 a, F 
始 运行 ， 它 就 持续 运行 p; 个 时 间 单 位 。 证 明 你 的 算法 能 最 小 化 平均 完成 时 间 ， 并 分 析 
算法 的 运行 时 间 。 

b. 现在 假定 任务 并 不 是 在 任意 时 刻 都 可 以 开始 执行 ， 每 个 任务 都 有 一 个 释放 时 间 一， 在 此 
时 间 之 后 才 可 以 开始 。 此 外 假定 任务 执行 是 可 以 抢占 的 (preemption) ， 这 样 任务 可 以 被 
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16-3 


16-4 


16-5 
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挂 起 ， 稍 后 再 重新 开始 。 例 如 ， 一 个 任务 a: 的 运行 时 间 为 p; 一 6， 释 放 时 间 为 ri 二 1， 
它 可 能 在 时 刻 1 开始 运行 ， 在 时 刻 4 被 抢占 。 然 后 在 时 刻 10 恢复 运行 ， 在 时 刻 11 再 次 
被 抢占 ， 最 后 在 时 刻 13 恢复 运行 ， 在 时 刻 15 运行 完毕 。 任 务 a; 共 运 行 了 6 个 时 间 单 
位 ， 但 运行 时 间 被 分 割 成 三 部 分 。 在 此 情况 下 ，ui 的 完成 时 间 为 15。 设 计算 法 ， 对 此 
问题 求解 平均 运行 时 间 最 小 的 调度 方案 。 证 明 你 的 算法 确实 能 最 小 化 完成 时 间 ， 分 析 
算法 的 运行 时 间 。 

(AEF A) 

a. 一 个 无 向 图 G=(V, E) WX BK 48 Cincidence matrix) #—* | V | X | E | WERE M, 
车 边关 联 于 顶点 v， 则 M 二 1， 否 则 Mi = 二 0。 论 证 M 的 一 个 列 集合 在 整数 模 2 的 域 
上 线性 无 关 当 且 仅 当 对 应 的 边 集 无 环 。 

b. 假定 我 们 对 一 个 无 向 图 G 二 (V，E) 的 每 条 边 都 关联 一 个 非 负 权 重 ww(e) 。 设 计 一 个 高 效 
算法 ， 求 权重 之 和 最 大 的 无 环 边 集 。 

c. 今 G=(V，E) 是 任意 的 有 向 图 ， 定义 (E, 工 ) 满 足 AETI 当 上 且 仅 当 A 不 包含 任何 有 向 环 。 
给 出 一 个 有 向 图 G 的 例子 ,使 得 关联 的 系统 (EE，I) 不 是 一 个 拟 阵 。 指 出 定义 中 哪个 条 
件 使 得 系统 (E， 工 ) 不 是 拟 阵 。 

d 无 自 环 的 有 向 图 G 二 (VV，E) 的 关联 和 矩阵 是 一 个 | V | X | E | KEREM, Abe 从 顶点 
v 发 出 ， 则 M. 二 一 1， 着 边 e 指 向 顶点 v， 则 M. 二 1， 否 则 M. 二 0。 证明: 如 果 M 的 
一 个 列 集合 线性 无 关 ， 那 么 对 应 的 边 集 不 包含 有 向 环 。 

e 练习 16. 4-2 告诉 我 们 任意 矩阵 M 的 线性 无 关 的 列 集合 的 集合 构成 一 个 拟 阵 。 仔 细 解 释 
(co 和 (e) 的 结果 为 什么 不 矛盾 。 什 么 情况 下 边 集 无 环 与 关联 矩阵 中 对 应 列 集 合 线性 无 关 
这 两 个 问题 间 没 有 完美 的 对 应 关系 ? 

(调度 问题 变形 ) 对 16.5 节 中 带 截 止 时 间 和 惩罚 的 单位 时 间 任 务 调度 问题 ， 考 虑 如 下 算 

A. PMNS n SBA. EA i 为 单位 时 间 长 度 ， 结 束 于 时 刻 ;。 我 们 按 惩罚 值 

单调 递减 的 顺序 处 理 所 有 任务 。 当 处 理 任务 a; 时 ， 如 果 存 在 不 晚 于 a 的 截止 时 间 d; 的 空 

时 间 槽 ， 则 将 a; 分 配 到 其 中 最 晚 的 那个 。 如 果 不 存在 这 样 的 时 间 槽 ， 将 w 分 配 到 最 晚 的 

空 时 间 槽 。 

a. 证 明 : 此 算法 总 能 得 到 最 优 解 。 

b. 利用 21. 3 节 提 出 的 快速 不 相交 和 集合 森林 来 高 效 实现 此 算法 。 假 定 输入 任务 集合 已 经 按 
惩罚 值 单调 递减 的 顺序 排序 。 分 析 实 现 程序 的 运行 时 间 。 

(离线 缓存 ) 现代 计算 机 使 用 缓存 技术 将 少量 数据 保存 于 快速 内 存 中 。 虽 然 程 序 可 能 访问 

大 量 数据 ， 但 通过 将 主 存 中 少量 数据 保存 在 缓存 (cache) 容量 小 但 更 快 的 内 存 中 ， 还 

是 可 以 大 幅度 降低 访问 时 间 。 当 一 个 计算 机 程序 运行 时 ， 它 对 内 存 进行 nn 次 内 存 访 问 (ni， 

nn，*…，7,〉， 每 个 请 求 访问 一 个 特定 数据 元 素 。 例 如 ， 一 个 程序 访问 4 个 不 同 元 素 {a，。， 

c，d} ,访问 请 求 序列 为 (4d，b,，d， 5b，d，a，c，d，b，a，c，0b)。 令 为 缓存 的 规模 。 当 

缓存 已 经 保存 了 个 元 素 ， 而 程序 访问 第 (& 十 1) 个 元 素 时 ， 系 统 必须 决定 ， 对 于 此 访问 请 

求 及 之 后 的 请 求 ， 要 将 哪个 元 素 保存 在 缓存 中 。 更 准确 地 ， 对 每 个 请 求 i, RPMS 

法 检查 元 素 已 经 在 缓存 中 。 如 果 已 在 ， 就 产生 一 次 缓存 命中 (cache hit); 否则 ， 产 生 一 

次 缓存 未 命中 (cache miss)。 若 产生 缓存 未 命中 ， 系 统 从 主 存 中 提取 r;， 同 时 缓存 管理 算 

法 必须 决定 是 否 将 r: 保留 在 缓存 中 。 如 果 算 法 决定 保留 r 且 缓 存 中 已 经 保存 了 & 个 元 素 ， 

则 它 必须 将 某 个 元 素 逐 出 缓存 来 为 x; 腾 出 空间 。 缓 存 管理 算法 逐 出 数据 的 目标 是 在 处 理 整 

个 访问 请 求 序列 的 过 程 中 缓存 未 命中 的 次 数 最 少 。 

通常 ， 缓 存 管理 是 一 个 在 线 问题 。 也 就 是 说 ， 我 们 在 决定 将 哪些 数据 保留 在 缓存 中 
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时 ， 并 不 知道 未 来 的 访问 请 求 是 什么 。 但 是 ， 我 们 这 里 考虑 此 问题 的 离线 版 本 ， 即 预先 知 
道 完整 的 请 求 序列 (包含 ”个 访问 请 求 ) 及 缓存 规模 &， 目 标 仍 是 最 小 化 缓存 未 命中 次 数 。 
我 们 可 以 用 一 种 称 为 将 来 最 远 (furthest-in-future) 的 贪心 策略 求解 离线 缓存 问题 ， 此 
策略 选择 逐 出 缓存 的 数据 的 方法 是 选择 在 请 求 序列 中 下 一 次 访问 距离 最 远 的 数据 。 
a 编写 使 用 将 来 最 远 策略 的 缓存 管理 器 的 伪 代 码 。 输 入 是 请 求 序列 (rl ，r:，…，7,) 和缓 
存 规模 &， 输 出 为 决策 结果 序列 一 一 处 理 每 个 请 求 时 逐 出 缓存 的 是 哪个 数据 (如 果 需 要 
逐 出 )。 分 析 算 法 的 运行 时 间 。 
b. 证 明 : 离线 缓存 问题 具有 最 优 子 结构 性 质 。 
c. 证明: 将 来 最 远 策略 可 以 保证 最 小 缓存 未 命中 次 数 。 449 


本 章 注 记 

读者 可 以 在 Lawler[224] 及 Papadimitriou 和 Steiglitz[271] 的 书 中 找到 更 多 关于 贪心 算法 和 拟 
阵 的 内 容 。 

虽然 拟 阵 理论 早 在 WhitneyL355] 1935 年 的 文章 中 就 已 出 现 ， 但 贪心 算法 最 早 用 于 组 合 优化 
问题 的 文献 是 Edmonds[101] 1971 年 的 文章 。 

本 书 中 关于 活动 选择 问题 的 贪心 算法 正确 性 的 证 明基 于 Gavril[ 131] 的 证 明 ; Lawler 在 文献 
[224] 中 ，Horowitz、Sahni 和 Rajasekaran 在 文献 [181 ] 中 ，Brassard 和 Bratley 在 文献 L54] 中 都 
研究 过 任务 调度 问题 。 

赫 夫 曼 编码 是 1952 年 发 明 的 [185]; Lelewer 和 Hirschberg 在 文献 [231] 中 综述 了 1987 年 之 
前 的 数据 压缩 算法 。 

Korte 和 LovaszL216 一 219] 最 早 提出 了 广义 拟 阵 (greedoid) 理 论 ， 这 是 拟 阵 理论 的 一 种 扩展 ， 
极 大 地 推广 了 本 章 中 介绍 的 拟 阵 理论 。 
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在 摊 还 分 析 (amortized analysis) 中 ， 我 们 求 数据 结构 的 一 个 操作 序列 中 所 执行 的 所 有 操作 的 
平均 时 间 ， 来 评价 操作 的 代价 。 这 样 ， 我 们 就 可 以 说 明 一 个 操作 的 平均 代价 是 很 低 的 ， 即 使 序列 
中 某 个 单一 操作 的 代价 很 高 。 摊 还 分 析 不 同 于 平均 情况 分 析 ， 它 并 不 涉及 概率 ， 它 可 以 保证 最 坏 
情况 下 每 个 操作 的 平均 性 能 。 

本 章 前 三 节 介 绍 了 摊 还 分 析 中 最 常用 的 三 种 技术 。17.1 节 介 绍 聚 合 分 析 (aggregate 
analysis) ， 这 种 方法 用 来 确定 一 个 n 个 操作 的 序列 的 总 代价 的 上 界 T(n)。 因 而 每 个 操作 的 平均 
代价 为 T(n)/n。 我 们 将 平均 代价 作为 每 个 操作 的 摊 还 代价 ， 因 此 所 有 操作 具有 相同 的 挫 还 代价 。 

17. 2 节 介 绍 核算 法 (accounting method) ， 用 来 分 析 每 个 操作 的 摊 还 代价 。 当 存在 不 止 一 种 操 
作 时 ， 每 种 操作 的 摊 还 代价 可 能 是 不 同 的 。 核 算法 将 序列 中 某 些 较 早 的 操作 的 “余额 ” 
Covercharge) 作 为 “预付 信用 ”(prepaid credit) 储存 起 来 ， 与 数据 结构 中 的 特定 对 象 相关 联 。 在 操 
作 序 列 中 随后 的 部 分 ， 储 存 的 信用 即 可 用 来 为 那些 缴费 少 于 实际 代价 的 操作 支付 差额 。 

17. 3 节 讨 论 势 能 法 (potential method) ， 与 核算 法 类 似 ， 势 能 法 也 是 分 析 每 个 操作 的 摊 还 代价 ， 而 
且 也 是 通过 较 早 操作 的 余额 来 补偿 稍 后 操作 的 差额 。 势 能 法 将 信用 作为 数据 结构 的 “势能 ”储存 起 来 ， 
与 核算 法 不 同 ， 它 将 势能 作为 一 个 整体 储存 ， 而 不 是 将 信用 与 数据 结构 中 单个 对 象 关联 分 开 储存 。 

我 们 将 使 用 两 个 例子 来 介绍 这 三 种 方法 。 一 个 例子 是 带 有 额外 MULTIPOP 操作 的 栈 ， 该 操 
作 一 次 性 从 栈 中 弹出 多 个 对 象 。 另 一 个 例子 是 二 进 制 计数 器 ， 它 从 0 开始 计数 ， 通 过 
INCREMENT 操作 实现 计数 。 

当 学 习 本 章 时 ， 要 记 住 在 摊 还 分 析 中 赋予 对 象 的 费用 仅仅 是 用 来 分 析 而 已 ， 不 需要 也 不 应 
该 出 现在 程序 中 。 例 如 ， 在 利用 核算 法 进行 分 析 时 ， 如 果 我 们 将 一 定 的 信用 赋予 对 象 =， 那 么 并 
不 需要 在 程序 中 将 相应 的 值 赋予 对 象 的 某 个 属性 ， 如 x. credit. 

通过 做 摊 还 分 析 ， 通 常 可 以 获得 对 某 种 特定 数据 结构 的 认识 ， 这 种 认识 有 助 于 优化 设计 。 例 
如 ， 在 17.4 节 中 ， 我们 将 用 势能 法 分 析 一 个 动态 扩充 和 收缩 的 表 。 


17.1 聚合 分 析 


利用 聚合 分 析 ， 我 们 证 明 对 所 有 n， 一 个 n 个 操作 的 序列 最 坏 情 况 下 花费 的 总 时 间 为 TT(n)。 
因此 ， 在 最 坏 情 况 下 ， 每 个 操作 的 平均 代价 ， 或 摊 还 代价 为 T(n)/n。 注 意 ， 此 挫 还 代价 是 适用 
于 每 个 操作 的 ， 即 使 序列 中 有 多 种 类 型 的 操作 也 是 如 此 。 本 章 中 ,我 们 将 要 学 习 的 另外 两 种 方 
法 一 一 核算 法 和 势能 法 ， 对 不 同类 型 的 操作 可 能 赋予 不 同 的 摊 还 代价 。 

栈 操作 

第 一 个 聚合 分 析 的 例子 是 分 析 扩 充 了 新 操作 的 栈 。10. 1 节 提 出 了 两 种 基本 的 栈 操作 ， 时 间 
复杂 性 均 为 OO): 

PUSH(S, x): HIA r EARS 中 。 

POP(S): 将 栈 S 的 栈 顶 对 象 弹 出 ， 并 返回 该 对 象 。 对 空 栈 调用 POP 会 产生 一 个 错误 。 

由 于 两 个 操作 都 是 O(1) 时 间 的 ， 我 们 假定 其 代价 均 为 1。 因 此 一 个 个 PUSH 和 POP 操作 
的 序列 的 总 代价 为 x， 而 个 操作 的 实际 运行 时 间 为 Oa). 

我 们 现在 增加 一 个 新 的 栈 操作 MULTIPOPCS, k), CMRE S 栈 顶 的 & 个 对 象 ， 如 果 栈 中 
对 象 数 少 于 &， 则 将 整个 栈 的 内 容 都 弹出 。 当 然 ， 我 们 假定 & 是 正 整数 ， 否 则 MULTIPOP 会 保 
持 栈 不 变 。 在 下 面 的 伪 代 码 中 ，STACK-EMPTY 在 当前 栈 中 没有 任何 对 象 时 返回 TRUE, AM 
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返回 FALSE。 

MULTIPOP(S, k) 

1 while not STACK-EMPTY(S) and £>0 

2 POPS) 

sb 

图 17-1 给 出 了 MULTIPOP 的 一 个 例子 。 

在 一 个 包含 ;个 对 象 的 栈 上 执行 MULTIPOP(S,，&) 操 作 的 运行 时 间 应 该 是 怎样 的 呢 ?” 真 正 的 运 
行 时 间 是 与 实际 执行 的 POP 操作 的 次 数 呈 线 








性 关系 的 ， 因 此 ， 我 们 可 以 用 PUSH 和 POP 

操作 的 抽象 代价 1 来 分 析 描述 MULTIPOP 的 39 

代价 。while 循环 执行 的 次 数 等 于 从 栈 中 弹出 = a ie 

的 对 象 数 ， 等 于 min(s，&) 。 每 个 循环 步调 用 ay T r 





一 次 POP( 第 2 行 )。 因 此 ，MULTIPOP 的 总 


. 运行 时 图 17-1 对 栈 S 进行 MULTIPOP 操作 ， 栈 的 初始 
代价 为 min(s，A) ， 而 真正 的 运行 时 间 为 此 代 格局 如 (Ca) 所 示 。 通 过 MULTIPOP(S, 4) 


价 的 线性 函数 。 弹出 栈 顶 4 个 对 象 ， 结果 如 (b) 所 示 。 因 
我 们 来 分 析 一 下 一 个 由 n 个 PUSH, POP 为 栈 中 剩 下 的 对 象 不 足 7 个 ， 下 一 个 操作 
和 MULTIPOP 组 成 的 操作 序列 在 一 个 空 栈 上 MULTIPOP(CS，7) 将 栈 清 空 ， 如 (c) 所 示 


的 执行 情况 。 序 列 中 一 个 MULTIPOP 操作 的 最 坏 情 况 代 价 为 O(n)， 因 为 栈 的 大 小 最 大 为 x。 因 
此 ,任意 一 个 栈 操 作 的 最 坏 情况 时 间 为 O(n)， 从 而 一 个 nn 个 操作 的 序列 的 最 坏 情况 代价 为 
O(2 )， 因 为 序列 可 能 包含 O(n) 个 MULTIPOP 操作 ， 每 个 的 执行 代价 为 O(n)。 虽 然 这 个 分 析 是 
正确 的 ， 但 我 们 通过 单独 分 析 每 个 操作 的 最 坏 情 况 代 价 得 到 的 操作 序列 的 最 坏 情 况 时 间 OC’) 
并 不 是 一 个 确 界 。 

通过 使 用 聚合 分 析 ， 我 们 考虑 整个 序列 的 ”个 操作 ， 可 以 得 到 更 好 的 上 界 。 实 际 上 ， 虽 然 一 
个 单独 的 MULTIPOP 操作 可 能 代价 很 高 ， 但 在 一 个 空 栈 上 执行 半 个 PUSH, POP 和 
MULTIPOP 的 操作 序列 ， 代 价 至 多 是 O(n) 。 这 是 为 什么 呢 ? 当 将 一 个 对 象 压 人 栈 后 ， 我 们 至 多 
将 其 弹出 一 次 。 因 此 ， 对 一 个 非 空 的 栈 ， 可 以 执行 的 POP 操作 的 次 数 ( 包 括 了 MULTIPOP 中 调 
用 POP 的 次 数 ) 最 多 与 PUSH 操作 的 次 数 相 当 ， 即 最 多 nn 次 。 因 此 ， 对 任意 的 nn 值 ， 任 意 一 个 由 
n 个 PUSH、POP 和 MULTIPOP 组 成 的 操作 序列 ， 最 多 花费 O(n) 时 间 。 一 个 操作 的 平均 时 间 为 
O(n)/n 二 OC(1)。 在 聚合 分 析 中 ， 我 们 将 每 个 操作 的 挫 还 代价 设 定 为 平均 代价 。 因 此 ， 在 此 例 中 ， 
所 有 三 种 栈 操作 的 摊 还 代价 都 是 O). 

再 次 强调 ， 虽 然 我 们 已 经 证 明 一 个 栈 操 作 的 平均 代价 ， 也 就 是 平均 运行 时 间 为 O(1) ， 但 并 
未 使 用 概率 分 析 。 我 们 实际 上 得 出 的 是 一 个 =” 个 操作 的 序列 的 最 坏 情 况 运行 时 间 O(z) ， 再 除 以 = 
得 到 了 每 个 操作 的 平均 代价 ， 或 者 说 摊 还 代价 。 

二 进 制 计数 器 递增 

作为 聚合 分 析 的 另 一 个 例子 ， 我 们 来 看 一 个 & 位 二 进 制 计数 器 递增 的 问题 ， 计 数 器 的 初 值 为 
0。 我 们 用 一 个 位 数组 ALO. .一 1j 作 为 计数 器 ， 其 中 A. length 二 k&。 当 计数 器 中 保存 的 二 进 制 值 


Act}, r 的 最 低位 保存 在 AL0j] 中 ， 而 最 高 位 保存 在 A[k 一 1] 中 ， 因 此 z= S ALi] “2 。 初 始 
时 xz 二 0， 因 此 对 所 有 i 二 0，1，…，k 一 1，A[ 引 二 0。 为 了 将 1( 模 2) 加 到 计数 器 的 值 上 ， 我 们 使 
用 如 下 过 程 : 


INCREMENT(A) 
1 i=0 
2 whilei < A. length and A[i]==1 
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3 A[i]=0 

4 i 二 i 十 1 

5 ifi <A. length 
6 A[i]=1 


图 17-2 显示 了 将 一 个 二 进 制 计数 器 递增 16 次 的 情况 ， 初 始 值 为 0， 最 终 变 为 16。 当 每 次 开 
始 执行 第 2 一 4 行 的 while 循环 时 ， 我们 希望 将 1 加 在 第 i 位 上 。 如 果 ALij 二 1， 那 么 加 1 操作 会 将 
第 ;位 翻转 为 0， 并 产生 一 个 进位 一 一 在 下 一 步 循环 迁 代 时 将 1 加 到 第 ;十 1 位 上 。 和 否则 ， 循 环 结 
R, EHER ;<&A， 我 们 知道 A[ 可 于 0， 因 此 第 6 行将 1 加 到 第 ;位 上 一 一 将 第 ;位 翻转 为 1。 每 
次 INCREMENT 操作 的 代价 与 翻转 的 二 进 制 位 的 数目 呈 线 性 关系 。 

与 上 一 个 关于 栈 的 例子 类 似 ， 对 此 算法 的 运行 时 间 进 行 粗略 的 分 析 会 得 到 一 个 正确 但 不 紧 
的 界 。 最 坏 情况 下 INCREMENT 执行 一 次 花费 9(C&) 时 间 ， 最 坏 情 况 当 数 组 A 所 有 位 都 为 1 时 发 
生 。 因 此 ， 对 初 值 为 0 的 计数 器 执行 2 个 INCREMENT 操作 最 坏 情况 下 花费 OCnk) 时 间 。 











| 计数 器 值 AT) 4[6] ALS] 4[4] 4[3] 4[2] A] 4[0 总 代价 
0 E D E w 0 
1 0 0 0 0 1 
2 0 o wp 3 
3 0 0 0 0 4 
4 0 0 0 0 7 
5 o 6 0 ð 8 
6 0 ¢ oO 0 10 
7 0 0 0 0 11 
8 0 0 0 0 15 
9 oo 0 0 16 
10 o © 8 «4 18 
11 0 0 0 0 19 
12 o 0. v ü 22 
13 O 0p 23 
14 oO 0 25 
15 0 0 ai 26 
16 0 0 ô 31 











图 17-2 一 个 8 位 的 二 进 制 计数 器 ， 经 过 16 次 的 INCREMENT 操作 ， 其 值 从 0 增长 到 16。 发 生 翻 转 
而 取得 下 不信 的 位 加 了 阴影 ， 右边 给 出 了 位 翻转 所 需 的 运行 代价 。 注 意 总 代价 始终 不 超过 
INCREMENT 操作 总 次 数 的 2 售 


对 于 ”个 INCREMENT 操作 组 成 的 序列 ， 我们 可 以 得 到 一 个 更 紧 的 界 一 一 最 坏 情况 下 代价 
为 O(n)， 因 为 不 可 能 每 次 INCREMENT 操作 都 翻转 所 有 的 二 进 制 位 。 如 图 17-2 所 示 ， 每 次 调 
用 INCREMENT 时 AL0j] 确 实 都 会 翻转 。 而 下 一 位 AL1]， 则 只 是 每 两 次 调用 翻转 一 次 ， 这 样 ， 
对 一 个 初 值 为 0 的 计数 器 执行 一 个 ”个 INCREMENT 操作 的 序列 ， 只 会 使 AL1] 翻 转 | n/2 I. 
类 似 地 ，A[2J 每 4 次 调用 才 翻 转 一 次 ， 即 执行 一 个 ”个 INCREMENT 操作 的 序列 的 过 程 中 翻转 
Ln/4 吹 。 一 般 地 ， 对 一 个 初 值 为 0 的 计数 器 ， 在 执行 一 个 由 ?个 INCREMENT 操作 组 成 的 序列 
Wate, ALS RL n/2' WeG=0, 1, +, k—1), Milk, ALARA, ARRAS 
转 。 因 此 ， 由 公式 (A. 6) 知 ， 在 执行 INCREMENT 序列 的 过 程 中 进行 的 翻转 操作 的 总 数 为 


3 lz |< n>) =n 
因此 ， 对 一 个 初 值 为 0 的 计数 器 ， 执 行 一 个 n 个 INCREMENT 操作 的 序列 的 最 坏 情 况 时 间 为 
O(Cz) 。 每 个 操作 的 平均 代价 ， 即 摊 还 代价 为 O(n)/n 二 O01)。 
练习 


17.1-1 如 果 栈 操作 包括 MULTIPUSH 操作 ， 它 将 & 个 数据 项 压 人 栈 中 ， 那 么 栈 操作 的 摊 还 代 
价 的 界 还 是 OC(1) 吗 ? 
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17. 1-2 证 明 : 如 果 有 位 计数 器 的 例子 中 允许 DECREMENT 操作 ， 那 么 2 个 操作 的 运行 时 间 可 
能 达到 O(nk). 

17.1-3 ”假定 我 们 对 一 个 数据 结构 执行 一 个 由 n 个 操作 组 成 的 操作 序列 ， 当 i 严格 为 2 EY, 
第 ;个 操作 的 代价 为 ?， 否 则 代价 为 1。 使 用 聚合 分 析 确 定 每 个 操作 的 摊 还 代价 。 


17.2 核算 法 

用 核算 法 (accounting method) 进 行 摊 还 分 析 时 ， 我 们 对 不 同 操作 赋予 不 同 费 用 ， 赋 予 某 些 操 
作 的 费用 可 能 多 于 或 少 于 其 实际 代价 。 我 们 将 赋予 一 个 操作 的 费用 称 为 它 的 摊 还 代价 。 当 一 个 
操作 的 摊 还 代价 超出 其 实际 代价 时 ， 我 们 将 差额 存 人 数据 结构 中 的 特定 对 象 ， 存 人 的 差额 称 为 
信用 。 对 于 后 续 操 作 中 摊 还 代价 小 于 实际 代价 的 情况 ， 信 用 可 以 用 来 支付 差额 。 因 此 ， 我 们 可 以 
将 一 个 操作 的 摊 还 代价 分 解 为 其 实际 代价 和 信用 ( 存 人 的 或 用 掉 的 )。 不 同 的 操作 可 能 有 不 同 的 
摊 还 代价 。 这 种 方法 不 同 于 聚合 分 析 中 所 有 操作 都 赋予 相同 摊 还 代价 的 方式 。 

我 们 必须 小 心地 选择 操作 的 摊 还 代价 。 如 果 我 们 希望 通过 分 析 摊 还 代价 来 证 明 每 个 操作 的 
平均 代价 的 最 坏 情 况 很 小 ， 就 应 确保 操作 序列 的 总 摊 还 代价 给 出 了 序列 总 真实 代价 的 上 界 。 而 
且 ， 与 聚合 分 析 一 样 ， 这 种 关系 必须 对 所 有 操作 序列 都 成 立 。 如 果 用 c; 表示 第 i 个 操作 的 真实 代 
Br FAC: 表示 其 摊 还 代价 ， 则 对 任意 = 个 操作 的 序列 ， 要 求 
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数据 结构 中 存储 的 信用 恰好 等 于 总 摊 还 代价 与 总 实际 代价 的 差 值 ， WD a Se, 由 不 等 


式 (17.1) 知 ， 数 据 结构 所 关联 的 信用 必须 一 直 为 非 负 值 。 如 果 在 某 个 步 又 ， 我 们 允许 信用 为 负 什 
(前 面 操作 缴费 不 足 ， 承 诺 在 随后 补 齐 账户 欠 费 )， 那 么 当时 的 总 摊 还 代价 就 会 低 于 总 实际 代价 ， 
对 于 到 那个 时 刻 为 止 的 操作 序列 ， 总 摊 还 代价 就 不 再 是 总 实际 代价 的 上 界 了 。 因 此 ， 我 们 必须 注 
意 保 持 数 据 结 构 中 的 总 信用 永远 为 非 负 值 。 

栈 操 作 

为 了 说 明 摊 还 分 析 的 核算 法 ， 我 们 回 到 栈 的 例子 。 回 顾 前 面 的 内 容 ， 操 作 的 实际 代价 为 

PUSH 1 


POP 1 
MULTIPOP min(k, s) 
其 中 是 提供 给 MULTIPOP 的 参数 ，* 是 调用 时 栈 的 规模 。 我 们 为 这 些 操作 赋予 如 下 挫 还 
代价 : 
PUSH 2 
POP 0 
MULTIPOP 0 


注意 ，MULTIPOP 的 摊 还 代价 是 一 个 常数 (0) ， 而 其 实际 代价 是 变量 。 在 此 例 中 ， 所 有 三 个 摊 还 
代价 都 是 常数 。 一 般 来 说 ， 所 考虑 的 操作 的 摊 还 代价 可 能 各 不 相同 ， 渐 近 性 也 可 能 不 同 。 

我 们 将 证 明 ， 通 过 按 摊 还 代价 缴费 ， 我 们 可 以 支付 任意 的 栈 操作 序列 (的 实际 代价 ) 。 假 定 使 
用 1 美元 来 表示 一 个 单位 的 代价 。 我 们 从 一 个 空 栈 开始 。 回 忆 10. 1 节 中 数据 结构 栈 和 自助 餐 店 
里 一 又 盘 子 间 的 类 比 。 当 将 一 个 盘子 放 在 一 又 盘子 的 最 上 面 ， 我 们 用 1 美元 支付 压 栈 操作 的 实际 
代价 ， 将 剩余 的 1 美元 存 为 信用 ( 共 缴 费 2 美元 ) 。 在 任何 时 间 点 ， 栈 中 的 每 个 盘子 都 存储 了 与 之 
对 应 的 1 美元 的 信用 。 

每 个 盘子 存储 的 1 美元 ， 实 际 上 是 作为 将 来 它 被 弹出 栈 时 代价 的 预付 费 。 当 执行 一 个 POP 
操作 时 ， 并 不 缴纳 任何 费用 ， 而 是 使 用 存储 在 栈 中 的 信用 来 支付 其 实际 代价 。 为 了 弹出 一 个 盘 
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子 ， 我 们 取出 此 盘子 的 1 美元 的 信用 来 支付 POP 操作 的 实际 代价 。 因 此 ， 通 过 为 PUSH 操作 多 


缴 一 点 费 ， 我 们 可 以 在 POP 时 不 缴纳 任何 费用 。 


mE, XF MULTIPOP 操作 ， 我 们 也 可 以 不 缴纳 任何 费用 。 为 了 弹出 第 一 个 盘子 ， 我 们 将 
其 1 美元 信用 取出 来 支付 此 POP 操作 的 实际 代价 。 为 了 弹出 第 二 个 盘子 ， 我 们 再 次 取出 盘子 的 1 
美元 信用 来 支付 此 POP 操作 的 实际 代价 ， 依 此 类 推 。 因此， 预付 的 费用 总 是 足够 支付 
MULTIPOP 操作 的 代价 。 换 句 话 说 ， 由 于 栈 中 的 每 个 盘子 都 存 有 1 美元 的 信用 ， 而 栈 中 的 盘子 
数 始终 是 非 负 的 ， 因 此 可 以 保证 信用 值 也 总 是 非 负 的 。 因 此 ， 对 任意 对 个 PUSH、POP、 
MULTIPOP 操作 组 成 的 序列 ， 总 摊 还 代价 为 总 实际 代价 的 上 界 。 由 于 总 摊 还 代价 为 O(n)， 因 此 
总 实际 代价 也 是 。 

二 进 制 计 数 器 递增 

作为 核算 法 的 另 一 个 例子 ， 我 们 分 析 在 一 个 从 0 开始 的 二 进 制 计数 器 上 执行 INCREMENT 
操作 。 如 我 们 之 前 所 观察 到 的 ， 此 操作 的 运行 时 间 与 翻转 的 位 数 成 正比 ， 因 此 对 此 例 ， 可 以 将 翻 
转 的 位 数 作为 操作 的 代价 。 我 们 再 次 使 用 1 美元 表示 一 个 单位 的 代价 (在 此 例 中 是 翻转 1 位 ) 。 

在 摊 还 分 析 中 ， 对 一 次 置 位 操作 ， 我 们 设 其 摊 还 代价 为 2 美元 。 当 进行 置 位 时 ， 用 1 美元 支 
付 置 位 操作 的 实际 代价 ， 并 将 另外 1 美元 存 为 信用 ， 用 来 支付 将 来 复位 操作 的 代价 。 在 任何 时 
刻 ， 计 数 器 中 任何 为 1 的 位 都 存 有 1 美元 的 信用 ， 这 样 对 于 复位 操作 ， 我 们 就 无 需 缴纳 任何 费 
用 ,使 用 存储 的 1 美元 信用 即 可 支付 复位 操作 的 代价 。 

现在 可 以 确定 INCREMENT 的 摊 还 代价 。while 循环 中 复位 操作 的 代价 用 该 位 储存 的 1 美元 
来 支付 。INCREMENT 过 程 至 多 置 位 一 次 (第 6 行 )， 因 此 ， 其 摊 还 代价 最 多 为 2 美元 。 计 数 器 
中 1 的 个 数 永远 不 会 为 负 ， 因 此 ， 任 何 时 刻 信用 值 都 是 非 负 的 。 所 以 ， 对 于 ”个 INCREMENT 
操作 ， 总 摊 还 代价 为 O(n)， 为 总 实际 代价 的 上 界 。 


练习 

17.2-1 假定 对 一 个 规模 永远 不 会 超过 的 栈 执行 一 个 栈 操作 序列 。 执 行 x 个 操作 后 ， 我 们 复制 
整个 栈 来 进行 备份 。 通 过 为 不 同 的 栈 操作 赋予 适合 的 摊 还 代价 ， 证 明 : ?个 栈 操作 ( 包 
括 复制 栈 ) 的 代价 为 On). 

17.2-2 用 核算 法 重 做 练习 17. 1-3。 

17.2-3 ”假定 我 们 不 仅 对 计数 器 进行 增 1 操作 ， 还 会 进行 置 0 操作 (即将 所 有 位 复位 )。 设 检测 或 
修改 一 个 位 的 时 间 为 8(1)， 说 明 如 何 用 一 个 位 数组 来 实现 计数 器 ， 使 得 对 一 个 初 值 为 0 
的 计数 器 执行 一 个 由 任意 ”个 INCREMENT 和 RESET 操作 组 成 的 序列 花费 时 间 O). 
(提示 : 维护 一 个 指针 一 直 指 向 最 高 位 的 1。) 


17.3 势能 法 

势能 法 摊 还 分 析 并 不 将 预付 代价 表示 为 数据 结构 中 特定 对 象 的 信用 ， 而 是 表示 为 “势能 "， 或 
简称 “ 势 "， 将 势能 释放 即 可 用 来 支付 未 来 操作 的 代价 。 我 们 将 势能 与 整个 数据 结构 而 不 是 特定 对 
象 相关 联 。 

势能 法 工作 方式 如 下 。 我 们 将 对 一 个 初始 数据 结构 D 执行 n 个 操作 。 对 每 个 i=1，2，…， 
n, Q ci 为 第 ; 个 操作 的 实际 代价 ， 令 D: 为 在 数据 结构 D 上 执行 第 i 个 操作 得 到 的 结果 数据 结 
构 。 势 函数 外 将 每 个 数据 结构 D; 映射 到 一 个 实数 BCD;)， 此 值 即 为 关联 到 数据 结构 D; 的 势 。 第 
i 个 操作 的 摊 还 代价 6 用 势 函数 O ELN: 

ĉ& = a BD) — CDa) A7.2 

因此 ， 每 个 操作 的 摊 还 代价 等 于 其 实际 代价 加 上 此 操作 引起 的 势能 变化 。 由 公式 (17. 2), 2 个 操 
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作 的 总 摊 还 代价 为 
Ia = È a +E) BD) = Xa +D) — DD) (17. 3) 
第 二 个 等 式 是 根据 公式 CA. 9) 推 导出 来 的 ， 因 为 @(D,) 项 是 交 答 的， 可 以 消去 。 
如 果 能 定义 一 个 势 函数 四， 使 得 ODDO), WEARER X) 2 给 出 了 总 实际 代价 


Me 的 一 个 上 界 。 实 际 中 ， 我 们 不 是 总 能 知道 将 要 执行 多 少 个 操作 。 因 此 ， 如 果 对 所 有 i RN 


要 求 @(CDj) 三 @(Du)， 则 可 以 像 核算 法 一 样 保证 总 能 提前 支付 。 我 们 通常 将 BCD,) 简 单 定义 为 0， 
然后 说 明 对 所 有 i, A B(D;) 宇 0。( 处 理 的 一 种 简单 方法 参见 练习 17. 3-1， 其 中 OCD,)40.) 

直觉 上 ， 如 果 第 i 个 操作 的 势 差 B(D;) 一 BC(D; 1) 是 正 的 ， 则 摊 还 代价 6; 表示 第 i 个 操作 多 付 
费 了 ， 数 据 结构 的 势 增加 。 如 果 势 差 为 负 ， 则 摊 还 代价 表示 第 i 个 操作 少 付费 了 ， 势 减少 用 于 文 
付 操作 的 实际 代价 。 

ARAT 2) 和 公式 (17. 3) 定 义 的 摊 还 代价 依赖 于 势 函数 @ 的 选择 。 不 同 的 势 函数 会 产生 不 
同 的 摊 还 代价 ， 但 摊 还 代价 仍 为 实际 代价 的 上 界 。 在 选择 势 函数 时 ， 我 们 常常 发 现 可 以 做 出 一 定 
的 权衡 ， 是 否 使 用 最 佳 势 函 数 依 赖 于 对 时 间 界 的 要 求 。 

栈 操作 

为 了 展示 势能 法 ， 我 们 再 次 回 到 栈 操作 PUSH, POP 和 MULTIPOP 的 例子 。 我 们 将 一 个 栈 
的 势 函数 定义 为 其 中 的 对 象 数 量 。 对 于 初始 的 空 栈 D,， 我 们 有 B(D,) 二 0。 由 于 栈 中 对 象 数 目 永 
远 不 可 能 为 负 ， 因 此 ， 第 ; 步 操作 得 到 的 栈 D; 具有 非 负 的 势 ， 即 

®(D,) > 0 = BD,) 

FA. FA 旬 定 义 的 个 操作 的 总 挫 还 代价 即 为 实际 代价 的 一 个 上 界 。 

下 面 计算 不 同 栈 操作 的 挫 还 代价 。 如 果 第 i 个 操作 是 PUSH 操作 ， 此 时 栈 中 包含 s THR, 
则 势 差 为 

D) — ®(D,,) = (s+1)—s=1 
则 由 公式 (17.2)，PUSH 操作 的 摊 还 代价 为 
2 = c, + ®(D;) — ®(D;,) =14+1=2 
假设 第 i 个 操作 是 MULTIPOP(S, k), 将 &' 二 min(k&，s) 个 对 象 弹 出 栈 。 对 象 的 实际 代价 为 &'， 
势 差 为 
D) — (Da) =—k' 
Alte, MULTIPOP 的 挫 还 代价 为 
é; = ca + ®(D,) — Da) = k' —k' =0 

类 似 地 ， 普 通 POP 操作 的 摊 还 代价 也 为 0。 

每 个 操作 的 摊 还 代价 都 是 O(1)， 因 此 ，n 个 操作 的 总 摊 还 代价 为 O(n)。 由 于 我 们 已 经 论证 
了 @(D,) 宇 BC(D。)， 因 此 ，n 个 操作 的 总 挫 还 代价 为 总 实际 代价 的 上 界 。 所 以 n 个 操作 的 最 坏 情 
况 时 间 为 O(n)。 

二 进 制 计数 器 递增 

作为 势能 法 的 另 一 个 例子 ， 我 们 再 次 分 析 二 进 制 计数 器 递增 问题 。 这 一 次 ， 我 们 将 计数 器 执 
行 i 次 INCREMENT 操作 后 的 势 定 义 为 6 一 一 i 次 操作 后 计数 器 中 1 的 个 数 。 

我 们 来 计算 INCREMENT 操作 的 摊 还 代价 。 假 设 第 ;个 INCREMENT 操作 将 个 位 复位 ， 
则 其 实际 代价 至 多 为 十 1， 因 为 除了 复位 去 个 位 之 外 ， 还 至 多 置 位 1 位 。 如 果 5; 二 0， 则 第 i 个 
操作 将 所 有 位 都 复位 了 ， 因 此 b= tik, WE O.>0, M b =b ttl KMRL, 
bibim tit L 势 差 为 
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PDD — (Da) S (4 — t +) 一 六 1 = 1 tt 
因此 ， 摊 还 代价 为 
2 = ¢, + BD)— DD) < @; + HA) 一 2 

如 果 计 数 器 从 0 开始 ， 则 OCD) =0. HFMMRA WA OCD)>0, Alt, 一 个 nn 个 
INCREMENT 操作 的 序列 的 总 摊 还 代价 是 总 实际 代价 的 上 界 ， 所 以 ”个 INCREMENT 操作 的 最 
坏 情 况 时 间 为 O). 

势能 法 给 出 了 分 析 计 数 器 问题 的 一 个 简单 方法 ， 即 使 计数 器 不 是 从 0 开始 也 可 以 分 析 。 计 数 
器 初始 时 包含 b 个 1， 经 过 nn 个 INCREMENT 操作 后 包含 6, +1, HPO, 6,< CART 
文 ,& 是 计数 器 二 进 制 位 的 数目 )。 于 是 可 以 将 公式 (17. 3) 改 写 为 


a = >) &— @D,) + OD.) (17. 4) 


对 所 有 l<i<n, RAE. 由 于 @(D,)— =b H ®(D,)=b,, nn 个 INCREMENT 操作 的 总 实际 
代价 为 


Jas Ji 十 b = 2n— b, +b 


特别 要 注意 ， 由 于 baok, 因此 只 4 要 k= O(n), 总 实际 代价 就 是 OC). ATL, BNR BD HT 
n= (k)“* INCREMENT 操作 ， 不 管 计数 器 初 值 是 什么 ， 总 实际 代价 都 是 OG. 


练习 


17.3-1 假定 有 势 函 数 ®， 对 所 有 i 满足 OCD) >SOCD,), 但 B(D,) 关 0。 证 明 : 存在 势 函数 D, 
使 得 @'(D,) 二 0， 对 所 有 iS 1 满足 B'(D;) 宇 0， 且 使 用 @' 的 挫 还 代价 与 使 用 @ 的 挫 还 代 
价 相 同 。 

17.3-2 使 用 势能 法 重 做 练习 17. 1-3. 

17.3-3 ”考虑 一 个 包含 个 元 素 的 普通 二 又 最 小 堆 数据 结构 ， 它 支持 INSERT 和 EXTRACT-MIN 
操作 ， 最 坏 情况 时 间 均 为 O(lgn)。 给 出 一 个 势 函 数 ®， 使 得 INSERT 操作 的 摊 还 代价 为 
Ogn), mi EXTRACT-MIN 操作 的 摊 还 代价 为 0(1)， 证 明 它 是 正确 的 。 

17.3-4 执行 2 个 PUSH、POP 和 MULTIPOP 栈 操 作 的 总 代价 是 多 少 ? 假定 初始 时 栈 中 包含 s 
个 对 象 ， 结 束 后 包含 s, 个 对 象 。 

17.3-5 ”假定 计数 器 初 值 不 是 0， 而 是 包含 5 个 1 的 二 进 制 数 。 证 明 : A n=), WRAT nA 
INCREMENT 操作 的 代价 为 On). PEBRE b EWE.) 

17.3-6 证 明 : 如 何 用 两 个 普通 的 栈 实现 一 个 队列 (练习 10. 1-6), 使 得 每 个 ENQUEUE 和 
DEQUEUE 操作 的 摊 还 代价 为 0(1)。 

17.3-7 ”为 动态 整数 多 重 集 S( 人 允许 包含 重复 值 ) 设 计 一 种 数据 结构 ， 支 持 如 下 两 个 操作 : 
INSERT(S, xz) 将 zx 插入 S 中 。 
DELETE-LARGER-HALF(S) 将 最 大 的 [| S| /2 | 个 元 素 从 S 中 删除 。 
解释 如 何 实 现 这 种 数据 结构 ， 使 得 任意 mx 个 INSERT 和 DELETE-LARGER-HALF 操作 的 
序列 能 在 OCm) 时 间 内 完成 。 还 要 实现 一 个 能 在 OC| S| ) 时 间 内 输出 所 有 元 素 的 操作 。 


17.4 JER 

对 某 些 应 用 程序 ， 我 们 可 能 无 法 预先 知道 它 会 将 多 少 个 对 象 存储 在 表 中 。 我 们 为 一 个 表 分 
配 一 定 的 内 存 空间 ， 随 后 可 能 会 发 现 不 够 用 。 于 是 必须 为 其 重新 分 配 更 大 的 空间 ， 并 将 所 有 对 象 
从 原 表 中 复制 到 新 的 空间 中 。 类 似 地 ， 如 果 从 表 中 删除 了 很 多 对 象 ， 可 能 为 其 重新 分 配 一 个 更 小 
的 内 存 空间 就 是 值得 的 。 在 本 节 中 ， 我 们 研究 这 种 动态 扩张 和 收缩 表 的 问题 。 我 们 将 使 用 摊 还 分 
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析 证 明 ， 虽 然 插 入 和 删除 操作 可 能 会 引起 扩张 或 收缩 ， 从 而 有 较 高 的 实际 代价 ， 但 它们 的 摊 还 代 
价 都 是 O(1) 。 而 且 ， 我 们 将 看 到 如 何 保 证 动态 表 中 的 空闲 空间 相对 于 总 空间 的 比例 永远 不 超过 
一 个 常量 分 数 。 

我 们 假定 动态 表 支 持 TABLE-INSERT 和 TABLE-DELETE 操作 。TABLE-INSERT 将 一 个 
数据 项 插入 表 中 ， 它 占用 一 个 覃 (slot) ， 即 保存 一 个 数据 项 的 空间 。 同 样 ，TABLE-DELETE 从 
表 中 删除 一 个 数据 项 ， 从 而 释放 一 个 槽 。 用 什么 样 的 数据 结构 来 组 织 动态 表 并 不 重要 : 我 们 可 以 
使 用 栈 (10. 1 节 )、 堆 (第 6 章 ) 或 者 散 列 表 ( 第 11 章 ) 。 我 们 也 可 以 使 用 数组 或 数组 集 来 实现 对 象 
的 存储 ， 如 10. 3 节 中 的 方法 。 

我 们 会 发 现 ， 分 析 散 列 方法 时 (第 11 章 ) 引 入 的 一 个 概念 用 于 本 节 可 以 方便 挫 还 分 析 。 我 们 
将 一 个 非 空 表 工 的 装载 因子 a( 了 T) 定 义 为 表 中 存储 的 数据 项 的 数量 除 以 表 的 规模 ( 槽 的 数量 )。 我 
们 赋予 空 表 ( 没 有 数据 项 ) 的 规模 为 0， 并 将 其 装载 因子 定义 为 1。 如 果 一 个 动态 表 的 装载 因子 被 
限定 在 一 个 常量 之 下 ， 则 其 空闲 空间 相对 于 总 空间 的 比例 永远 也 不 会 超过 一 个 常数 。 

我 们 首先 分 析 只 允许 插 和 人 数据 项 的 情况 ， 然 后 考虑 既 允 许 插入 也 允许 删除 的 一 般 情况 。 


17.4.1 RYK 


我 们 假定 表 的 存储 空间 是 一 个 槽 的 数组 。 当 所 有 槽 都 已 被 使 用 时 ， 表 被 填 满 ， 此 时 装载 因子 
为 13 。 在 某 些 软件 环境 中 ， 当 试图 向 一 个 满 的 表 插 入 一 个 数据 项 时 ， 唯 一 的 选择 是 报错 退出 。 
但 我 们 假定 ， 我 们 的 软件 环境 与 很 多 现代 软件 系统 一 样 ， 提 供 了 一 个 内 存 管理 系统 ， 可 以 根据 要 
求 分 配 和 释放 内 存 块 。 因 此 ， 当 试图 向 一 个 满 的 表 插 入 一 个 数据 项 时 ， 我 们 可 以 扩张 表 一 一 分 配 
一 个 包含 更 多 槽 的 新 表 。 由 于 我 们 总 是 需要 表 位 于 连续 的 内 存 空 间 中 ， 因 此 必须 为 更 大 的 新 表 
分 配 一 个 新 的 数组 ， 然 后 将 数据 项 从 旧 表 复制 到 新 表 中 。 

一 个 常用 的 分 配 新 表 的 启发 式 策略 是 : 为 新 表 分 配 2 倍 于 旧 表 的 模 。 如 果 只 人 允许 插入 操作 ， 
那么 装载 因子 总 是 保持 在 1/2 以 上 ， 因 此 ， 浪 费 的 空间 永远 不 会 超过 总 空间 的 一 半 。 

在 下 面 的 伪 代 码 中 ， 我 们 假定 工 是 一 个 对 象 ， 对 应 表 。 属 性 T. table 保存 指向 表 的 存储 空间 
的 指针 ，T. num 保存 表 中 的 数据 项 数量 ，T size 保存 表 的 规模 ( 槽 数 )。 初 始 时 令 表 为 空 : 
T. num=T. size=0, 

TABLE-INSERT(T, x) 

if T. size==0 
allocate T. table with 1 slot 
T- size =1 


if T. num==T. size 


1 
2 
3 
4 
5 allocate newrtable with 2 + T. size slots 
6 insert all items in T. table into newrtable 
了 free T. table 

8 T. table=newrtable 

9 T. size =2 « T. size 

10 insert x into T. table 

11 T. num=T. num+1 


注意 ， 此 处 有 两 个 “ 插 人 ”过 程 : TABLEINSERT 自身 及 第 6 行 和 第 10 行 的 基本 插入 
(elementary insertion) 过 程 。 我 们 可 以 将 每 次 基本 插入 操作 的 代价 设 定 为 1， 然 后 用 基本 插入 操 
作 的 次 数 来 描述 TABLE-INSERT 的 运行 时 间 。 假 定 TABLE-INSERT 的 实际 运行 时 间 与 插入 数 


O 在 某 些 情况 下 ,例如 在 一 个 开 地 址 的 散 列表 中 ， 我 们 可 能 将 表 满 定义 为 装载 因子 等 于 某 个 严格 小 于 1 的 常数 ( 参 
见 练习 17. 4-1)。 





464 


266 + 第 四 部 分 高 级 设计 和 分 析 技术 


[465] 


466 





据 项 的 时 间 呈 线性 关系 ， 即 第 2 行 分 配 初 始 表 的 开销 为 常量 ， 而 第 5 行 和 第 7 行 分 配 与 释放 内 存 
空间 的 开销 是 由 第 6 行 的 数据 复制 代价 决定 的 。 我 们 称 第 5 一 9 行 执行 了 一 次 扩张 动作 。 

接 下 来 ， 我 们 分 析 对 一 个 空 表 执行 2 个 TABLE-INSERT 操作 的 代价 。 第 i 个 操作 的 代价 ci 
是 怎样 的 呢 ? 如 果 当 前 的 表 有 空间 容纳 新 的 数据 项 (或 者 这 是 第 一 个 插 和 人 操作)， 则 c: 一 1， 因 为 
只 需 执行 一 次 基本 插入 操作 (第 10 行 )。 但 如 果 当 前 表 满 ， 会 发 生 一 次 扩张 ， 则 ai: 第 10 FF 
基本 插入 操作 的 代价 为 1， 再 加 上 第 6 行将 数据 项 从 旧 表 复制 到 新 表 的 代价 ;一 1。 如 果 执 行 了 个 
操作 ， 一 个 操作 的 最 坏 情 况 时 间 为 O(n)， 从 而 可 得 n 个 操作 总 运行 时 间 的 上 界 O(n ) 。 

这 不 是 一 个 紧 确 界 ， 因 为 在 执行 n 个 TABLE-INSERT 操作 的 过 程 中 ， 扩 张 操作 是 很 少 的 。 
具体 地 说 , 仅 当 i 一 1 恰 为 2 的 寡 时 ， 第 ;个 操作 才 会 引起 一 次 扩张 。 一 次 插入 操作 的 摊 还 代价 实 
际 上 是 0(1)， 我 们 可 以 用 聚合 分 析 来 证 明 这 一 点 。 第 i 个 操作 的 代价 为 

“el 车 i 一 1 恰 为 2 HR 
: 1 其 他 
litt, ‘+ TABLE-INSERT 操作 的 总 代价 为 


n Ligan] 
Mo<nt BR, <n+2n = 3n 


由 于 包含 至 多 ”个 代价 为 1 的 操作 ， 而 其 他 操作 的 代价 形成 一 个 等 比 数列 ， 所 以 我 们 得 到 了 上 述 结 
Ro HAF n+ TABLE-INSERT 操作 的 总 代价 以 3n 为 上 界 ， 因 此 ， 单 一 操作 的 挫 还 代价 至 多 为 3。 

通过 使 用 核算 法 ,我 们 会 对 为 什么 一 次 TABLE-INSERT 操作 的 摊 还 代价 应 该 为 3 有 一 点 感 
觉 。 直 观 上 ， 处 理 每 个 数据 项 要 付出 3 次 基本 插入 操作 的 代价 : 将 它 插入 当前 表 中 ， 当 表 扩 张 时 
移动 它 ， 当 表 扩 张 时 移动 另 一 个 已 经 移动 过 一 次 的 数据 项 。 例 如 ， 假 定 表 的 规模 在 一 次 扩张 后 变 
Aim, We PRAT m/2 个 数据 项 ， 且 它 当 前 没有 储存 任何 信用 。 我 们 为 每 次 插入 操作 付 3 美 
元 。 立 刻 发 生 的 基本 插入 操作 花 去 1 美元 。 我 们 将 另外 1 美元 储存 起 来 作为 插入 数据 项 的 信用 。 
我 们 将 最 后 1 美元 储存 起 来 作为 已 在 表 中 的 m/2 个 数据 项 中 某 一 个 的 信用 ， 这 样 ， 当 表 中 保存 
了 m 个 数据 项 已 满 时 ， 每 个 数据 项 都 储存 了 1 美元 ， 用 于 支付 扩张 时 基本 插入 操作 的 代价 。 

我 们 也 可 以 用 势能 法 来 分 析 ”个 TABLE-INSERT 操作 的 序列 ， 我 们 还 将 在 17.4. 2 节 中 用 
势能 法 设计 一 个 挫 还 代价 为 O(1) 的 TABLE-DELETE 操作 。 我 们 定义 一 个 势 函 数 O, EP TKR 
作 之 后 其 值 为 0， 而 表 满 时 其 值 为 表 的 规模 ， 这 样 就 可 以 用 势能 来 支付 下 次 扩张 的 代价 。 势 函数 
定义 为 

OCT) = 2+ T. num — T. size (17.5) 
可 以 满足 上 述 要 求 。 当 一 次 扩张 后 ， 我 们 有 T. num=T. size/2， 因 此 OCD =0,. MPRA, R 
们 有 T.num=T. size, Alk DCT) =T. zx。 热 的 初 值 为 0， 且 表 总 是 至 少 半 满 的 ， 即 T.num 宇 
T. size/2， 于 是 到 ( 刀 总 是 非 负 的 。 因 此 ,2 个 TABLEINSERT 操作 的 摊 还 代价 之 和 给 出 了 实际 
代价 之 和 的 上 界 。 

为 了 分 析 第 i 个 TABLE-INSERT 操作 的 摊 还 代价 ， 我 们 令 num, 表示 第 i 个 操作 后 表 中 数据 
项 的 数量 ，size; 表示 第 i 个 操作 后 表 的 总 规模 ，@B; 表示 第 i 个 操作 后 的 势 。 初 始 时 ， 我 们 有 
numo 二 0，sizeo 二 0 及 ®=0. 

如 果 第 i 个 TABLE-INSERT 操作 没有 触发 扩张 ， 那 么 有 size; 二 size;! ， 此 操作 的 挫 还 代价 为 

&= a +®,— OO, 
= 1+ (2 * mm; — size;) — (2 » mm; — size; ) 
= 1+ (2 * mm; — size;) — (2(mum; — 1) — size;) 
= 3 
如 果 第 i 个 TABLE-INSERT 操作 触发 了 一 次 扩张 ， 则 有 size, =2 © size; 及 size = num; = 
num;—1, ZARE size =2 + (num,—1). 。 因 此 ， 此 操作 的 摊 还 代价 为 
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6 一 ci + ®; — Oy 
= mim; + (2 « mm; — size;) — (2 © mum; 一 size ) 
= num; + (2 » num; 一 2 » (num; — 1)) — (2 (num; — 1) — (mum; — 1)) 
= num; +2 — (num; — 1) 
= 3 
图 17-3 MH T num;. size; 和 ©, 随 i 变化 的 情况 。 注 意 势 是 如 何 累积 来 支付 表 扩 张 代 价 的 。 
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图 17-3 执行 n^ TABLE-INSERT 操作 过 程 中 ， 表 中 数据 项 数量 num;、 表 规模 size RHO, =2- 
num, 一 Sizei 的 变化 ， 每 个 值 都 是 在 第 ;个 操作 后 测量 。 细 线 显示 了 num; 的 变化 ， 虚 线 显示 了 
size: 的 变化 ， 粗 线 显 示 了 © 的 变化 。 注 意 ， 在 一 次 扩张 前 ， 势 变 为 表 中 数据 项 的 数量 ， 因 此 可 
以 用 来 支付 将 所 有 数据 项 移动 到 新 表 所 需 的 代价 。 而 扩张 之 后 ， 势 变 为 0， 但 会 立即 变 为 2 一 一 
引起 扩张 的 那个 数据 项 被 插入 表 中 


17. 4.2” 表 扩张 和 收缩 


为 了 实现 TABLE-DELETE 操作 ， 将 指定 数据 项 从 表 中 删除 是 很 简单 的 。 但 为 了 限制 浪费 
的 空间 ， 我 们 可 以 在 装载 因子 变 得 太 小 时 对 表 进 行 收缩 操作 。 表 收缩 与 表 扩 张 是 类 似 的 操作 : 当 
表 中 的 数据 项 数量 下 降 得 太 少时 ， 我 们 分 配 一 个 新 的 更 小 的 表 ， 然 后 将 数据 项 从 旧 表 复制 到 新 
表 中 。 之 后 可 以 释放 旧 表 占用 的 内 存 空间 ， 将 其 归还 内 存 管理 系统 。 理 想 情 况 下 ， 我 们 希望 保持 
两 个 性 质 : 

。 动态 表 的 装载 因子 有 一 个 正 的 常数 的 下 界 。 

。 一 个 表 操 作 的 摊 还 代价 有 一 个 常数 上 界 。 

我 们 假定 用 基本 插入 、 删 除 操作 的 次 数 来 衡量 动态 表 操作 的 代价 。 

你 可 能 认为 当 插 入 一 个 数据 项 到 满 表 时 应 该 将 表 规 模 加 倍 ， 那 么 当 删 除 一 个 数据 项 导致 表 
空间 利用 率 不 到 一 半 时 就 应 该 将 表 规 模 减 半 。 此 策略 可 以 保证 表 的 装载 因子 永远 不 会 低 于 1/2, 
但 遗憾 的 是 ， 这 会 导致 操作 的 摊 还 代价 过 大 。 考 虑 如 下 场景 。 我 们 对 一 个 表 Mn PHM, 
其 中 恰好 是 2 FE. Bil n/2 个 操作 是 插入 ， 由 之 前 的 分 析 可 知 ， 其 总 代价 为 8(n)。 在 插入 序 
列 结束 时 ，T. num=T. size 二 n/2。 接 下 来 的 n/2 个 操作 是 这 样 的 : 

HHA. HBR. SBR. TRA. FA. WE, THR. FRA BAY 
第 一 个 插入 操作 导致 表 规 模 扩 张 至 n。 接 下 来 两 个 删除 操作 导致 表 规模 收缩 至 n/2。 接 下 来 两 个 
插入 操作 引起 另 一 次 扩张 ， 依 此 类 推 。 每 次 扩张 和 收缩 的 代价 为 8(n)， 而 收缩 和 扩张 的 次 数 为 
@(n)。 因 此 ,nn 个 操作 的 总 代价 为 @(x? ) ， 使 得 每 个 操作 的 摊 还 代价 为 O(n). 
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此 策略 的 缺点 是 很 明显 的 : 在 表 扩张 之 后 ， 我 们 无 法 删除 足够 多 的 数据 项 来 为 收缩 操作 文 
付费 用 ; 类 似 地 ， 在 表 收 缩 之 后 ， 我 们 无 法 插入 足够 多 的 表 项 来 支付 扩张 操作 。 

我 们 可 以 改进 此 策略 ， 人 允许 表 的 装载 因子 低 于 1/2。 具 体 地 ， 当 向 一 个 满 表 插入 一 个 新 数据 
项 时 ， 我 们 仍然 将 表 规 模 加 倍 ， 但 只 有 当 装 载 因子 小 于 1/4 而 不 是 1/2 时 ， 我们 才 将 表 规 模 减 
半 。 因 此 装载 因子 的 下 界 为 1/4。 

可 能 我 们 直觉 上 认为 装载 因子 为 1/2 比较 理想 ， 而 表 的 势 此 时 应 该 为 0。 随 着 装载 因子 偏离 
1/2， 势 应 该 增长 ， 使 得 当 扩 张 或 收缩 表 时 ， 表 已 经 储存 了 足够 的 势 来 支付 复制 所 有 数据 项 至 新 
表 的 代价 。 因 此 ， 我 们 需要 这 样 一 个 势 函数 ， 当 装载 因子 增长 为 1 或 下 降 为 1/4 时 ， 势 函数 值 增 
长 为 T.num。 而 表 扩 张 或 收缩 之 后 ， 装 载 因子 重新 变 为 1/2， 而 表 的 势 降 回 0。 

我 们 略 过 TABLE-DELETE 的 代码 ， 因 为 它 与 TABLE-INSERT 完全 类 似 。 对 于 分 析 ， 我 们 
需要 假定 无 论 何 时 表 中 数据 项 数量 下 降 为 0， 都 会 将 表 占 用 的 内 存 空间 释放 掉 。 也 就 是 说 ， 若 
T. num=0, Wi] T. size=0, 

现在 我 们 用 势能 法 分 析 个 TABLE-INSERT 和 TABLEDELETE 操作 组 成 的 序列 的 代价 。 
首先 定义 一 个 势 函数 四， 在 扩张 或 收缩 操作 之 后 其 值 为 0， 而 当 装 载 因子 增长 到 1 或 降低 到 1/4 
时 ， 累 积 到 足够 支付 扩张 或 收缩 操作 代价 的 值 。 我 们 将 非 空 表 了 的 装载 因子 定义 为 w(T) = 
T. num/T. size 。 由 于 对 空 表 T. num=T. size=0 HaT) 和 1 ， 因 此 ， 无 论 表 是 否 为 空 ， 我 们 总 
是 有 T.num = aT) + T. size 。 定 义 势 函数 如 下 : 

2° T. num — T: size #al(T) >1/2 
aa T. size/2—T. mm #a(T) <1/2 cnr 
观察 到 空 表 的 势 为 0， 且 势 永 远 不 可 能 为 负 。 因 此 ， 用 势 函 数理 定义 的 操作 序列 的 总 摊 还 代价 是 
总 实际 代价 的 上 界 。 

在 进行 精确 分 析 之 前 ， 我 们 先 观 察 图 17-4 所 示 的 势 函 数 的 一 些 特 性 。 注 意 到 ， 当 装载 因子 
为 1/2 时 ， 势 为 0。 当 装载 因子 为 1 时，T. size=T. num, BRA OCT) = T. num, Alt, $E 
够 支付 插入 操作 引起 的 表 扩 张 的 代价 。 当 装载 因子 为 1/4 时 ， 我 们 有 T. size=4 + T.num, XE 
RE OCT) = T. num ， 因 此 ， 势 也 足够 支付 删除 操作 引起 的 表 收 缩 的 代价 。 
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图 17-4 $4 n^ TABLE-INSERT 和 TABLE-DELETE 操作 的 过 程 中 ， 表 中 数据 项 数量 num; . 
表 规 模 size: 及 势 的 变化 情况 ， 其 中 势 的 定义 为 
Ags. 人 *num;— size; Ha; >1/2 
size;/2—num; # ai < 1/2 
每 个 值 都 是 在 第 i 个 操作 后 测量 得 到 的 。 细 线 显 示 了 num; 的 变化 ， 虚 线 显 示 了 size 的 变化 ， 
粗 线 显示 了 © 的 变化 。 注 意 ， 在 一 次 扩张 前 ， 势 累积 到 表 中 数据 项 的 数量 ， 因 此 可 以 用 来 
支付 扩张 过 程 中 数据 项 移动 的 代价 。 同 样 ， 在 一 次 收缩 前 ， 势 也 累积 到 表 中 数据 项 的 数量 
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为 了 分 析 n^ TABLE-INSERT #1 TABLE-DELETE 操作 的 序列 ， 令 c 表示 第 i 个 操作 的 实 
际 代 价 ，6; 为 用 势 函 数 定义 的 挫 还 代价 ，num; 表示 表 中 第 ; 个 操作 后 存储 的 数据 项 的 数量 ， 
size; 表示 第 i 个 操作 后 表 的 规模 ，a; 表示 第 i 个 操作 后 的 装载 因子 ，@; 表示 第 i 个 操作 后 的 势 。 
PIU, num) =0, size =0, a =l, ®=0. 
首先 分 析 第 i 个 操作 为 TABLE-INSERT WIRI. Æ a1 1/2, 分析 与 17. 4. 1 节 表 扩张 的 
分 析 相 同 。 无 论 表 是 否 扩张 ， 操 作 的 摊 还 代价 4: 至 多 为 3。 若 a;_1 二 1/2， 则 第 i 个 操作 并 不 能 令 
表 扩张 ， 因 为 只 有 当 a51 时 表 才 会 扩张 。 若 w 也 小 于 1/2， 则 第 i 个 操作 的 挫 还 代价 为 
Gi =o +0;—O, 
= 1+ (size;/2 —num;) — (size_,/2—num;) 
= 1 + (size;/2 —num;) — (size;/2— (num; — 1)) 
=0 
A a; <1/2 但 a1/2, 则 
6 = ci Bi — Bi 
= 1 + (2 « num; — size;) — (size;,/2—num;,) 


= 1+ (2(num:z, +1) — size) — (size, /2—num;) 


= 3 + num; 一 3 sizes, +3 
as : ope 
= 3an size 一 了 51zei 8 


< $ sizes ae Z sizes, +3 


=3 
因此 ， 一 个 TABLE-INSERT 操作 的 摊 还 代价 至 多 为 3。 
我 们 现在 来 分 析 第 i 个 操作 是 TABLE-DELETE Wim. EIEI F, num =num 1. 
若 o <1/2， 则 必须 考虑 删除 操作 是 否 引 起 表 收 缩 。 如 果 未 引起 表 收 缩 操 作 ， 则 size; = size, H. 
操作 的 摊 还 代价 为 
6 = A tHo Oy 
= 1 + (size;/2—num;) — (size;,/2—num:4) 
= 1 + (size;/2 — num;) — (size;/2 — (num; +1)) 
=2 
E -<1/2 且 第 i 个 操作 触发 了 收缩 操作 ， 则 操作 的 实际 代价 为 ci=num 十 1， 因 为 我 们 删除 了 
一 个 数据 项 ， 又 移动 了 num 个 数据 项 。 我 们 知道 size;/2= size, /4=num,,=num,+1, Aes 
作 的 摊 还 代价 为 
6 =c¢c, +®;,—@;, 
= (num; + 1) + (size;/2 —num;) — (size_,/2 —num;4) 


= (num; + 1) + ((num; +1) — num;) — ((2 © num; +2) — (num; +1)) 


一 1 
当 第 i 个 操作 是 TABLE-DELETE H. a >1/2 时 ， 摊 还 代价 上 界 是 一 个 常数 ， 我 们 将 这 个 分 析 
过 程 留 作 练习 17. 4-2。 

总 之 ， 由 于 每 个 操作 的 摊 还 代价 的 上 界 是 一 个 常数 ， 在 一 个 动态 表 上 执行 任意 对 个 操作 的 实 
际 运 行 时 间 是 O(n) 。 


练习 
17.4-1 假定 我 们 希望 实现 一 个 动态 的 开 地 址 散 列 表 。 为 什么 我 们 需要 当 装 载 因子 达到 一 个 严格 
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小 于 1 的 值 时 就 认为 表 满 ? 简要 描述 如 何 为 动态 开 地 址 散 列 表 设 计 一 个 插入 算法 ， 使 
得 每 个 插入 操作 的 摊 还 代价 的 期 望 值 为 0(1) 。 为 什么 每 个 插入 操作 的 实际 代价 的 期 望 
值 不 必 对 所 有 插入 操作 都 是 O) ? 
证 明 : 如 果 动 态 表 的 a;_1 宇 1/2 A i 个 操作 是 TABLE-DELETE, 那么 用 势 函数 
公式 (17. 6) 定 义 的 操作 的 摊 还 代价 的 上 界 是 一 个 常数 。 
假定 我 们 改变 表 收 缩 的 方式 ， 不 是 当 装 载 因子 小 于 1/4 时 将 表 规 模 减 半 ， 而 是 当 装 载 因 
子 小 于 1/3 时 将 表 规 模 变 为 原来 的 2/3。 使 用 势 函 数 

CT) = |2 » T. num — T. size | 
证 明 : 使 用 此 策略 ，TABLE-DELETE 操作 的 摊 还 代价 的 上 界 是 一 个 常数 。 


思考 题 


17-1 


17-2 


(位 逆序 的 二 进 制 计数 器 ) BF 30RPAT—-TRARE ES BMH BR (Fast Fourier 
Transform，FFT) 的 重要 算法 。FFT 算 法 的 第 一 步 是 对 一 个 输入 数组 ALO. .2 一 1] 执行 一 
个 称 为 位 逆序 置换 (bit-reversal permutation) 的 操作 ， 数 组 的 长 度 n=2', k 是 一 个 非 负 整 
数 。 这 个 置换 操作 将 下 标的 二 进 制 表 示 互 为 逆序 的 数组 元 素 进行 交换 。 
我 们 将 每 个 下 标 a 表示 为 一 个 & 位 二 进 制 序列 (ac ， pes ws Wy 其 中 g= 
之 ai2 。 我 们 定义 
revi( (api 9Qp29°°* Go )) — (ao sl jy > 


因此 ， 
kl 
rev,(a) = 5 Gi 72? 


例如 ， 若 “一 16( 或 等 价 地 ，& 王 4) ， 则 rev(3) = 12 ， 因 为 3 的 4 位 二 进 制 表示 为 0011， 

其 逆序 为 1100， 是 12 的 4 位 二 进 制 表示 。 

a. 设计 一 个 运行 时 间 为 8(8) 的 函数 rev ， 编 写 算 法 在 Ok) 时 间 内 对 长 度 为 n=2* 的 数 
组 执行 位 逆序 置换 。 

我 们 可 以 使 用 一 个 基于 摊 还 分 析 的 算法 来 改进 位 逆序 置换 操作 的 运行 时 间 。 我 们 可 

以 维护 一 个 “位 逆序 计数 器 ”， 并 设计 一 个 过 程 BIT-REVERSED-INCREMENT， 当 给 定 一 

个 位 逆序 计数 器 值 a， 该 过 程 能 得 到 rev, Crev, (a) 十 1) 。 例 如 ， 若 & 一 4， 位 逆序 计数 器 从 

0 开始 ， 则 连续 调用 BIT-REVERSED-INCREMENT 会 得 到 序列 

0000,1000,0100,1100,0010 ,1010,… 一 0,8,4,12,2,10… 

b. 假定 你 的 计算 机 的 每 个 机 器 字 保 存 & 位 二 进 制 数 ， 而 一 个 机 器 字 中 的 值 进 行 一 次 任意 偏 
移 量 的 左 / 右 移 位 、 位 与 、 位 或 等 操作 只 需 单 位 时 间 。 设 计 一 个 BITREVERSED- 
INCREMENT 过 程 ， 能 使 一 个 个 元 素 的 数组 上 的 位 逆序 置换 操作 在 OG) 时 间 内 完成 。 

ce 假定 在 单位 时 间 内 你 只 能 完成 左 / 右 移 一 位 的 操作 。 还 可 能 实现 O(n) 时 间 的 位 逆序 置 
换 操作 吗 ? 

(动态 二 分 查找 ) 有 序数 组 上 的 二 分 查找 花费 对 数 时 间 ， 但 插入 一 个 新 元 素 的 时 间 与 数组 

规模 呈 线 性 关系 。 我 们 可 以 通过 维护 多 个 有 序数 组 来 提高 插入 性 能 。 

具体 地 ， 假 定 我 们 希望 支持 ”元 集合 上 的 SEARCH 和 INSERT E. S k= fleant D1, 
令 n 的 二 进 制 表 示 为 (m1，nn.-:，…，rm)。 我 们 维护 个 有 序数 组 Ao，Al，…，Ai1， 
对 =O; Ly wy ROI, 数组 A; 的 长 度 为 2 每 个 数组 或 满 或 空 ， 取决 于 n=l 还 是 ni = 


0。 因此， 所 有 个 数组 中 保存 的 元 素 总 数 为 mu2 一 a。 虽 然 单独 每 个 数组 都 是 有 序 的 ， 
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但 不 同 数组 中 的 元 素 之 间 不 存在 特定 的 大 小 关系 。 

a 设计 算法 ， 实 现 这 种 数据 结构 上 的 SEARCH 操作 ， 分 析 其 最 坏 情 况 运 行 时 间 。 

b. 设计 INSERT 算 法。 分 析 最 坏 情 况 运 行 时 间 和 挫 还 时 间 。 

c 讨论 如 何 实 现 DELETE, 

( 摊 还 加 权 平 衡 树 ) ”考虑 扩充 普通 二 又 搜索 树 ， 为 每 个 结 点 x 增加 属性 xz. size， 此 属性 给 

出 了 根 为 z 的 子 树 中 关键 字 的 数量 。 令 a 1/2<e<1 之 间 的 一 个 常数 。 当 x. left. size< 

a* x. size H x. right. size<a。* x. size 时 ， 我 们 称 结 点 xz 是 @ 平衡 的 。 如 果树 中 每 个 结 点 都 

是 a 平衡 的 ， 则 称 树 整 体 是 a 平衡 的 。G. Varghese 提出 了 如 下 挫 还 方法 来 维护 加 权 平 

衡 树 。 

a. 在 某 种 意义 上 ， 一 棵 1/2 平衡 树 达到 了 极限 的 平衡 。 给 定 任 意 一 棵 二 又 搜索 树 中 的 一 个 
结 点 zx， 证 明 : 如 何 重 建 以 z 为 根 的 子 树 ， 使 得 它 变 为 1/2 平衡 的 。 你 的 算法 的 运行 时 
间 应 该 为 Olz. size) ， 可 以 使 用 OCz. size) 的 辅助 空间 。 

b. 证 明 : 在 一 棵 ”个 结 点 的 v 平衡 二 又 搜索 树 中 执行 一 次 搜索 操作 的 最 坏 情况 时 间 为 
O(Cgz) 。 

对 于 本 问题 的 剩余 部 分 ， 假 定常 数 a 严格 大 于 1/2。 假 定 你 实现 的 INSERT 和 
DELETE 算法 与 普通 nn 结 点 二 又 搜索 树 的 算法 是 一 样 的 ， 差 别 仅 在 于 ， 如 果 发 现 树 中 任何 
结 点 不 再 是 "平衡 的 ， 则 在 最 高 的 不 平衡 结 点 ， 对 以 它 为 根 的 子 树 执行 “重建 >， 使 其 变 为 
1/2 平衡 的 。 

我 们 用 势能 法 分 析 此 重建 方法 。 对 于 二 又 搜索 树 工 中 的 一 个 结 点 工 ， 和 定义 

A(x) = | a. left. size — x. right. size | 
EM T HARRAH 
=a J) Ag) 


ZET:A(Cz) 过 2 

其 中 < 是 一 个 足够 大 的 常数 ， 它 依赖 于 a 

c 证 明 : 任意 二 叉 搜 索 树 的 势 都 是 非 负 的 ，1/2 平衡 树 的 势 为 0。 

d. 假定 mm 个 单位 的 势 够 支付 重建 m 结 点 子 树 的 代价 。 相 对 于 a 来 说 ，c 应 该 多 大 才能 使 得 
重建 一 棵 非 a 平衡 的 子 树 的 挫 还 时 间 为 O(1) 。 

e 证 明 : 在 一 棵 nn 结 点 的 a 平衡 树 中 插入 一 个 结 点 或 删除 一 个 结 点 的 摊 还 时 间 为 O(gn) 。 

( 重 构 红 黑 树 的 代价 )” 红 黑 树 有 4 种 基本 的 结构 性 修改 (structural modification) 操 作 : 结 

点 插入 、 结 点 删除 、 旋 转 及 更 改 颜色 。 我 们 已 经 看 到 RB-INSERT 和 RB-DELETE 操作 仅 

使 用 OG) 次 旋转 、 结 点 插入 和 结 点 删除 操作 来 维持 红 黑 树 的 性 质 ， 但 它们 可 能 需要 很 多 

次 更 改 颜色 操作 。 

a 设计 一 个 n 结 点 的 合法 的 红 黑 树 ， 使 得 调用 RB-INSERT 添加 第 n 十 1 个 结 点 会 引起 
Qlgn) 次 颜色 更 改 。 然 后 设计 一 个 n 结 点 的 合法 的 红 黑 树 ， 使 得 调用 RB-DELETE 删 
除 一 个 特定 结 点 会 引起 OC gn) 次 颜色 更 改 。 

虽然 每 个 操作 所 引起 的 颜色 更 改 的 最 坏 情 况 次 数 可 能 是 对 数 的 ， 但 我 们 可 以 证 

明 ， 在 一 个 空 红 黑 树 上 执行 任意 m 个 RBINSERT 和 RB-DELETE 操作 构成 的 序列 ， 

最 坏 情 况 也 只 会 引起 Om) 次 结构 性 修改 。 注 意 ， 我 们 将 每 次 颜色 更 改 都 计 为 一 次 结 

构 性 修改 。 

b. RB-INSERT-FIXUP 和 RB-DELETE-FIXUP 的 代码 的 主 循环 都 处 理 一 些 终结 性 的 情况 : 
一 旦 遇 到 这 些 情况 ,会 导致 循环 在 常数 次 操作 后 终止 。 对 于 RB-INSERT-FIXUP 和 RB- 
DELETE-FIXUP 中 处 理 的 各 种 情况 ， 指 出 其 中 哪些 是 终结 性 的 ， 哪 些 不 是 。( 提 示 : 
参见 图 13-5、 图 13-6 和 图 13-7.) 
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我 们 首先 分 析 仅仅 执行 插入 操作 时 引起 的 结构 性 修改 。 令 工 为 一 棵 红 黑 树 ， 定 义 
@( 了 是 工 中 红 结 点 数量 。 假 定 一 个 单位 的 势 可 以 支付 RBINSERT-FIXUP 的 三 种 情况 的 
任意 一 种 所 引起 的 结构 性 修改 的 代价 。 

c. 令 T 表 示 对 T 应 用 RB-INSERTFIXUP 的 情况 1 得 到 的 结果 。 证明: AT = @(T 一 1 。 
d. 当 使 用 RB-INSERT 向 一 棵 红 黑 树 中 插入 一 个 结 点 时 ， 我 们 可 以 将 操作 分 解 为 三 部 分 。 
列 出 RB-INSERT 的 第 1 一 16 行 引 起 的 结构 性 改变 和 势 的 变化 ， 以 及 RB-INSERT- 

FIXUP 的 非 终结 性 情况 引起 的 变化 和 终结 性 情况 引起 的 变化 。 

e 使 用 (d) 证 明 : 任意 一 次 RB-INSERT 执行 所 导致 的 结构 性 修改 的 摊 还 次 数 为 O(1) 。 

我 们 现在 希望 证 明 既 执行 插入 也 执行 删除 时 ， 所 引起 的 结构 性 修改 次 数 为 OC(m) 。 对 
每 个 结 点 z， 我 们 定义 


0 若 工 是 红 结 点 
ed 车 工 是 黑 结 点 且 没 有 红 孩 子 
0 车工 是 黑 结 点 且 有 一 个 红 和 孩子 
2 若 工 是 黑 结 点 且 有 两 个 红 和 孩子 
现在 定义 红 黑 树 T HRR A 


CT) = jwa) 
ET 


HS T'H3t T MJH RBINSERT-FIXUP 3} RB-DELETE-FIXUP 的 任意 非 终结 性 情况 后 的 
结果 。 
f. 证 明 : 对 RB-INSERT-FIXUP 的 任意 非 终结 性 情况 ， 有 OCT’) <O(T)—1. 证 明 : RB- 
INSERT-FIXUP 的 任意 一 次 调用 所 引起 的 结构 性 修改 的 挫 还 次 数 为 O) 。 
g. 证 明 : 对 RB-DELETE-FIXUP 的 任意 非 终结 性 情况 ， 有 @(T ) COT) 一 1 。 证 明 : 
RB-DELETE-FIXUP 的 任意 一 次 调用 所 引起 的 结构 性 修改 的 摊 还 次 数 为 O(1) 。 
h. 证 明 : 任意 m 个 RB-INSERT 和 RB-DELETE 操作 构成 的 序列 最 坏 情 况 下 执行 Om) 次 
结构 性 修改 。 
( 移 至 前端 自 组 织 列表 的 竞争 分 析 )” 自 组 织 列 表 是 个 元 素 的 链表 ， 每 个 元 素 有 一 个 唯一 
的 关键 字 。 当 我 们 在 列表 中 搜索 元 素 时 ， 需 要 给 定 一 个 关键 字 ， 我 们 搜索 的 是 具有 这 个 关 
键 字 的 元 素 。 
一 个 自 组 织 列 表 有 两 个 重要 性 质 : 
1. 为 了 在 列表 中 查找 一 个 元 素 ， 我 们 必须 从 表 头 开始 遍历 列表 ， 直 至 遇 到 具有 给 定 关键 
字 的 元 素 位 置 。 如 果 此 元 素 是 列表 的 第 & 个 元 素 ， 则 查找 代价 为 ko 
2. 我 们 可 以 在 任意 一 个 操作 后 根据 给 定 规则 重 排列 表 元 素 ， 产 生 一 定 的 代价 。 我 们 可 以 
使 用 任何 我 们 喜欢 的 启发 式 策 略 来 决定 如 何 重 排列 表 。 
假定 从 一 个 给 定 的 x 个 元 素 的 列表 开始 ， 并 且 给 定 了 一 个 访问 序列 一 一 关键 字 搜 索 序 
列 o 二 《a ，om，…，m)。 序 列 的 代价 是 序列 中 单个 访问 的 代价 之 和 。 
在 多 种 可 能 的 列表 重 排 方法 中 ， 本 问题 关注 相 邻 元 素 转 置 操作 一 一 交换 相 邻 元 素 在 列 
表 中 的 位 置 ， 一 次 转 置 的 代价 为 单位 时 间 。 你 可 以 用 势 函 数 证 明 : 针对 移 至 前 端 列表 的 重 
排 问 题 ， 一 种 特定 的 启发 式 策略 的 代价 最 坏 情 况 也 不 会 超过 任何 其 他 启发 式 策略 的 代价 的 
4 倍 ， 即 使 其 他 启发 式 策略 预先 知道 访问 序列 ! 我 们 称 这 种 分 析 为 竞争 分 析 。 
对 于 一 个 启发 式 策略 H 和 列表 的 一 个 给 定 的 初始 顺序 ， 我 们 将 序列 a 的 访问 代价 记 为 
Cu) 。 令 m RR o 中 访问 的 数量 。 
a. 证 明 : 车 启发 式 策略 H 预先 不 知道 访问 序列 ， 那 么 利用 五 来 处 理 访 问 序列 o 的 最 坏 情 
MARRA Culo) = Am) 。 
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当 使 用 移 至 前 端 启发 式 策略 时 ， 搜 索 到 元 素 z 后 ， 我 们 将 z 移动 到 列表 的 第 一 个 位 置 
( 即 列表 的 前 端 )。 
令 rank, (x) 表示 元 素 z EIR L 中 的 序号 ， 即 x 在 L 中 的 位 置 。 例 如 ， 若 工 是 工 中 
第 4 个 元 素 ， 那 么 ranki (x) 二 4 。 令 c 表示 用 移 至 前 端 策略 处 理 访问 o; 的 代价 ， 包 括 在 
列表 中 查找 元 素 的 代价 和 通过 一 系列 相 邻 元 素 转 置 操作 将 其 移 至 列表 前 端的 代价 。 
b. 证 明 : WR o 使 用 移 至 前 端 策略 在 工 中 访问 元 素 z， 则 c = 2。 ranki(z) 一 1。 
现在 我 们 比较 移 至 前 端 策略 与 其 他 任何 按照 上 述 两 个 性 质 处 理 访 问 序列 的 启发 式 策略 
H。 策 略 联 可 能 按 任何 它 想 用 的 方式 转 置 列 表 中 的 元 素 ， 它 甚至 可 能 预先 知道 整个 访问 
序列 。 
令 工 ; 表示 使 用 移 至 前 端 策略 处 理 访问 o; 后 得 到 的 列表 ，L; 表示 使 用 策略 H 后 得 到 
的 列表 。 我 们 用 c; 表示 移动 前 端 策 略 的 代价 ，c;" 表示 策略 H 的 代价 。 假 定 策略 H EAD 
访问 e 时 执行 t? 次 转 置 。 
ce. 在 (b) 中 ， 你 证 明了 c = 2° 一 上 现在 证 明 : c = ranki*, (2) +t’ 。 
我 们 定义 逆序 (inversion) 关 系 : L; 中 一 对 元 素 y 和 之 ， Ý Li; 中 > 在 = 之 前 ， EL” 中 之 
在 yy 之 前 。 假定 处 理 完 访问 序列 (ol ，o。，…，o;)，L; 中 有 q; 个 逆序 关系 。 然 后 ， 我 们 定 
义 一 个 势 函 数 D, HL; 映射 到 实数 B(L;) = 2q: o Min, WRL 有 元 素 (e, c, a, d, b), 
而 L;* 有 元 素 (c，a， b, d, e), WA Li A 5 PBF (Cesc), (e,a),(e,d),(e,6),(d,b))， 
因此 @B(L;) = 10 。 观 察 到 对 所 有 i， 都 有 B(L;) 宇 0 ， 并 且 如 果 移 至 前 端 策略 和 策略 HM 
相同 的 列表 Lo 开始， 那么 B(L) 二 0。 
d. 证 明 : 转 置 操作 要 么 将 势 增加 2， 要 人 么 减少 2。 
假定 访问 o 查找 元 素 x。 为 了 理解 势 是 如 何 根 据 e 来 变化 的 ， 我 们 将 除 z 之 外 的 元 素 
划分 为 4 个 集合 ， 划 分 的 依据 是 在 第 i 次 访问 之 前 它们 在 列表 中 的 位 置 : 
。 集合 A 包含 在 L;_! 和 Li 中 都 位 于 xz 之 前 的 元 素 。 
。 集合 BASEL 1 中 位 于 工 之 前 的 元 素 ， 在 Li; 中 位 于 zz 之 后 的 元 素 。 
。 集合 C 包 含 在 L; 1 中 位 于 xz 之 后 的 元 素 , HELA PAF x SAMIR. 
2 集合 万 包含 在 L; FH Lii 中 都 位 于 x 之 后 的 元 素 。 
e. 证 明 : rank, (x) = |A| + |B| +1 H ranky, (2) = |A| + |C| +1. 
f. 证 明 : 处 理 访问 e 会 引起 势 的 变化 
O(L;) — O(L;,) < 2¢|A| — | B| +27) 
其 中 ,ww 表示 用 启发 式 策略 H 处 理 访问 o 期 间 执行 的 转 置 操作 次 数 。 
我 们 定义 处 理 访 问 ec 的 摊 还 代价 为 6 = c + O(L;) — alLa) 
g 证 明 : 处 理 访问 o: 的 摊 还 代价 的 上 界 为 4c; 。 
h. 证 明 : 使 用 移 至 前 端 策略 处 理 访问 序列 o 的 代价 Cure Co) 至 多 是 用 其 他 任何 启发 式 策略 
开 处 理 c 的 代价 Cu Co) 的 4 倍 ， 假 定 两 种 启发 式 策略 都 是 从 相同 的 列表 开始 处 理 访 
问 序列 。 


本 章 注 记 

Aho, Hopcroft 和 Ullman [5 使 用 聚合 分 析 方 法 来 确定 不 相交 集合 森林 上 的 操作 的 运行 时 
间 ; 我 们 将 在 第 21 章 用 势能 法 来 分 析 这 种 数据 结构 。Tarjan [331] 考 察 了 摊 还 分 析 的 核算 法 和 势 
能 法 ， 并 提出 了 多 个 应 用 。 他 将 核算 法 的 提出 归功 于 多 位 作者 ， 包 括 M. R. Brown, 
R. E. Tarjan, S. Huddleston 和 K. Mehlhorn， 将 势能 法 归功 于 D. D. Sleator， 而 “ 挫 还 ”一 词 则 归 
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功 于 D. D. Sleator 和 R. E. Tarjan. 

势 函 数 对 证 明 某 些 特定 类 型 的 问题 的 下 界 也 很 和 有 用。 对 问题 的 每 个 局 面 ， 我们 定义 一 个 势 
函数 将 局 面 映射 到 一 个 实数 。 接 着 确定 初始 局 面 的 势 Bi ， 结 束 局 面 的 势 Bsow 及 任何 步骤 引起 的 
最 大 势 变化 AD rx» WA REBEL A | Din 一 Bwi | /| ABr | 。 这 方面 的 例子 包括 用 势能 法 证 明 MO 
复杂 性 的 下 界 ， 出 现在 Cormen, Sundquist 和 Wisniewski[79] 的 工作 中 、Floyd [107] 的 工作 中 及 
Aggarwal 和 Vitter [3 的 工作 中 。Krumme、Cybenko 和 Venkataraman [221] 将 势能 法 用 于 证 明 
流言 问题 的 下 界 : 在 一 个 图 中 从 每 个 顶点 传输 一 个 独一无二 的 数据 项 到 所 有 其 他 顶点 。 

思考 题 17-5 提 及 的 移 至 前 端 启发 式 策 略 在 实际 应 用 中 效果 非常 好 。 而 且 ， 当 我 们 查找 到 一 
个 元 素 时 ， 我 们 可 以 在 常量 时 间 内 将 它 从 列表 中 原来 位 置 抽 离 并 放置 在 列表 前 端 ， 我 们 可 以 证 
明 移 至 前 端 策略 的 代价 至 多 是 其 他 任何 启发 式 策略 的 代价 的 2 倍 ， 再 次 重申 ， 即 使 其 他 策略 预先 

知道 完整 的 访问 序列 也 是 如 此 。 
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这 部 分 再 回 过 来 讨论 支持 动态 数据 集 上 操作 的 数据 结构 ， 但 是 在 比 第 
三 部 分 更 高 的 层次 上 进行 。 例 如 ， 其 中 有 两 章 要 广泛 地 使 用 在 第 17 章 中 
介绍 的 摊 还 分 析 技 术 。 

第 18 章 介绍 B 树 ， 这 是 为 磁盘 存储 而 专门 设计 的 一 类 平衡 搜索 树 。 由 
于 磁盘 操作 比 随 机 存 取 存储 器 要 慢 得 多 ， 因 此 度量 B 树 的 性 能 ， 不 仅 要 考 
虑 动态 集合 操作 消耗 了 多 少 计算 时 间 ， 而 且 还 要 考虑 这 些 操作 执行 了 多 少 
次 磁盘 存 取 。 对 每 个 B 树 操作 ， 磁 盘存 取 的 次 数 随 着 B 树 的 高 度 增 加 。 

第 19 章 给 出 一 种 可 合并 堆 的 实现 ， 它 支持 INSERT, MINIMUM, 
EXTRACT-MIN 和 UNION 操作 8 。UNION 操作 合并 两 个 堆 。 第 19 章 中 
介绍 的 数据 结构 斐 波 那 契 堆 还 支持 DELETE 和 DECREASE-KEY 操 
作 。 我 们 使 用 摊 还 时 间 界 来 度量 斐 波 那 契 堆 的 性 能 。 在 斐 波 那 契 堆 上 ， 
INSERT, MINIMUM 和 UNION 操作 仅 花 费 0(1) 的 实际 时 间 和 摊 还 时 
间 ，EXTRACT-MIN 和 UNION 操作 要 花费 O(lgn) 的 摊 还 时 间 。 然 而 ， 
斐 波 那 契 堆 的 最 显著 优点 是 DECREASE-KEY 操作 只 需 花 费 OC) 的 摊 还 
时 间 。 正 是 由 于 该 操作 只 需 常数 摊 还 时 间 ， 才 使 得 斐 波 那 契 堆 成 为 某 些 迄 
今 为 止 渐 近 最 快 的 图 问题 算法 的 核心 部 分 。 

注意 到 ， 当 关键 字 是 有 限 范 围 内 的 整数 时 ， 排 序 算法 可 以 超越 Q(nlgn) 时 
闻 的 下 界 。 第 20 章 提 出 了 这 样 一 个 问题 : 当 关键 字 同 为 有 限 范围 内 的 整数 时 ， 
是 否 可 以 设计 一 种 数据 结构 ， 使 其 支持 动态 集 上 的 SEARCH, INSERT, 
DELETE、MINIMUM、MAXIMUN、SUCCESSOR 和 PREDECESSOR 
操作 仅 花 费 O(lgn) 时 间 。 答 案 告 诉 我 们 可 以 做 到 ， 那 就 是 通过 使 用 一 种 
PRA van Emde Boas 树 的 递归 数据 结构 。 如 果 关 键 字 是 唯一 整数 日 来 自 集 
#10, 1, 2, =, 一 1} ， 这 里 恰 是 2 WR, BA van Emde Boas 树 就 能 











O ”如 思考 题 10-2 中 一 样 ， 我 们 已 经 定义 了 支持 MINIMUM 和 EXTRACT-MIN 的 可 合并 堆 ， 因 此 可 以 把 它 称 为 可 
合并 的 最 小 堆 。 或 者 ， 如 果 它 支持 MAXIMUM 和 EXTRACT-MAX， 则 它 是 一 个 可 合并 的 最 大 堆 。 除 非 我 们 另 
外 指定 ， 可 合并 的 堆 默认 就 是 可 合并 的 最 小 堆 。 
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在 O(lglgw) 的 时 间 内 完成 上 述 的 每 个 操作 。 

最 后 ， 第 21 章 介 绍 用 于 不 相交 集合 的 一 些 数据 结构 。 由 个 元 素 构成 的 全 域 被 划分 成 若干 
动态 集合 。 开 始 时 ， 每 个 元 素 属于 由 其 自身 所 构成 的 单元 集合 。 操 作 UNION 将 两 个 集合 进行 合 
并 ， 而 查询 操作 FIND-SET 则 可 以 确定 给 定 的 元 素 当 前 所 属 的 那个 集合 。 通 过 将 每 个 集合 表示 
为 一 棵 简单 有 根 树 的 方法 ， 就 可 以 得 到 一 些 惊 人 的 快速 的 操作 ; 一 个 由 m 个 操作 构成 的 序列 ， 
其 运行 时 间 为 O(ma(n)) ， 这 里 a(n) 是 一 个 增长 得 极 慢 的 水 数 一 一 在 任何 可 想象 的 应 用 中 aln) 
至 多 为 4。 证明 这 个 时 间 界 的 摊 还 分 析 是 比较 复杂 的 ， 而 其 数据 结构 却 是 简单 的 。 

这 一 部 分 包含 的 主题 不 是 仅仅 上 面 提 到 的 这 几 种 “高 级 ”数据 结构 ， 还 包含 如 下 一 些 其 他 高 
级 数据 结构 : 

。 动态 树 ， 由 Sleator 和 Tarjan[319] 引 入， 并 由 Tarjan[330] 所 论述 ， 它 维护 一 个 不 相交 的 
有 根 树 的 森林 。 每 棵 树 内 的 每 条 边 都 有 一 个 实数 值 的 代价 。 动 态 树 支持 查询 双亲 、 根 、 
边 的 代价 ， 以 及 从 一 个 结 点 到 根 的 路 径 上 的 最 小 边 代 价 的 查询 。 这 种 树 人 允许 的 操作 有 : 
割 边 ， 更 新 从 一 个 结 点 到 根 的 路 径 上 所 有 边 的 代价 ， 树 ， 以 及 将 
某 个 结 点 变 为 其 所 在 树 的 根 。 在 动态 树 的 一 种 实现 中 ， 对 每 种 操作 具有 O(lgn) 的 挫 还 时 
间 界 ;在 另 一 种 更 复杂 的 实现 中 ， RWSL O(lgn) 。 动 态 树 被 用 于 一 些 渐 近 最 
快 的 网 络 流 算法 中 。 
伸展 树 (splay trees), H Sleator 和 Tarjan[ 320] 发 展 而 来 ， 并 再 由 Tarjan[ 330] 所 论述 ， 
是 二 又 搜索 树 的 一 种 形式 。 在 其 上 进行 的 标准 搜索 树 操 作 的 挫 还 时 间 为 O(lgn) 。 伸 展 树 
的 应 用 之 一 是 简化 动态 树 。 
持久 数据 结构 允许 在 过 去 版 本 的 数据 结构 上 进行 查询 ， 甚 至 有 时 候 可 以 进行 更 新 。 
Driscoll, Sarnak, Sleator 和 Tarjan[ 97] 给 出 了 只 需 很 小 的 时 空 代 价 就 可 以 使 链 式 数据 结 
构 持久 化 的 技术 。 思 考题 13-1 给 出 一 个 持久 动态 集 的 简单 示例 。 

。 正如 在 第 20 章 中 介绍 的 ,一些 数 据 结 构 人 允许 在 关键 字 的 一 个 带 限制 全 域 上 实现 一 个 更 快 的 字 

典 操作 (INSERT、DELETE 和 SEARCH)。 利 用 这 些 限制 的 优点 ， 它们 能 够 得 到 比 基 于 比较 
的 数据 结构 更 好 的 最 坏 情况 渐 近 运行 时 间 。Fredman 和 Willard [115]5|A T 38 & # (fusion 
trees) ， 它 是 当 限 制 全 域 为 整数 时 ， 第 一 种 允许 更 快 的 字典 操作 的 数据 结构 。 他 们 说 明了 如 何 
Æ O(lgn/iglgn) 时 间 内 实现 这 些 操 作 。 几 个 后 来 的 数据 结构 ， 包 括 指数 搜索 树 [16]， 也 给 出 
某 些 或 全 部 字典 操作 的 改进 的 界 ， 本 书 的 章节 注 记 中 会 提 到 它们 。 

。 动态 图 数据 结构 在 允许 通过 插入 或 删除 顶点 或 边 的 操作 来 改变 图 结构 的 同时 ， 还 支持 各 种 
查询 。 支 持 查询 的 例子 包括 顶点 连通 性 [166]、 边 连通 性 、 最 小 生成 树 [165]、 双 连通 性 ， 
以 及 传递 闭 包 [164]。 

本 书 的 章节 注 记 中 还 会 提 到 另外 一 些 数 据 结 构 。 
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B 树 


B 树 是 为 磁盘 或 其 他 直接 存 取 的 辅助 存储 设备 而 设计 的 一 种 平衡 搜索 树 。B 树 类 似 于 红 黑 树 
(第 13 Bt), 但 它们 在 降低 磁盘 W/O 操作 数 方面 要 更 好 一 些 。 许 多 数据 库 系统 使 用 也 树 或 者 也 树 
的 变种 来 存储 信息 。 

B 树 与 红 黑 树 的 不 同 之 处 在 于 B 树 的 结 点 可 以 有 很 多 孩子 ， 从 数 个 到 数 千 个 。 也 就 是 说 ,一 
个 B 树 的 “分 支 因 子 ” 可 以 相当 大 ， 尽 管 它 通 常 依赖 于 所 使 用 的 磁盘 单元 的 特性 。B 树 类 似 于 红 黑 
W, MERRER n TAAR BRRR Ogn) 。 然 而 ， 一 棵 也 树 的 严格 高 度 可 能 比 一 棵 红 
黑 树 的 高 度 要 小 许多 ， 这 是 因为 它 的 分 支 因子 ， 也 就 是 表示 高 度 的 对 数 的 底数 可 以 非常 大 。 因 
此 ， 我 们 也 可 以 使 用 BB 树 在 时 间 Oden 内 完成 一 些 动态 集合 的 操作 。 

B 树 以 一 种 自然 的 方式 推广 了 二 又 搜索 树 。 图 18-1 给 出 了 一 棵 简单 的 BB 树 。 如 果 B 树 的 一 
个 内 部 结 点 工 包含 zx. ?个 关键 字 ， 那 么 结 点 工 就 有 zz 十 1 个 孩子 。 结 点 工 中 的 关键 字 就 是 分 隔 
点 ， 它 把 结 点 xz 中 所 处 理 的 关键 字 的 属性 分 隔 为 zx. ”十 1 个 子 域 ， 每 个 子 域 都 由 z 的 一 个 孩子 处 
理 。 当 在 一 棵 BB 树 中 查找 一 个 关键 字 时 ， 基 于 对 存储 在 x 中 的 z.n 个 关键 字 的 比较 ， 做 出 一 个 
(z.n 十 1) 路 的 选择 。 叶 结 点 的 结构 与 内 部 结 点 的 结构 不 同 ，18. 1 节 将 讨论 这 些 差 别 。 


Troot 









Be RS 

图 18-1 “一 棵 关键 字 为 英语 中 辅音 字母 的 B 树 。 一 个 内 部 结 点 工 包含 工 ?” PERRI q. nH MNA 

子 ， 所 有 叶 结 点 处 于 树 中 相同 的 深度 。 浅 阴影 的 结 点 是 在 查找 字母 R 时 检查 过 的 结 点 

18.1 节 给 出 B 树 的 精确 定义 ， 并 证 明了 B 树 的 高 度 仅 随 它 所 包含 的 结 点 数 按 对 数 增长 。 
18. 2 节 介 绍 如 何在 B 树 中 查找 和 插入 一 个 关 主轴 
键 字 ，18. 3 节 讨 论 删除 操作 。 然 而 ， 在 开始 FU 
之 前 ， 需 要 弄 清 楚 为 什么 针对 磁盘 设计 的 数 
据 结构 不 同 于 针对 随机 访问 的 主 存 所 设计 的 
数据 结构 。 

辅 存 上 的 数据 结构 

计算 机 系统 利用 各 种 技术 来 提供 存储 能 
A. 一 个 计算 机 系统 的 主 存 (primary memory 
或 main memory) 通 常 由 硅 存 储 芯 片 组 成 。 这 种 
技术 每 位 的 存储 代价 一 般 要 比 磁 存 储 技术 
(如 磁带 或 磁盘 ) 高 不 止 一 个 数量 级 。 许 多 计 图 18-2 一 个 典型 的 磁盘 驱动 器 。 它 包括 了 一 个 或 





磁道 读 / 写 磁头 


storage); 这 种 辅 存 的 容量 通常 要 比 主 存 的 写 。 这 些 磁 辟 围绕 着 一 个 共同 的 旋转 轴 旋 
容量 高 出 至 少 两 个 数量 级 。 转 。 当 读 / 写 磁头 静止 时 ， 由 它 下 方 经 过 的 


图 18-2 是 一 个 典型 的 磁盘 驱动 器 。 驱 动 磁盘 表面 就 是 一 个 磁道 
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器 由 一 个 或 多 个 盘 片 (platter) 组 成 ， 它 们 以 一 个 固定 的 速度 绕 着 一 个 共同 的 主轴 (spindle) 旋 转 。 
每 个 盘 的 表面 覆盖 着 一 层 可 磁化 的 物质 。 驱 动 器 通过 磁 臂 (arm) 未 尾 的 磁头 (head) 来 读 / 写 盘 片 。 
磁 辟 可 以 将 磁头 向 主轴 移 近 或 移 远 。 当 一 个 给 定 的 磁头 处 于 静止 时 ， 它 下 面 经 过 的 磁盘 表面 称 
为 一 个 磁道 (track) 。 多 个 盘 片 增加 的 仅仅 是 磁盘 驱动 器 的 容量 ， 而 不 影响 性 能 。 

尽管 磁盘 比 主 存 便宜 并 且 具 有 更 多 的 容量 ,但 是 它们 比 主 存 慢 很 多 ， 因 为 它们 有 机 械 运动 
的 部 分 。 磁 盘 有 两 个 机 械 运动 的 部 分 : 盘 片 旋转 和 磁 臂 移动 。 在 撰写 本 书 时 ， 商 用 磁盘 的 旋转 
速度 是 5 400~15 000 转 / 分 钟 (RPM)。 通 常 看 到 的 15 000RPM 的 速度 是 用 于 服务 器 级 的 驱动 器 
上 ，7 200RPM 的 速度 用 于 台式 机 的 驱动 器 上 ，5 400RPM 的 速度 用 于 笔记 本 的 驱动 器 上 。 尽 管 
7 200RPM 看 上 去 很 快 ， 但 是 旋转 一 圈 需 要 8. 33ms， 比 硅 存 储 的 常见 存 取 时 间 50ns 要 高 出 5 个 
数量 级 。 也 就 是 说 ， 如 果 不 得 不 等 待 一 个 磁盘 旋转 完整 的 一 圈 ， 让 一 个 特定 的 项 到 达 读 / 写 磁 头 
下 方 ， 在 这 个 时 间 内 ， 我 们 可 能 存 取 主 存 超过 100000 KK. ERY, RASHES. (RE 
存 取 时 间 和 磁盘 存储 存 取 时 间 的 差距 仍然 是 巨大 的 。 移 动 磁 辟 也 要 耗费 时 间 。 在 撰写 本 书 时 ， 商 
用 磁盘 的 平均 存 取 时 间 在 8~ 1 1 ms 范围 内 。 

为 了 摊 还 机 械 移动 所 花费 的 等 待 时 间 ， 磁 盘 会 一 次 存 取 多 个 数据 项 而 不 是 一 个 。 信 息 被 分 
为 一 系列 相等 大 小 的 在 柱 面 内 连续 出 现 的 位 页 面 (page) ， 并 且 每 个 磁盘 读 或 写 一 个 或 多 个 完整 的 
页 面 。 对 于 一 个 典型 的 磁盘 来 说 ， 一 页 的 长 度 可 能 为 22 一 25 字 节 。 一 且 读 / 写 磁头 正确 定位 ， 并 
且 盘 片 已 经 旋转 到 所 要 页 面 的 开头 位 置 ， 对 磁盘 的 读 或 写 就 完全 电子 化 了 (除了 磁盘 的 旋转 外 )， 
磁盘 能 够 快速 地 读 或 写 大 量 的 数据 。 

通常 ， 定 位 到 一 页 信息 并 将 其 从 磁盘 里 读 出 的 时 间 要 比 对 读 出 信息 进行 检查 的 时 间 要 长 得 
多 。 因 此 ， 本 章 将 对 运行 时 间 的 两 个 主要 组 成 成 分 分 别 加 以 考虑 : 

。 磁盘 存 取 次 数 。 

。 CPU( 计 算 ) 时 间 。 

我 们 使 用 需要 读 出 或 写 人 磁盘 的 信息 的 页 数 来 衡量 磁盘 存 取 次 数 。 注 意 到 ， 磁 盘存 取 时 间 
并 不 是 常量 一 一 它 依赖 于 当前 磁道 和 所 需 磁 道 之 间 的 距离 以 及 磁盘 的 初始 旋转 状态 。 但 是 ， 我 
们 仍然 使 用 读 或 写 的 页 数 作 为 磁盘 存 取 总 时 间 的 主要 近似 值 。 

在 一 个 典型 的 也 树 应 用 中 ， 所 要 处 理 的 数据 量 非常 大 ， 以 至 于 所 有 数据 无 法 一 次 装 入 主 存 。 
B 树 算法 将 所 需 页 面 从 磁盘 复制 到 主 存 ， 然 后 将 修改 过 的 页 面 写 回 磁盘 。 在 任何 时 刻 ，B 树 算 法 

只 需 在 主 存 中 保持 一 定数 量 的 页 面 。 因 此 ， 主 存 的 大 小 并 不 限制 被 处 理 的 B 树 的 大 小 。 

用 以 下 的 伪 代 码 来 对 磁盘 操作 进行 建 模 。 设 z 为 指向 一 个 对 象 的 指针 。 如 果 该 对 象 正 在 主 
存 中 ， 那 么 可 以 像 平常 一 样 引用 该 对 象 的 各 个 属性 : 如 xz. key。 然 而 ， 如 果 z 所 指向 的 对 象 驻 留 
在 磁盘 上 ， 那 么 在 引用 它 的 属性 之 前 ， 必 须 先 执行 DISK-READ(Cz) ， 将 该 对 象 读 入 主 存 中 。( 假 
RUR z 已 经 在 主 存 中 ， 那 么 DISK-READ(z) 不 需要 磁盘 存 取 ， 即 它 是 个 空 操作 。) 类 似 地 ， 操 
作 DISK-WRITE(z) 用 来 保存 对 象 x 的 属性 所 做 的 任何 修改 。 也 就 是 说 ， 一 个 对 象 操作 的 典型 模 
式 如 下 : 


x = a pointer to some object 





DISK-READ(x) 
operations that access and/or modify the attributes of x 
DISK-WRITE(x) // omitted if no attributes of x were changed 


other operations that access but do not modify attributes of x 


在 任何 时 刻 ， 这 个 系统 可 以 在 主 存 中 只 保持 有 限 的 页 数 。 假 定 系统 不 再 将 被 使 用 的 页 从 主 


O 在 撰写 本 书 时 ， 固 态 硬 盘 刚刚 出 现在 消费 市 场 。 尽 管 它们 比 机 械 的 磁盘 驱动 器 快 ， 但 是 它们 每 GB 的 成 本 更 高 ， 


并 且 比 机 械 磁 盘 驱动 器 的 容量 更 小 。 
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存 中 换 出 ; 后 面 的 也 树 算法 会 忽略 这 一 点 。 

由 于 在 大 多 数 系统 中 ， 一 个 B 树 算法 的 运行 时 间 主 要 由 它 所 执行 的 DISK-READ 和 DISK- 
WRITE 操作 的 次 数 决 定 ， 所 以 我 们 希望 这 些 操作 能 够 读 或 写 尽 可 能 多 的 信息 。 因 此 ,一 个 B 树 
结 点 通常 和 一 个 完整 磁盘 页 一 样 大 ， 并 且 磁 盘 页 的 大 小 限制 了 一 个 B 树 结 点 可 以 含有 的 孩子 
个 数 。 

对 存储 在 磁盘 上 的 一 棵 大 的 BB 树 ， 通 常 看 到 分 支 因 子 在 50 一 2 000 之 间 ， 具 体 取 决 于 一 个 关 
键 字 相对 于 一 页 的 大 小 。 一 个 大 的 分 支 因 子 可 以 大 大 地 降低 树 的 高 度 以 及 查找 任何 一 个 关键 字 
所 需 的 磁盘 存 取 次 数 。 图 18-3 显示 的 是 一 棵 分 支 因子 为 1001、 高 度 为 2 的 BB 树 ， 它 可 以 存储 超 
过 10 亿 个 关键 字 。 不 过 ， 由 于 根 结 点 可 以 持久 地 保存 在 主 存 中 ， 所 以 在 这 棵 树 中 查找 某 个 关键 
字 至 多 只 需 两 次 磁盘 存 取 。 


1 个 结 点 ， 
1 000 个 关键 字 


1 001 个 结 点 ， 
1 001 000 个 关键 字 





1 002 001 个 结 点 ， 
1 002 001 000 个 关键 字 


图 18-3 一 棵 高 度 为 2 的 B 树 包含 10 亿 多 个 关键 字 。 显 示 在 每 个 结 点 xz 内 的 是 x.n， 表 示 r 中 关键 
字 个 数 。 每 个 内 部 结 点 及 叶 结 点 包含 1 000 个 关键 字 。 这 棵 B 树 在 深度 1 上 有 1 001 个 结 
点 ， 在 深度 2 上 有 超过 100 万 个 叶 结 点 


18.1 B 树 的 定义 

为 简单 起 见 ， 我 们 假定 ， 就 像 二 又 搜 索 树 和 红 黑 树 中 一 样 ， 任 何 和 关键 字 相 联系 的 “卫星 数 
HA” (satellite information) 将 与 关键 字 一 样 存放 在 同一 个 结 点 中 。 实 际 上 ， 人 们 可 能 只 是 为 每 个 关 
键 字 存放 一 个 指针 ， 这 个 指针 指向 存放 该 关键 字 的 卫星 数据 的 磁盘 页 。 这 一 章 的 伪 代 码 都 隐 含 
地 假设 了 当 一 个 关键 字 从 一 个 结 点 移动 到 另 一 个 结 点 时 ， 无 论 是 与 关键 字 相 联系 的 卫星 数据 ， 
还 是 指向 卫星 数据 的 指针 ， 都 会 随 着 关键 字 一 起 移动 。 一 个 常见 的 B 树 变种 ， 称 为 BHH BH- 
tree)， 它 把 所 有 的 卫星 数据 都 存储 在 叶 结 点 中 ， 内 部 结 点 只 存放 关键 字 和 孩子 指针 ， 因 此 最 大 
化 了 内 部 结 点 的 分 支 因 子 。 

一 棵 B 树 荆 是 具有 以 下 性 质 的 有 根 树 ( 根 为 T. root): 

1. 每 个 结 点 x 有 下 面 属性 : 

a. xX. n， 当 前 存储 在 结 点 zx 中 的 关键 字 个 数 。 

b.x.n 个 关键 字 本 身 zx.key，x.keys，…，X.key:»， 以 非 降序 存放 ， 使 得 zx. key < 
Ts keys x. key, ,oe 

c x. leaf， 一 个 布尔 值 ， 如 果 工 是 叶 结 点 ， 则 为 TRUE; 如 果 z HAMA, Ml FALSE, 

2. 每 个 内 部 结 点 xz 还 包含 zx. ntl 个 指向 其 孩子 的 指针 x. cs LCs tts L Canio MARAR 
有 孩子， 所 以 它们 的 c; 属性 没有 定义 。 

3. KEF x. key: 对 存储 在 各 子 树 中 的 关键 字 范 围 加 以 分 割 : 如 果 & 为 任意 一 个 存储 在 以 
z. ci 为 根 的 子 树 中 的 关键 字 ， 那 么 

kı Sa. key, Sk, <x. key, So Sa. Rey zn Shen 
4. 每 个 叶 结 点 具有 相同 的 深度 ， 即 树 的 高 度 h。 
5. 每 个 结 点 所 包含 的 关键 字 个 数 有 上 界 和 下 界 。 用 一 个 被 称 为 B 树 的 最 小 度数 (minmum 
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degree) 的 固定 整数 (2 来 表示 这 些 界 : 

a. 除了 根 结 点 以 外 的 每 个 结 点 必须 至 少 有 t 一 1 个 关键 字 。 因 此 ， 除 了 根 结 点 以 外 的 每 个 内 
部 结 点 至 少 有 上 个 孩子 。 如 果树 非 空 ， 根 结 点 至 少 有 一 个 关键 字 。 

b 每 个 结 点 至 多 可 包含 2: 一 1 个 关键 字 。 因 此 ， 一 个 内 部 结 点 至 多 可 有 2t 个 孩子 。 当 一 个 
结 点 恰好 有 2: 一 1 个 关键 字 时 ， 称 该 结 点 是 满 的 (full) .2 

t=2 时 的 也 树 是 最 简单 的 。 每 个 内 部 结 点 有 2 个 、3 个 或 4 个 孩子 ， 即 一 棵 2-3-4 树 。 然 而 
EP, 的 值 越 大 ，B 树 的 高 度 就 越 小 。 

B 树 的 高 度 

B 树 上 大 部 分 的 操作 所 需 的 磁盘 存 取 次 数 与 B 树 的 高 度 是 成 正比 的 。 现 在 来 分 析 B 树 最 坏 情 
况 下 的 高 度 。 

定理 18. 1 如 果 n 宇 1， 那 么 对 任意 一 棵 包含 nn 个 关键 字 、 高 度 为 h、 最 小 度数 t 宇 2 的 日 树 
T， 有 


n+1 
2 


证 明 B 树 工 的 根 至 少 包含 一 个 关键 字 ， 而 且 所 有 其 他 的 结 点 至 少 包 含 :一 1 个 关键 字 。 因 
此 ， 高 度 为 h 的 B 树 全 在 深度 1 至 少 包含 2 个 结 点 ， 在 深度 2 至 少 包含 2i 个 结 点 ， 在 深度 3 至 
少 包含 22 Aio FF, EARE h ENA 2# “个 结 点 。 图 18-4 给 出 了 /一 3 时 的 一 棵 树 。 因 
此 ， 关 键 字 的 个 数 n 满 足 不 等 式 : 


n>1+0- D2 =1+20- D(H) = 24-1 


h< log, 








T 
HERRE, ATS A 之 (n 十 1)/2 。 两 边 取 以 t ARRIERE TE m 


Troot 


深度 结 点 数 





` 4 1 Í t-l i ti t-l qa et | 2i = t, 3 2? 
图 18-4 一 棵 高 度 为 3 的 BB 树 可 以 包含 的 最 小 可 能 关键 字 个 数 。 每 个 结 点 zx 内 部 显示 的 是 xz.n 

与 红 黑 树 对 比 ， 这 里 我 们 看 到 了 B 树 的 能 力 。 尽 管 二 者 的 高 度 都 以 Ol(lgn) 的 速度 增长 (注意 
t 是 个 常数 )， 但 对 B 树 来 说 ， 对 数 的 底 可 以 大 很 多 信 。 因 此 ， 对 大 多 数 树 的 操作 来 说 ， 要 检查 
的 结 点 数 在 B 树 中 要 比 在 红 黑 树 中 少 大 约 let 的 因子 。 由 于 在 一 棵 树 中 检查 任意 一 个 结 点 都 需要 
一 次 磁盘 访问 ， 所 以 B 树 避免 了 大 量 的 磁盘 访问 。 
练习 
18.1-1 为 什么 不 允许 最 小 度数 t= 二 1? 
18.1-2 当 t 取 何 值 时 ， 图 18-1 所 示 的 树 是 一 棵 合法 的 B 树 ? 





O 另 一 个 常见 的 B 树 变种 称 为 B* 树 ， 它 要 求 每 个 内 部 结 点 至 少 是 2/3 满 的， 而 不 像 B 树 要 求 的 至 少 是 半 满 的 。 
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18.1-3 ”请 给 出 表示 {1，2，3，4，5} 的 最 小 度数 为 2 的 所 有 合法 BH. 

18. 1-4 一 棵 高 度 为 h 的 BB 树 中 ， 可 以 存储 最 多 多 少 个 关键 字 ? 用 最 小 度数 t 的 函数 表示 。 

18.1-5 ”如 果 红 黑 树 中 每 个 黑 结 点 吸收 它 的 红色 和 孩子， 并 把 它们 的 孩子 并 入 作为 自己 的 孩子 ， 描 
述 这 个 结果 的 数据 结构 。 


18.2 B 树 上 的 基本 操作 
本 节 将 给 出 BTREE-SEARCH、B-TREE-CREATE 和 B-TREE-INSERT 操作 的 细节 。 在 这 
些 过 程 中 ， 我 们 采用 两 个 约定 : 
。 B 树 的 根 结 点 始终 在 主 存 中 ， 这 样 无 需 对 根 做 DISK-READ 操作 ; 然而 ， 当 根 结 点 被 改 
变 后 ， 需 要 对 根 结 点 做 一 次 DISK-WRITE 操作 。 
。 任何 被 当做 参数 的 结 点 在 被 传递 之 前 ， 都 要 对 它们 先 做 一 次 DISK-READ 操作 。 
我 们 给 出 的 过 程 都 是 “单程 ”算法 ， 即 它们 从 树 的 根 开始 向 下 ， 没 有 任何 返回 向 上 的 过 程 。 
搜索 B 树 
搜索 一 棵 B 树 和 搜索 一 棵 二 又 搜 索 树 很 相似 ， 只 是 在 每 个 结 点 所 做 的 不 是 二 又 或 者 “两 路 ” 
分 支 选择 ， 而 是 根据 结 点 的 孩子 数 做 多 路 分 支 选 择 。 更 严格 地 说 ， 对 每 个 内 部 结 点 xz， 做 的 是 一 
个 (zx.n 十 1) 路 的 分 支 选 择 。 
B-TREE-SEARCH 是 定义 在 二 又 搜索 树 上 的 TREE-SEARCH 过 程 的 一 个 直接 推广 。 它 的 输 
人 是 一 个 指向 某 子 树 根 结 点 工 的 指针 ， 以 及 要 在 该 子 树 中 搜索 的 一 个 关键 字 k Alt, WEA 
的 形式 为 BTREE-SEARCH(T. root, k). WÈ k EBM, ABA B-TREE-SEARCH 返回 的 是 由 
结 点 y 和 使 得 y. key =k 的 下 标 i ARMA My, O; 否则 ， 过 程 返 回 NIL. 
B-TREE-SEARCH(z, k) 
i=1 
while i < z. n and k > z. key; 
i=it+l 


if i < zx. n and k == z. key; 


1 
2 
3 
4 
5 return (x, i) 
6 elseif x. leaf 
7 return NIL 
8 else DISK-READ(z, c;) 
9 return B-TREE-SEARCH(z. c;, k) 

利用 一 个 线性 搜索 过 程 ， 第 1 一 3 TR) Pte i, 使 得 Rx. keyi GRAB, WHI 
Z.7 十 1。 第 4 一 5 行 检 查 是 否 已 经 找到 该 关键 字 ， 如 果 找 到 ， 则 返回 ; 否则 ， 第 6 一 9 行 结束 这 次 
不 成 功 查找 (如 果 工 是 叶 结 点 )， 或 者 在 对 孩子 结 点 执行 必要 的 DISK-READ 后 ， 递 归 搜 索 zx 的 相 
应 子 树 。 

图 18-1 显示 了 BTREE-SEARCH 的 操作 过 程 。 浅 阴影 的 结 点 是 在 搜索 关键 字 R 的 过 程 中 被 
检查 的 结 点 。 

就 像 二 又 搜索 树 的 TREE-SEARCH 过 程 一 样 ， 在 递归 过 程 中 所 遇 到 的 结 点 构成 了 一 条 从 树 
根 向 下 的 简单 路 径 。 因 此 ， 由 BTREE-SEARCH 过 程 访问 的 磁盘 页 面 数 为 Oh) = O(log,n)， 
其 中 为 BB 树 的 高 ,，n 为 B 树 中 所 含 关键 字 个 数 。 由 于 xz n<2t, PU 2~3 行 的 while 循环 在 
每 个 结 点 中 花费 的 时 间 为 OC) ， 总 的 CPU 时 间 为 O(th) 二 Oltlog,n)。 

创建 一 棵 空 的 B 树 

为 构造 一 棵 B 树 T, 先 用 BTREE-CREATE 来 创建 一 个 空 的 根 结 点 ， 然 后 调用 B-TREE- 
INSERT 来 添加 新 的 关键 字 。 这 些 过 程 都 要 用 到 一 个 辅助 过 程 ALLOCATE-NODE， 它 在 O(1) 
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时 间 内 为 一 个 新 结 点 分 配 一 个 磁盘 页 。 我 们 可 以 假定 由 ALLOCATE-NODE 所 创建 的 结 点 并 不 
需要 DISK-READ， 因 为 磁盘 上 还 没有 关于 该 结 点 的 有 用 信息 。 
B-TREE-CREATE(T) 
1 2 = ALLOCATE-NODEQ 
2 x. leaf = TRUE 
3 gn= 0 
4 DISK-WRITE(z) 
5 


T. root = x 


B-TREE-CREATE 需要 O(1) 次 的 磁盘 操作 和 OC.) 的 CPU 时 间 。 

向 B 树 中 插入 一 个 关键 字 

B 树 中 插入 一 个 关键 字 要 比 二 又 搜 索 树 中 插入 一 个 关键 字 复 杂 得 多 。 像 二 又 搜索 树 中 一 样 ， 
要 查找 插入 新 关键 字 的 叶 结 点 的 位 置 。 然 而 ， 在 B 树 中 ， 不 能 简单 地 创建 一 个 新 的 叶 结 点 ， 然 
后 将 其 插入 ， 因 为 这 样 得 到 的 树 将 不 再 是 合法 的 B 树 。 相 反 ， 我 们 是 将 新 的 关键 字 插 入 一 个 已 
经 存在 的 叶 结 点 上 。 由 于 不 能 将 关键 字 插 入 一 个 满 的 叶 结 点 ， 故 引入 一 个 操作 ， 将 一 个 满 的 结 点 
yA 2 一 1 个 关键 字 ) 按 其 中 间 关 键 字 (median key) y. key, 分 裂 (split) 为 两 个 各 含 :一 1 个 关键 字 的 
结 点 。 中 间 关 键 字 被 提升 到 y 的 父 结 点 ， 以 标识 两 棵 新 树 的 划分 点 。 但 是 如 果 y 的 父 结 点 也 是 满 
的 ， 就 必须 在 插入 新 的 关键 字 之 前 将 其 分 裂 ， 最 终 满 结 点 的 分 裂 会 沿 着 树 向 上 传播 。 

与 一 棵 二 叉 搜 索 树 一 样 ， 可 以 在 从 树 根 到 叶子 这 个 单程 向 下 过 程 中 将 一 个 新 的 关键 字 插 入 B 
树 中 。 为 了 做 到 这 一 点 ， 我 们 并 不 是 等 到 找 出 插入 过 程 中 实际 要 分 裂 的 满 结 点 时 才 做 分 裂 。 相 
反 ， 当 沿 着 树 往 下 查找 新 的 关键 字 所 属 位 置 时 ， 就 分 裂 沿途 遇 到 的 每 个 满 结 点 (包括 叶 结 点 本 
身 )。 因 此 ， 每 当 要 分 裂 一 个 满 结 点 y 时 ， 就 能 确保 它 的 父 结 点 不 是 满 的 。 

分 裂 B 树 中 的 结 点 

过 程 B-TREE-SPLIT-CHILD 的 输入 是 一 个 非 满 的 内 部 结 点 x( 假 定 在 主 存 中 ) 和 一 个 使 xz. c 
(也 假定 在 主 存 中 ) 为 z 的 满 子 结 点 的 下 标 i。 该 过 程 把 这 个 子 结 点 分 裂 成 两 个 ， 并 调整 xz， 使 之 
包含 多 出 来 的 孩子 。 要 分 裂 一 个 满 的 根 ， 首 先 要 让 根 成 为 一 个 新 的 空 根 结 点 的 孩子 ， 这 样 才能 使 
用 BTREE-SPLIT-CHILD。 树 的 高 度 因此 增加 1; 分 裂 是 树 长 高 的 唯一 途径 。 

图 18-5 显示 了 这 个 过 程 。 满 结 点 yao. c; 按照 其 中 间 关 键 字 S 进行 分 裂 ，S 被 提升 到 y 的 父 
结 点 zx。y 中 的 那些 大 于 中 间 关 键 字 的 关键 字 都 置 于 一 个 新 的 结 点 z 中 ， 它 成 为 z 的 一 个 新 的 
孩子 。 
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图 18-5 分 裂 一 个 t=4 的 结 点 。 结 点 y 二 zx. ci 分 为 两 个 结 点 y Az, y 的 中 间 关 
EF S 被 提升 到 y 的 父 结 点 中 


B-TREE-SPLIT-CHILD(z, i) 
1 z= ALLOCATE-NODE() 
2 y=2.¢; 
3 z.leaf = y. leaf 
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A zn =t£-1 
5 forj = ltot—1 

6 z. key;= y. Reyj+e 

7 if not y. leaf 

8 for j = 1 tot 

9 Ze Cj Yo Cpe 

10 yn=t—1 

11 forj = z.n + 1 downtoi + 1 
12 Ba Cp = Ls Cj 

13 neti z 

l4 forj = x. n downto i 

15 x. keyj+ı 5 T. key; 

16 zx. key;= y. key, 

17 manman tl 

18 DISK-WRITE(y) 

19 DISK-WRITE(z) 

20 DISK-WRITE(z) 


B-TREE-SPLIT-CHILD 以 直接 的 “剪贴 ?方式 工作 。 这 里 工 是 被 分 裂 的 结 点 ，> 是 的 第 i 个 
孩子 ( 见 第 2 行 )。 开 始 时 ， 结 点 y 有 2 个 孩子 (21 一 1 个 关键 字 )， 在 分 裂 后 减少 至 :个 孩子 (i 一 1 
个 关键 字 )。 结 点 z 取 走 y 的 上 个 最 大 的 孩子 (一 1 个 关键 字 )， 并 且 = 成 为 zx 的 新 孩子 ， 它 在 
的 孩子 表 中 仅 位 于 y 之 后 。y 的 中 间 关 键 字 上 升 到 xz 中 ， 成 为 分 隔 y 和 x 的 关键 字 。 

第 1 一 9 行 创建 结 点 >， 并 将 y 的 :一 1 个 关键 字 以 及 相应 的 上 个 孩子 给 它 。 第 10 行 调整 y 的 
关键 字 个 数 。 最 后 ， 第 11 一 17 行将 z 插 入 为 z 的 一 个 孩子 ， 并 提升 y 的 中 间 关 键 字 到 zx 来 分 隔 
y 和 z， 然 后 调整 zx 的 关键 字 个 数 。 第 18 一 20 行 写 出 所 有 修改 过 的 磁盘 页 面 。B-TREE-SPLIT- 
CHILD 占用 的 CPU 时 间 为 6(z)， 是 由 第 5 一 6 行 和 第 8 一 9 行 的 循环 引起 的 。( 其 他 循环 执行 
OC) 次 迭代 。) 这 个 过 程 执 行 0(1) 次 磁盘 操作 。 

以 沿 树 单程 下 行 方式 向 B 树 插入 关键 字 

在 一 棵 高 度 为 h 的 B 树 荆 中， 以 沿 树 单程 下 行 方 式 插入 一 个 关键 字 & MERE ie BE OCA) 次 磁 
盘存 取 。 所 需要 的 CPU 时 间 为 O(th) 二 Oltlog,n)。 过 程 B-TREE-INSERT 利用 B-TREE-SPLIT- 
CHILD 来 保证 递归 始终 不 会 降 至 一 个 满 结 点 上 。 


B-TREE-INSERT(T, k) 
1 r= T. root 
2 ifr.n == 2t—1 


5.CI 一 六 


3 s = ALLOCATE-NODE() 
4 T. root = s 

5 s. leaf = FALSE 

6 sn=0 

4 

8 


B-TREE-SPLIT-CHILD(s, 1) 
9 B-TREE-INSERT-NONFULL(s, k) 
10 else BTREE-INSERT-NONFULL(;, k) 


第 3 一 9 行 处 理 了 根 结 点 > 为 满 的 情况 : 原来 的 根 结 点 被 分 裂 ， 一 个 新 的 结 点 *( 有 两 个 孩子 ) 
成 为 根 。 对 根 进行 分 裂 是 增加 B 树 高 度 的 唯一 途径 。 图 18-6 说 明了 这 种 情况 。 与 二 又 搜索 树 不 
同 ，B 树 高 度 的 增加 发 生 在 顶部 而 不 是 底部 。 过 程 通过 调用 B-TREE-INSERT-NONFULL 完成 
将 关键 字 插 入 以 非 满 的 根 结 点 为 根 的 树 中 。B-TREE-INSERT-NONFULL 在 需要 时 沿 树 向 下 递 
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归 ， 在 必要 时 通过 调用 BTREE-SPLIT-CHILD 来 保证 任何 时 刻 它 所 递归 处 理 的 结 点 都 是 非 
满 的 。 





TD ER Ty Te TS L I 


图 18-6 分裂 坛 4 的 根 。 根 结 点 ~ 一 分 为 二 ， 并 创建 了 一 个 新 结 点 s。 新 的 根 包 含 了 7 的 中 间 关 
键 字 ， 且 以 -的 两 半 作 为 孩子 。 当 根 被 分 裂 时 ，B 树 的 高 度 增 加 1 


辅助 的 递归 过 程 BTREE-INSERT-NONFULL 将 关键 字 插 入 结 点 二， 要 求 假 定 在 调用 该 过 程 
时 是 非 满 的 。 操 作 BTREE-INSERT 和 递归 操作 B-TREE-INSERT-NONFULL 保证 了 这 个 假 


设 成 立 。 
B-TREE-INSERT-NONFULL(z, k) 
l i= mn 
2 if z.leaf 
3 while i > 1 and k < z. key; 
4 x. key; 4+ ,= x. key; 
5 t=f-] 
6 xz. keyi} = k 
7 zn=z.n+1 
8 DISK-WRITE(z) 
9 else while i > 1 and k < z. key; 
10 sk 
11 i 二 二 
12 DISK-READ(z. c;) 
13 if x. c; n == 2t— 1 
14 B-TREE-SPLIT-CHILD(z, i) 
15 if k > x. key; 
16 t=i+ 1 
17 B-TREE-INSERT-NONFULL(z. c;, k) 


过 程 B-TREE-INSERT-NONFULL 的 工作 方式 如 下 。 第 3~8 行 处 理工 是 叶 结 点 的 情况 ， 将 
KEF kA. WR zz 不 是 叶 结 点 ， 则 必须 将 插入 以 内 部 结 点 为 根 的 子 树 中 适当 的 叶 结 点 
中 去 。 这 种 情况 下 ， 第 9 一 11 行 决定 向 z 的 哪个 子 结 点 递归 下 降 。 第 13 行 检查 是 否 是 递归 降 至 
了 一 个 满 子 结 点 上 ， 若 是 ， 则 第 14 行 用 BTREE-SPLIT-CHILD 将 该 子 结 点 分 裂 为 两 个 非 满 的 

孩子 ， 第 15 一 16 行 确定 向 两 个 孩子 中 的 哪 一 个 下 降 是 正确 的 。( 注 意 ， 在 第 16 行 中 ;增加 1 后 无 
需 做 DISK-READ(z. c;)， 因 为 这 种 情况 下 递归 会 降 至 一 个 刚刚 由 BTREE-SPLIT-CHILD 创建 的 
子 结 点 上 。) 第 13 一 16 行 的 真正 作用 就 是 保证 该 程序 始终 不 会 降 至 一 个 满 结 点 上 。 然 后 第 17 行 递 
归 地 将 插入 合适 的 子 树 中 。 图 18-7 说 明了 向 B 树 中 插入 关键 字 的 各 种 情况 。 

对 一 棵 高 度 为 h 的 B 树 来 说 ，B-TREE-INSERT 要 做 Oh) 次 磁盘 存 取 ， 因 为 在 每 次 调用 B 
TREE-INSERT-NONFULL 之 间 ， 只 做 了 OC) 次 DISK-READ 和 DISK-WRITE 操作 。 所 占用 的 
总 CPU 时 间 为 OGh) = O(tlog,n) 。 因 为 B-TREE-INSERT-NONFULL 是 尾 递归 的 ， 所 以 它 也 
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可 以 用 一 个 while 循环 来 实现 ， 从 而 说 明了 在 任何 时 刻 ， 需 要 留 在 主 存 中 的 页 面 数 为 0(1) 。 





Ce) HAF 


图 18-7 向 B 树 中 插入 关键 字 。 这 棵 BB 树 的 最 小 度数 1 为 3， 所 以 一 个 结 点 至 多 可 包含 5 个 关键 
字 。 在 插 人 过 程 中 被 修改 的 结 点 由 浅 阴影 标记 。(a) 这 个 例子 初始 时 的 树 。(b) 向 初始 
树 中 插入 B 后 的 结果 ; 这 是 一 个 对 叶 结 点 的 简单 插入 。(c) 将 Q 插入 前 一 棵 树 中 的 结 
果 。 结 点 RSTUV 被 分 裂 为 两 个 分 别 包含 RS 和 UV 的 结 点 ， 关 键 字 工 被 提升 到 根 中 ， 
QQ 被 插入 两 半 的 最 左边 (RS 结 点 )。(d) 将 工 插 入 前 一 棵 树 中 的 结果 。 由 于 根 结 点 是 满 
的 ， 所 以 它 立 即 被 分 裂 ， 同 时 B 树 的 高 度 增加 1。 然 后 工 被 插入 包含 JK 的 叶 结 点 中 。 
(e) 将 下 插入 前 一 棵 树 中 的 结果 。 在 将 下 插入 两 半 的 最 右边 (DE 结 点 ) 之 前 ， 结 点 
ABCDE 会 进行 分 裂 


练习 

18.2-1， 请 给 出 关键 字 天 83 QO. K. C. LH T. Vs Wi Mi OR. Nw Ps. An B. X.Y、 
D、Z、 玉 依 序 插入 一 棵 最 小 度数 为 2 的 空 B 树 的 结果 。 只 要 画 出 在 某 些 结 点 分 裂 之 前 
的 结构 以 及 最 终 的 结构 。 

18.2-2 请 解释 在 什么 情况 下 (如 果 有 的 话 )， 在 调用 BTREE-INSERT 的 过 程 中 ， 会 执行 元 余 的 
DISK-READ 或 DISK-WRITE 操作 。( 所 谓 宛 余 的 DISK-READ， 是 指 对 已 经 在 主 存 中 的 
某 页 做 DISK-READ, KAKI DISK-WRITE 是 指 将 已 经 存在 于 磁盘 上 的 某 页 又 完全 相同 
地 重 写 一 遍 。) 

18. 2-3 ”请 说 明 如 何在 一 棵 B 树 中 找 出 最 小 关键 字 ， 以 及 如 何 找 出 某 一 给 定 关 键 字 的 前 驱 。 


286 + 第 五 部 分 高 级 数据 结构 


*18. 2-4 ”假设 关键 字 {1，2，…，nn} 被 插入 一 棵 最 小 度数 为 2 的 空 B 树 中 ， 那 么 最 终 的 B 树 有 多 


少 个 结 点 ? 
Fe 18. 2-5 ”因为 叶 结 点 无 需 指向 孩子 结 点 的 指针 ， 那 么 对 同样 大 小 的 磁盘 页 面 ， 可 选用 一 个 与 内 部 
498 
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结 点 不 同 的 (更 大 的 )t 值 。 请 说 明 如 何 修改 B 树 的 创建 和 插入 过 程 来 处 理 这 个 变化 。 
18.2-6 假设 B-TREE-SEARCH 的 实现 是 在 每 个 结 点 内 采用 二 分 查找 ， 而 不 是 线性 查找 。 证 明 : 
无 论 怎样 选择 G 为 n 的 函数 )， 这 种 实现 所 需 的 CPU 时 间 都 为 O(lgn) 。 
18.2-7 假设 磁盘 硬件 允许 我 们 任意 选择 磁盘 页 面 的 大 小 ， 但 读 取 磁 盘 页 面 的 时 间 是 att, 
其 中 a 和 5 为 规定 的 常数 ，i 为 确定 磁盘 页 大 小 后 的 BB 树 的 最 小 度数 。 请 描述 如 何 选 
择 t 以 (近似 地 ) 最 小 化 电 树 的 查找 时 间 。 对 a=5ms 和 5 二 10ms， 请 给 出 的 一 个 最 
优 值 。 


18.3 从 B 树 中 删除 关键 字 


B 树 上 的 删除 操作 与 插入 操作 类 似 ， 只 是 略微 复杂 一 点 ， 因 为 可 以 从 任意 一 个 结 点 中 删除 一 
个 关键 字 ， 而 不 仅仅 是 叶 结 点 ， 而 且 当 从 一 个 内 部 结 点 删除 一 个 关键 字 时 ， 还 要 重新 安排 这 个 结 
点 的 孩子 。 与 插入 操作 一 样 ， 必 须 防 止 因 删除 操作 而 导致 树 的 结构 违反 B 树 性 质 。 就 像 必须 保 
证 一 个 结 点 不 会 因为 插入 而 变 得 太 大 一 样 ， 必 须 保证 一 个 结 点 不 会 在 删除 期 间 变 得 太 小 ( 根 结 点 
除外 ， 因 为 它 允 许 有 比 最 少 关键 字数 1 一 1 还 少 的 关键 字 个 数 )。 一 个 简单 插入 算法 ， 如 果 插 入 关 
键 字 的 路 径 上 结 点 满 ， 可 能 需要 向 上 回溯 ; 与 此 类 似 ， 一 个 简单 删除 算法 ， 当 要 删除 关键 字 的 路 
径 上 结 点 ( 非 根 ) 有 最 少 的 关键 字 个 数 时 ， 也 可 能 需要 向 上 回溯 。 

过 程 B-TREE-DELETE 从 以 为 根 的 子 树 中 删除 关键 字 k。 我 们 设计 的 这 个 过 程 必须 保证 无 
论 何 时 ， 结 点 工 递归 调用 自身 时 ，z 中 关键 字 个 数 至 少 为 最 小 度数 :。 注 意 到 ， 这 个 条 件 要 求 比 
通常 B 树 中 的 最 少 关键 字 个 数 多 一 个 以 上 ， 使 得 有 时 在 递归 下 降 至 子 结 点 之 前 ,需要 把 一 个 关 
键 字 移 到 子 结 点 中 。 这 个 加 强 的 条 件 允 许 在 一 趟 下 降 过 程 中 ， 就 可 以 将 一 个 关键 字 从 树 中 删除 ， 
无 需 任 何 “ 向 上 回溯 "有 一 个 例外 ， 后 面 会 解释 )。 对 下 面 的 B 树 上 删除 操作 的 规定 应 当 这 样 理 
解 ， 如 果 根 结 点 z 成 为 一 个 不 含 任何 关键 字 的 内 部 结 点 (这 种 情况 可 能 出 现在 图 18-8 中 的 情况 2c 
和 情况 3b 中 )， 那 么 z 就 要 被 删除 ，z 的 唯一 孩子 zx. ci 成 为 树 的 新 根 ， 从 而 树 的 高 度 降低 1， 同 
时 也 维持 树 根 必须 包含 至 少 一 个 关键 字 的 性 质 ( 除 非 树 是 空 的 )。 

现在 我 们 来 简要 地 介绍 删除 操作 是 如 何 工作 的 ， 而 不 是 给 出 其 伪 代 码 。 图 18-8 描绘 了 从 B 
树 中 删除 关键 字 的 各 种 情况 。 

1. 如 果 关 键 字 & 在 结 点 zx H, 并且 xz 是 叶 结 点 ， 则 从 PR. 

2. 如 果 关 键 字 在 结 点 x 中 ， 并 且 z 是 内 部 结 点 ， 则 做 以 下 操作 : 

a 如 果 结 点 z 中 前 于 & 的 子 结 点 y 至 少 包 含 t 个 关键 字 ， 则 找 出 在 以 y 为 根 的 子 树 中 的 前 
驱 忆 。 递 归 地 删除 上， 并 在 工 中 用 和 代替。( 找 到 并 删除 它 可 在 沿 树 下 降 的 单 过 程 中 完成 。) 

b. 对 称 地 ， 如 果 > 有 少 于 t 个 关键 字 ， 则 检查 结 点 x 中 后 于 的 子 结 点 z。 如 果 z BDA 
个 关键 字 ， 则 找 出 在 以 z 为 根 的 子 树 中 的 后 继 &"。 递 归 地 删除 如 ， 并 在 z PAR 代替 &。( 找 到 
& 并 删除 它 可 在 沿 树 下 降 的 单 过 程 中 完成 。) 

c AM, MR y Az 都 只 含有 一 1 个 关键 字 ， 则 将 上 和 >z 的 全 部 合并 进 y， 这 样 zx 就 失去 了 
k 和 指向 = 的 指针 ， 并 且 y 现在 包含 2: 一 1 个 关键 字 。 然 后 释放 = 并 递归 地 从 y 中 删除 。 

3. 如 果 关 键 字 当前 不 在 内 部 结 点 zx H, WAELE k 的 子 树 的 根 c. c; (如 果 确实 在 树 
中 )。 如 果 r c 只 有 :一 1 个 关键 字 ， 必 须 执行 步骤 3a 或 3b 来 保证 降 至 一 个 至 少 包含 上 个 关键 字 
的 结 点 。 然 后 ， 通 过 对 z 的 某 个 合适 的 子 结 点 进行 递归 而 结束 。 
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O) MEF: 情况 1 





od 删除 M: 情况 2a 





(a) 删除 G: 情况 2c 





(f) 删除 8: 情况 3a 


18-8 从 一 棵 也 树 中 删除 关键 字 。 这 棵 B 树 的 最 小 度数 本 3， 因 此 一 个 结 点 ( 非 根 ) 包 含 的 关键 
字 个 数 不 能 少 于 两 个 。 被 修改 了 的 结 点 都 以 浅 阴影 标记 。(a) 图 18-7e 中 的 B 树 。(b) 删 除 
下 。 这 是 情况 1: 从 一 个 叶 结 点 中 进行 的 简单 删除 。(c) 删 除 M。 这 是 情况 2a: M 的 前 驱 
工 提 升 并 占据 M 的 位 置 。(d) 删 除 G。 这 是 情况 2c: G 下 降 以 构成 结 点 DEGJK， 然 后 从 
这 个 叶 结 点 中 删除 G( 情 况 1) 。(e) 删 除 D。 这 是 情况 3b: 递归 不 能 降 至 结 点 CL， 因 为 它 
仅 有 两 个 关键 字 ， 所 以 将 P 下 降 并 与 CL 和 TX 合并 以 构成 CLPTX; 然后 将 D 从 这 个 叶 
结 点 中 删除 (情况 1)。(e ) 在 (e) 之 后 ， 根 结 点 被 删除 ， 树 的 高 度 减 小 1。(f 删 除 B。 这 是 
情况 3a: 移动 C 以 填补 了 3 的 位 置 ， 移 动 已 以 填补 C 的 位 置 501 


500 
l 


[502] 
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a 如 果 z. c; 只 含有 :一 1 个 关键 字 , 但 是 它 的 一 个 相 邻 的 兄弟 至 少 包含 个 关键 字 ， 则 将 x 
中 的 某 一 个 关键 字 降 至 zx. c; 中 ， 将 z. ci 的 相 邻 左 兄弟 或 右 兄弟 的 一 个 关键 字 升 至 zx， 将 该 兄弟 
中 相应 的 孩子 指针 移 到 x. c; 中， 这样 就 使 得 zx. ci; 增加 了 一 个 额外 的 关键 字 。 

b. 如 果 z. c 以 及 xz. ci 的 所 有 相 邻 兄弟 都 只 包含 上 一 1 个 关键 字 ， 则 将 r <; 与 一 个 兄弟 合并 ， 
即将 z 的 一 个 关键 字 移 至 新 合并 的 结 点 ， 使 之 成 为 该 结 点 的 中 间 关 键 字 。 

由 于 一 棵 B 树 中 的 大 部 分 关键 字 都 在 叶 结 点 中 ， 我 们 可 以 预期 在 实际 中 ， 删 除 操作 最 经 常 
用 于 从 叶 结 点 中 删除 关键 字 。 这 样 B-TREE-DELETE 过 程 只 要 沿 树 下 降 一 趟 即 可 ， 不 需要 向 上 
回 湖 。 然 而 ， 当 要 删除 某 个 内 部 结 点 的 关键 字 时 ， 该 过 程 也 要 沿 树 下 降 一 趟 ， 但 可 能 还 要 返回 删 
除了 关键 字 的 那个 结 点 ， 以 用 其 前 驱 或 后 继 来 取代 被 删除 的 关键 字 ( 情 况 2a 和 情况 2b). 

尽管 这 个 过 程 看 起 来 很 复杂 ， 但 对 一 棵 高 度 为 h 的 B 树 ， 它 只 需要 OCA) 次 磁盘 操作 ， 因 为 
在 递归 调用 该 过 程 之 间 ， 仅 需 OC.) 次 对 DISK-READ 和 DISK-WRITE 的 调用 。 所 需 CPU 时 间 
为 OCth) = OC log 2) 。 


练习 


18.3-1 请 说 明 依 次 从 图 18-8(f) 中 删除 C、P 和 VV 后 的 结果 。 
18.3-2 ”请 写 出 BTREE-DELETE 的 伪 代 码 。 


18-1 GHA EMR) 考虑 在 一 个 有 着 相对 少量 的 快速 主 存 但 有 着 相对 大 量 较 慢 的 磁盘 存储 空间 的 计 
算 机 上 实现 一 个 栈 的 问题 。 操 作 PUSH 和 POP 操作 的 对 象 为 单字 。 我 们 希望 计算 机 支持 的 栈 

可 以 增长 得 很 大 ， 以 至 于 无 法 全 部 装 入 主 存 中 ， 因 此 它 的 大 部 分 都 要 放 在 磁盘 上 。 
一 种 简单 但 低 效 的 栈 实现 方法 是 将 整个 栈 存 放 在 磁盘 上 。 在 主 存 中 保持 一 个 栈 的 指 


针 ， 它 指向 栈 顶 元 素 的 磁盘 地 址 。 如 果 该 指针 的 值 为 p»， 则 栈 顶 元 素 是 磁盘 的 | 之 | 页 上 的 


第 (pmodm) 个 字 ， 这 里 m 为 每 页 所 含 的 字数 。 
为 了 实现 PUSH 操作 ， 我 们 增加 栈 指针 ， 从 磁盘 将 适当 的 页 读 到 主 存 中 后 ， 复 制 要 被 
压 和 人 栈 的 元 素 到 该 页 上 适当 字 的 位 置 ， 最 后 将 该 页 写 回 到 磁盘 。POP 操作 与 之 类 似 。 我 们 
减 小 栈 指针 ， 从 磁盘 上 读 和 所 需 的 页 ， 再 返回 栈 顶 元 素 。 我 们 不 需要 写 回 该 页 ， 因 为 它 没 
有 被 修改 。 
因为 磁盘 操作 代价 相对 较 高 ， 我 们 统计 任何 实现 的 两 部 分 代价 : 总 的 磁盘 存 取 次 数 和 
总 的 CPU 时 间 。 任 何 对 一 个 包含 m 个 字 的 页 面 的 磁盘 存 取 ， 都 会 引起 一 次 磁盘 存 取 和 
@(m) fy CPU 时 间 。 
a 从 渐 近 意义 上 看 ， 使 用 这 种 简单 实现 ， 在 最 坏 的 情况 下 ，n 个 栈 操作 需要 多 少 次 磁盘 存 
取 ? CPU 时 间 又 是 多 少 ? (用 mAn 来 表示 这 个 问题 及 后 面 几 个 问题 的 管 案 。) 
现在 考虑 栈 的 另 一 种 实现 ， 即 在 主 存 中 始终 保持 存放 栈 中 的 一 页 。( 还 用 少量 的 主 存 
来 记录 当前 哪 一 页 在 主 存 中 。.) 只 有 相关 的 磁盘 页 驻 留 在 主 存 中 ， 才 能 执行 栈 操作 。 如 果 需 
要 ， 可 以 将 当前 主 存 中 的 页 写 回 磁 盘 ， 并 且 可 以 从 磁盘 向 主 存 读 和 人 新 的 一 页 。 如 果 相 关 的 
磁盘 页 已 经 在 主 存 ， 那 么 就 无 需 任何 磁盘 存 取 。 
b. 最 坏 情况 下 ，2” 个 PUSH 操作 所 需 的 磁盘 存 取 次 数 是 多 少 ? 所 需 的 CPU 时 间 是 多 少 ? 
c. 最 坏 情 况 下 ，n 个 栈 操作 所 需 的 磁盘 存 取 次 数 是 多 少 ? 所 需 的 CPU 时 间 是 多 少 ? 
假设 现在 是 在 主 存 中 保持 栈 的 2 页 (此 外 还 有 少量 的 字 来 记录 哪些 页 在 主 存 中 ) 的 实现 。 
d 请 描述 如 何 管理 栈 页 ， 使 得 任何 栈 操作 的 摊 还 磁盘 存 取 次 数 为 O(1/m) ， 摊 还 CPU 时 
间 为 0(1) 。 
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18-2 (连接 与 分 裂 2-3-4 树 ) 连接 操作 输入 两 个 动态 集合 S 和 S”"， 以 及 一 个 元 素 zx， 使 得 对 任 
何 x'ES' 和 x ES”"， 有 zx'.key<x.key 二 zx .key。 它 返回 一 个 集合 S 二 S'U {zx}US” ,分 
裂 操作 就 像 一 个 “ 逆 ” 连 接 操 作 : 给 定 一 个 动态 集合 S 和 一 个 元 素 zES， 它 创建 了 一 个 集 
AS, KBE S 一 {z} 中 所 有 关键 字 小 于 x. key 的 元 素 ; 同时 创建 了 一 个 集合 S", HUE 
S 一 {zx} 中 所 有 关键 字 大 于 x. key 的 元 素 。 在 这 个 问题 中 ， 我 们 讨论 如 何在 2-3-4 树 上 实现 
这 些 操作 。 为 方便 起 见 ， 假 定 所 有 元 素 都 只 包含 关键 字 ， 并 且 所 有 的 关键 字 都 不 相同 。 

a. 对 2-3-4 树 中 的 每 个 结 点 zx， 说 明 如 何 将 以 z 为 根 的 子 树 的 高 度 作 为 一 个 属性 x. height 
来 维护 。 要 确保 所 给 出 的 实现 不 影响 查找 、 揪 和 信和 删除 的 渐 近 运行 时 间 。 

b. 说 明 如 何 实现 连接 操作 。 给 定 两 棵 2-3-4 树 T 与 T "和 一 个 关键 字 &， 连 接 操作 应 在 
OAH |h =h" ) 运 行 时 间 内 完成 ， 其 中 性 和 万分 别 是 树 T' 和 TT" 的 高 度 。 

c. 考虑 从 一 棵 2-3-4 树 工 的 根 到 一 个 给 定 关键 字 HERR p, TH DFR 的 关键 字 集 
合 S ， 以 及 工 中 大 于 & 的 关键 字 集合 S$”。 证明: p 将 S' 分 为 一 个 树 的 集合 {Ts， 
Ti1，…，Tn} 和 一 个 关键 字 的 集合 {Ai ,k2，,…,k。，) ， 且 对 任何 关键 字 ye Ti. 和 zET; 
Ci=1, 2, +, m), BA y<k,'<z. THAT: 的 高 度 之 间 有 什么 关系 ? 请 说 明 p 是 如 
何 将 S 分 为 树 集合 和 关键 字 集 合 的 。 

d. 请 说 明 如 何 实现 工 上 的 分 裂 操作 。 利 用 连接 操作 将 S 中 的 关键 字 拼 成 一 棵 简单 的 2-3-4 
树 T', 将 S" 中 的 关键 字 拼 成 一 棵 简单 的 2-3-4 树 T”。 分 裂 操 作 的 运行 时 间 要 求 为 
Ollgn) ， 这 里 ?是 工 中 的 关键 字 个 数 。( 提 示 : 连接 的 代价 应 是 套 迭 的 。) 


本 章 注 记 

Knuth[ 211], Aho, Hopcroft 和 Ullman[5]， 以 及 Sedgewick[306] 给 出 了 平衡 树 方案 和 B 树 
的 进一步 讨论 。ComerL74] 提 供 了 B 树 的 一 个 综述 。Guibas 和 Sedgewick[155] 讨 论 了 包括 红 黑 树 
和 2-3-4 树 在 内 的 各 种 平衡 树 方 案 之 间 的 关系 。 

在 1970 Æ, J. E. Hopcroft 发 明了 2-3 树 , 它 是 B 树 和 2-3-4 树 的 前 身 ， 它 的 每 个 内 部 结 点 都 
有 两 个 或 三 个 孩子 结 点 。Bayer 和 MecCreightL35] 在 1972 年 提出 了 B 树 ; 他 们 并 没有 解释 为 什么 
要 取 这 个 名 字 。 

Bender, Demaine 和 Farach-Colton[ 40] 研 究 了 面 对 存 储 层次 影响 ， 如 何 让 B 树 的 操作 高 效 地 
执行 。 他 们 提出 了 一 个 缓存 无 关 (cache-oblivious) 算 法 ,该 算法 可 以 在 不 用 显 式 地 了 人 解 存 储 层次 
中 数据 传输 规模 的 情况 下 高 效 地 工作 。 
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常 适 合 于 需要 频繁 调用 这 些 操作 的 应 用 。 

可 合并 堆 

可 合并 堆 (mergeable heap) 是 支持 以 下 5 种 操作 的 一 种 数据 结构 ， 其 中 每 个 元 素 都 有 一 个 关键 字 : 

MAKE-HEAP(): 创建 和 返回 一 个 新 的 不 含 任何 元 素 的 堆 。 

INSERT( 互 ，z) : 将 一 个 已 填 人 关键 字 的 元 素 之 插 人 堆 互 中 。 

MINIMUM(H): 返回 一 个 指向 堆 互 中 具有 最 小 关键 字 元 素 的 指针 。 

EXTRACT-MIN(A): ME 互 中 删除 最 小 关键 字 的 元 素 ， 并 返回 一 个 指向 该 元 素 的 指针 。 

UNION(H,, Hz): 创建 并 返回 一 个 包含 堆 H ME H, 中 所 有 元 素 的 新 堆 。 堆 H 和 堆 H, 
由 这 一 操作 “销毁 ”。 

除了 以 上 可 合并 堆 的 操作 外 ， 斐 波 那 契 堆 还 支持 以 下 两 种 操作 : 

DECREASE-KEY(H, zx, k): HHE H POR r 的 关键 字 赋 予 新 值 A。 假 定 新 值 AKT 
前 的 关键 字 。S 

DELETE(H, x): ME H PAN PRICR 2. 

如 图 19-1 所 示 ， 如 果 没 有 UNION 操作 ， 如 同 堆 排序 (第 6 章 ) 中 使 用 的 普通 二 项 堆 ， 其 操作 
性 能 相当 好 。 除 了 UNION 操作 外 ， 二 项 堆 的 其 他 操作 均 可 在 最 坏 情况 时 间 为 Ogm 下 完成 。 

















但 是 ， 如 果 需 要 支持 UNION 操作 ， 则 二 项 堆 二 项 堆 EEIE 
的 性 能 就 很 差 。 通 过 把 两 个 分 别 包含 要 被 合并 操 作 (最 坏 情形 ) GET) 
二 项 堆 的 数组 进行 链接 ， 然 后 运行 BUILD- | MAKE-HEAP 
MIN-HEAP( 参 考 6. 3 节 ) 的 方式 来 实现 UNION ce ie n) nes 
jue oe n (1) (1) 
ane oni ies stv INSERT EXTRACT-MIN Ql(lg n) O(g n) 
X UNION O(n) @(1) 
UNION 和 DECREASEKEY， 比 起 二 项 堆 有 更 好 | DECREASE-KEY olgn) @(1) 
的 渐 近 时 间 界 ， 而 对 于 剩 下 的 几 种 操作 ， 它 们 有 | DELETE @(lg n) Olg n) 
MSASA. A, ER, ELIPSE 图 19-1 可 合并 堆 的 两 种 实现 方式 下 各 操作 的 运 
波 那 契 堆 的 运行 时 间 是 摊 还 时 间 界 ， 而 不 是 每 个 行 时 间 。 在 操作 时 堆 中 的 项 数 用 n 表示 


操作 的 最 坏 情形 时 间 界 。UNION 操作 在 斐 波 那 契 堆 中 仅仅 需要 常数 摊 还 时 间 ， 这 上 比 二 项 堆 的 最 坏 
情形 下 的 线性 时 间 要 好 得 多 (当然 ， 假 定 为 一 个 摊 还 时 间 界 )。 

理论 上 的 裴 波 那 契 堆 与 实际 中 的 裴 波 那 契 堆 

从 理论 角度 来 看 ， 当 EXTRACT-MIN 和 DELETE 数目 相 比 于 其 他 操作 小 得 多 的 时 候 ， 斐 波 
那 契 堆 尤 其 适用 。 这 种 情形 出 现在 许多 应 用 中 。 人 例如， 一些 图 问题 算法 可 能 每 条 边 调用 一 次 
DECREASE-KEY。 对 于 有 很 多 边 的 稠密 图 ， 每 次 调用 DECREASE-KEY 需要 9(1) 摊 还 时 间 ， 
相 比 起 二 项 堆 最 坏 情 况 时 间 8B(lgn)， 其 积累 起 来 是 个 很 大 的 改进 。 一 些 问 题 (如 计算 最 小 生成 树 


O 正如 在 第 五 部 分 的 导言 中 提 到 的 ， 我 们 默认 的 可 合并 堆 是 可 合并 最 小 堆 ， 因 此 ， 使 用 操作 MINIMUM, 
EXTRACT-MIN 和 DECREASE-KEY。 同 样 ， 我 们 可 以 定义 一 个 可 合并 最 大 堆 (mergeable max-heap)， 具 有 操 
作 MAXIMUM, EXTRACT-MAX 和 INCREASE-KEY, 
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(第 23 章 ) 和 寻找 单 源 最 短路 径 (第 24 章 )) 的 快速 算法 必 不 可 少 地 要 用 到 斐 波 那 契 堆 。 

然而 从 实际 角度 来 看 ， 除 了 某 些 需 要 管理 大 量 数据 的 应 用 外 ， 对 于 大 多 数 应 用 ， 斐 波 那 契 堆 
的 常数 因子 和 编程 复杂 性 使 得 它 比 起 普通 二 项 (或 & 项 ) 堆 并 不 那么 适用 。 因 此 ， 对 斐 波 那 契 堆 的 
研究 主要 出 于 理论 兴趣 。 如 果 能 开发 出 一 个 简单 得 多 的 数据 结构 ， 而 且 它 的 摊 还 时 间 界 与 斐 波 
那 契 堆 相 同 ， 那 么 它 将 非常 实用 。 

二 项 堆 和 斐 波 那 契 堆 对 于 SEARCH 操作 的 支持 均 比较 低 效 ; 可 能 需要 花费 一 段 时 间 才 能 找 
到 具有 给 定 关 键 字 的 元 素 。 为 此 ， 涉 及 给 定 元 素 的 操作 (如 DECREASE-KEY 和 DELETE) 均 需 
要 一 个 指针 指向 这 个 元 素 ， 并 且 指 针 作 为 输入 的 一 部 分 。 正 如 6.5 节 对 优先 级 队列 的 讨论 中 所 
述 ， 当 在 应 用 中 使 用 一 个 可 合并 堆 时 ， 通 常 在 可 合并 堆 的 每 个 元 素 中 存储 一 个 句柄 指向 相关 应 
用 对 象 ， 同 样 在 每 个 应 用 对 象 中 也 存储 一 个 句柄 指向 可 合并 堆 中 相关 元 素 。 这 些 句 柄 的 确切 作 
用 依赖 于 应 用 和 它 的 实现 。 

如 同 所 看 到 的 一 些 其 他 数据 结构 ， 斐 波 那 契 堆 也 是 基于 有 根 树 的 。 我 们 把 每 一 个 元 素 表示 
成 树 中 的 一 个 结 点 ， 每 个 结 点 具有 一 个 key 属性 。 在 这 一 章 的 剩 下 部 分 ， 将 使 用 " 结 点 ?来 代替 
“元 素 ”。 我 们 也 将 忽略 结 点 插入 之 前 和 删除 之 后 的 内 存 分 配 和 释放 问题 ， 而 不 是 假定 调用 堆 操 作 
的 代码 来 处 理 这 些 细节 问题 。 

19. 1 节 将 定义 翡 波 那 契 堆 ， 讨 论 如 何 表 示 它 ， 并 给 出 用 于 分 析 摊 还 时 间 的 势 函数 。19.2 节 
展示 怎样 实现 可 合并 堆 操 作 和 如 何 得 到 图 19-1 中 所 述 的 摊 还 时 间 界 。 剩 下 的 两 个 操作 
DECREASE-KEY 和 DELETE 是 19. 3 节 的 重点 。 最 后 ，19. 4 节 完 成 理论 分 析 的 主要 环节 ， 并 解 
释 这 个 数据 结构 名 字 的 由 来 。 


19.1 SEPARA 

—S = jk AB 32 38 — AG) ALA BB HE (min-heap ordered) 的 有 根 树 的 集合 。 也 就 是 说 ， 每 
棵 树 均 遵循 最 小 堆 性 质 (min-heap property): 每 个 结 点 的 关键 字 大 于 或 等 于 它 的 父 结 点 的 关键 
字 。 图 19-2(a) 是 一 个 斐 波 那 契 堆 的 例子 。 


























图 19-2 (a) 一 个 包含 5 棵 最 小 堆 序 树 和 14 个 结 点 的 斐 波 那 契 堆 。 虚 线 标 出 了 根 链表 。 堆 中 最 
小 的 结 点 是 包含 关键 字 3 的 结 点 。 黑 色 的 结 点 是 被 标记 的 。 这 个 斐 波 那 契 堆 的 势 是 5 十 
2X3 王 11。(b) 一 个 更 加 完整 的 表示 ， 显 示 出 了 指针 p( 向 上 篆 头 )、child( 向 下 箭头 )、 
left 和 right( 横 向 箭头 )。 本 章 剩 下 的 图 省 略 了 这 些 细节 ， 因 为 该 图 中 显示 的 所 有 信息 
均 可 从 (a) 图 中 推断 出 来 
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如 图 19-2(b) 所 示 ， 每 个 结 点 x 包含 一 个 指向 它 父 结 点 的 指针 zx. p 和 一 个 指向 它 的 某 一 个 孩 
子 的 指针 x. child, x 的 所 有 孩子 被 链接 成 一 个 环形 的 双向 链表 ， 称 为 x 的 孩子 链表 (child list), 
孩子 链表 中 的 每 个 孩子 y 均 有 指针 y. left Aly. right, DAA y 的 左 兄弟 和 右 兄弟 。 如 果 y 是 
仅 有 的 一 个 孩子 ， 则 y. left=y. right 二 y。 孩 子 链表 中 各 兄弟 出 现 的 次 序 是 任意 的 。 

环形 双向 链表 (参考 10. 2 节 ) 应 用 在 斐 波 那 契 堆 中 有 两 个 优点 。 第 一 ， 可 以 在 O(1) 时 间 内 从 
一 个 环形 双向 链表 的 任何 位 置 插入 一 个 结 点 或 删除 一 个 结 点 。 第 二 ， 给 定 两 个 这 种 链表 ， 可 以 用 
OC) 时 间 把 它们 链接 (或 把 它们 ”“ 抢 接 ?” 在 一 起 ) 成 一 个 环形 双向 链表 。 在 斐 波 那 契 堆 操作 的 描述 
中 ， 我 们 将 非 正 式 地 提 到 这 些 操作 ， 实 现 细节 留 给 读者 去 补充 。 

每 个 结 点 有 另外 两 个 属性 。 把 结 点 z 的 孩子 链表 中 的 孩子 数目 储存 在 z. degree。 布 尔 值 属 
性 x. mark 指示 结 点 xz 自从 上 一 次 成 为 另 一 个 结 点 的 孩子 后 ， 是 否 失去 过 和 孩子。 新 产生 的 结 点 是 
未 被 标记 的 ， 并 且 当 结 点 z 成 为 男 一 个 结 点 的 孩子 时 ， 它 便 成 为 未 被 标记 结 点 。 直 到 19. 3 节 的 
DECREASE-KEY 操作 ， 我 们 才 把 所 有 的 mark 属性 值 设 为 FALSE。 

通过 指针 H. min 来 访问 一 个 给 定 的 斐 波 那 契 堆 瓦 ， 该 指针 指向 具有 最 小 关键 字 的 树 的 根 结 
点 ， 我 们 把 这 个 结 点 称 为 斐 波 那 契 堆 的 最 小 结 点 (minimum node) 。 如 果 不 止 一 个 根 结 点 具有 最 
小 关键 字 ， 那 么 这 些 根 结 点 中 的 任何 一 个 都 有 可 能 成 为 最 小 结 点 。 如 果 一 个 斐 波 那 契 堆 五 是 空 
的 ， 那 么 H. min 为 NIL. 

在 斐 波 那 契 堆 中 ， 所 有 树 的 根 都 用 其 left A right 指针 链 成 一 个 环形 的 双 链 表 ， 该 双 链 表 称 
为 斐 波 那 契 堆 的 根 链 表 (root list) 。 因 此 ， 指 针 H. min 指向 根 链表 中 关键 字 最 小 的 那个 结 点 。 根 
链表 中 的 树 次 序 可 以 任意 。 

我 们 还 要 用 到 斐 波 那 契 堆 互 的 另 一 个 属性 : Hon, RI 互 中 当前 的 结 点 数目 。 

势 函数 

正如 上 面 提 到 的 ， 将 使 用 17. 3 节 中 的 势 方法 来 分 析 斐 波 那 契 堆 操作 的 性 能 。 对 于 一 个 给 定 
WISE DAB SHE H, HH RRR HP REAR PNA. A mH) 来 表示 互 中 已 标记 的 结 点 
数目 。 然 后 ， 定 义 斐 波 那 契 堆 H WARKA OCH) 如 下 : 

®(H) = t(H) + 2m(H) (19. 1) 
(19. 3 节 会 给 出 这 样 定义 的 一 些 直 观 解 释 。) 例 如 ， 图 19-2 “AAS AY SE DE AB REAA +2 x 3 一 
11。 一 系列 斐 波 那 契 堆 的 势 等 于 各 个 斐 波 那 契 堆 势 的 和 。 假 定 势 的 一 个 单位 可 以 支付 常数 数目 的 
工作 ， 该 常数 要 足够 大 ， 能 够 支付 我 们 可 能 遇 到 的 任何 特定 的 常数 时 间 的 工作 。 

假定 斐 波 那 契 堆 应 用 开始 时 ， 都 没有 堆 。 因 此 ， 势 初始 值 为 0， 而 且 根 据 公式 (19. 1) ， 势 在 
随后 的 任何 时 间 内 均 不 为 负 。 依据 公式 (17. 3) ， 对 于 某 一 操作 序列 来 说 ， 总 的 摊 还 代价 的 上 界 就 
是 其 总 的 实际 代价 的 上 界 。 

最 大 度数 

在 本 章 剩 下 几 节 中 ， 对 于 摊 还 分 析 均 假定 ， 在 一 个 ” 个 结 点 的 斐 波 那 契 堆 中 任何 结 点 的 最 大 
度数 都 有 上 界 D(z) 。 在 此 我 们 不 证 明 这 一 假定 ， 但 是 如 果 仅 仅 是 支持 可 合并 堆 的 操作 ， 那 么 
Di) <Llgn] CEA A 19-2d 要 求 读 者 证 明 这 一 性 质 .) 在 19.3 节 和 19.4 节 中 ， 当 支持 
DECREASE-KEY 和 DELETE 操作 时 ， 也 要 求 Din) = OU gn) 。 


19.2 可 合并 堆 操作 

斐 波 那 契 堆 上 的 一 些 可 合并 堆 操作 要 尽 可 能 长 地 延 后 执行 。 不 同 的 操作 可 以 进行 性 能 平衡 。 
例如 ， 用 将 一 个 结 点 加 入 根 链 表 的 方式 来 插入 一 个 结 点 ， 这 样 仅 需 耗费 常数 时 间 。 如 果 从 空 的 斐 
波 那 契 堆 开始 ， 插 和 人 个 结 点 ， 斐 波 那 契 堆 将 由 一 个 正好 包含 & 个 结 点 的 根 链表 组 成 。 如 果 在 斐 波 
ASHE 及 上 执行 一 个 EXTRACT-MIN 操作 ， 在 移 除 H. min 指向 的 结 点 后 ， 将 不 得 不 遍历 根 链 表 
中 剩 下 的 一 1 个 结 点 来 找 出 新 的 最 小 结 点 ， 这 里 便 存 在 性 能 平衡 问题 。 只 要 我 们 在 执行 EXTRACT- 
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MIN 操作 中 遍历 整个 根 链表 ， 并 且 把 结 点 合并 到 最 小 堆 序 树 中 以 减 小 根 链表 的 规模 。 下 面 将 看 到 ， 
不 论 根 链表 在 执行 EXTRACT-MIN 操作 之 前 是 什么 样子 ， 执 行 完 该 操作 之 后 ， 根 链表 中 的 每 个 结 点 
要 求 有 一 个 与 根 链表 中 其 他 结 点 均 不 同 的 度数 ， 这 使 得 根 链表 的 规模 最 大 是 Dm 十 1 。 

创建 一 个 新 的 斐 波 那 契 堆 

创建 一 个 空 的 斐 波 那 契 堆 ，MAKE-FIB-HEAP 过 程 分 配 并 返回 一 个 斐 波 那 契 堆 对 象 互 ， 其 
中 H. n=0 #il H. min=NIL, H PREEN. AH tH =0 Al m(H) 天 0 ， 空 斐 波 那 契 堆 的 势 为 
CH) =0. 。 因 此 ，MAKE-FIB-HEAP 的 摊 还 代价 等 于 它 的 实际 代价 OC 。 

插入 一 个 结 点 

下 面 的 过 程 将 结 点 c MARKE H 中 ， 假 定 该 结 点 已 经 被 分 配 ，z. key 已 经 被 赋值 。 


FIB-HEAP-INSERT(H, =x) 
1 2. degree = 0 
xz. p = NIL 
zx. child = NIL 
zx. mark = FALSE 
if H. min == NIL 
create a root list for H containing just x 
H. min = x 
else insert x into H’s root list 
if z. key < H. min. key 
H. min = x 
ll Hox = Hon 1 510 


第 1 一 4 行 初始 化 结 点 工 的 一 些 属性 。 第 5 行 测试 斐 波 那 契 堆 H EBAZ. WRAAE, WA 
第 6 一 7 行使 得 z 成 为 互 的 根 链 表 中 唯一 的 结 点 ， 并 将 H. min 指向 z; 否则 ,第 8 一 10 行将 结 点 
并 插入 互 的 根 链表 中 ， 如 果 有 必要 ， 就 更 新 五. min。 最 后 , 第 11 行 及 .n 增 1 来 反映 新 结 点 的 加 
入。 图 19-3 展示 了 一 个 具有 关键 字 21 的 结 点 插入 图 19-2 所 示 的 斐 波 那 契 堆 中 。 


O O N mo A UDN 


= 
© 


H.min H.min 








图 19-3 ”将 一 个 结 点 插 和 人 斐 波 那 契 堆 。(a) 斐 波 那 契 堆 互 。(b) 插 入 关键 字 为 21 的 结 点 后 的 斐 波 
那 契 堆 五 。 该 结 点 自 成 一 棵 最 小 堆 序 树 ， 然 后 被 插入 根 链表 中 ， 成 为 根 的 左 兄弟 


为 了 确定 FIB-HEAP-INSERT 的 摊 还 代价 ， 设 五 是 输入 的 斐 波 那 契 堆 ， 互 是 结果 斐 波 那 契 
HE. BBA tH’) =H) +1 mH’) = mA), ， 并 且 势 的 增加 量 为 : 
CCH) 十 1) + 2mCH)) — CH) + 2m(H)) = 1 
由 于 实际 代价 为 0(1) ， 因 此 摊 还 代价 为 OCQ1) +1 = 00). 
寻找 最 小 结 点 
斐 波 那 契 堆 的 最 小 结 点 可 以 通过 指针 H. min 得 到 。 因 此 ， 可 以 在 OC) 的 实际 代价 内 找到 最 
小 结 点 。 由 于 互 的 势 没 有 发 生变 化 ， 因 此 该 操作 的 摊 还 代价 等 于 它 的 实际 代价 OM). 
两 个 斐 波 那 契 堆 的 合并 
下 面 的 过 程 合 并 斐 波 那 契 堆 HH, MH, HEZIERA H MH., Ei AH H, 和 H, 
的 根 链 表 链 接 ， 然 后 确定 新 的 最 小 结 点 。 之 后 ， 表 示 Hi 和 H, 的 对 象 将 不 再 使 用 。 511 
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FIB-HEAP-UNION (AH; , H2) 
H = MAKE-FIB-HEAPQ) 
H. min = Hi. min 
concatenate the root list of H, with the root list of H 
if (H,. min = = NIL) or (Hz. min ANIL and Hz. min. key < Hi. min. key) 

H. min = H;.min 
H.n = Hi.n + H;.n 
return H 

第 1~3 行将 H 和 H, 的 根 链表 链接 成 为 五 的 新 根 链表 。 第 2、4、5 行 设 定 五 的 最 小 结 点 ， 
第 6 行将 H. n 设 为 所 有 结 点 的 个 数 。 第 7 行 返回 作为 结果 的 斐 波 那 契 堆 H. 4 FIB-HEAP- 
INSERT 过 程 相同 ， 所 有 的 根 结 点 仍 为 根 结 点 。 

势 函 数 的 变化 为 : 
ECH) — (BH)+ EH)) = ECH) +2m(H)) — (OCH) + 2m FH)) + OCH) + 2mCH2))) 

=0 

因为 CH) = tH) HCH) il mH) = m(H,)+m(H;) ， 所 以 FIB-HEAP-UNION 的 摊 还 代价 
等 于 它 的 实际 代价 OM) 。 

抽取 最 小 结 点 

抽取 最 小 结 点 的 过 程 是 本 节 所 介绍 的 操作 中 最 为 复杂 的 一 个 。 这 里 还 要 介绍 前 面 提 到 的 在 
根 链表 中 合并 树 的 延 后 工作 。 下 面 的 伪 代 码 是 抽取 最 小 结 点 的 。 为 了 简便 该 代码 ， 假 定 当 一 个 结 
点 从 链表 中 移 除 后 ， 留 在 链表 中 的 指针 要 被 更 新 ， 但 是 抽取 出 的 结 点 中 的 指针 并 不 改变 。 该 代码 
还 调用 一 个 辅助 过 程 CONSOLIDATE， 稍 后 将 介绍 。 


FIB-HEAP-EXTRACT-MIN(CH) 


Ss naar wns 


1 z= H.min 
2 if z ANIL 
3 for each child x of z 
4 add z to the root list of H 
5 x. p= NIL 
6 remove z from the root list of H 
7 ifz = = z.right 
8 H. min = NIL 
9 else H. min = z. right 
10 CONSOLIDATE(H) 
K. H.n = H.n—1 


12 return z 


如 图 19-4 所 示 ，FIB-HEAP-EXTRACT-MIN 首先 将 最 小 结 点 的 每 个 孩子 变 为 根 结 点 ， 并 从 
根 链 表 中 删除 该 最 小 结 点 。 然 后 通过 把 具有 相同 度数 的 根 结 点 合并 的 方法 来 链接 成 根 链表 ， 直 
到 每 个 度数 至 多 只 有 一 个 根 在 根 链表 中 。 

首先 第 1 行 保存 一 个 指向 最 小 结 点 的 指针 xz， 该 程序 最 后 返回 这 个 指针 。 如 果 ze NIL, Hf 
么 斐 波 那 契 堆 为 空 ， 可 以 结束 ; 否则 ， 在 第 3 一 5 行 中 让 z 的 所 有 和 孩子 成 为 互 的 根 结 点 (把 它们 
插入 根 链表 )， 并 在 第 6 行 从 根 链表 中 移 除 zo XH = 便 从 互 中 删除 了 。 执 行 完 第 6 行 之 后 ， 如 
果 是 它 自身 的 右 兄 弟 ， 那 么 z 是 根 链表 中 仅 有 的 一 个 结 点 并 且 它 没有 孩子 结 点 。 这 样 所 有 剩 下 
的 工作 是 在 返回 之 前 ,第 8 行使 斐 波 那 契 堆 成 为 空 堆 。 否 则 ， 把 指针 H. min 指向 根 链表 中 除 > 
之 外 的 某 个 根 结 点 (这 里 是 z 的 右 兄弟 )， 该 根 结 点 没有 必要 一 定 是 FIB-HEAP-EXTRACT-MIN 
执行 完 后 的 新 的 最 小 结 点 。 图 19-4(b) 所 示 的 是 图 19-4(a) 执 行 完 第 9 行 之 后 的 斐 波 那 契 堆 。 
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图 19-4 FIB-HEAP-EXTRACT-MIN 的 执行 过 程 。(a) 斐 波 那 契 堆 H., (>) 从 根 链表 中 移 除 最 小 结 点 z 
并 把 它 的 孩子 加 入 根 链表 后 的 情形 。(c) 一 (e 过 程 CONSOLIDATE 中 第 4~14 行 for 循环 的 前 
三 次 迭代 中 ， 每 一 次 迭代 完 后 的 树 以 及 数组 A 的 情况 。 该 过 程 对 根 链表 的 处 理 是 从 互 .zaiz 指 
向 的 结 点 开始 的 ， 并 沿 着 right 指针 的 方向 进行 。 每 个 图 都 显示 出 了 每 一 次 迭代 之 后 的 记 和 工 
值 。(f) 一 (h)for 循环 接 下 来 的 一 次 迭代 ， 显 示 了 第 7 一 13 行 的 while 循环 每 一 次 迭代 之 后 的 w 
和 zz 值 。 图 (人 展示 了 while 循环 第 一 次 执行 后 的 情形 。 关 键 字 为 23 的 结 点 被 链接 到 关键 字 为 7 
的 结 点 ， 后 者 也 是 x 当前 所 指向 的 结 点 。 图 (g) 中 ， 关 键 字 为 17 的 结 点 被 链接 到 关键 字 为 7 的 
结 点 ， 后 者 仍 由 z 所 指向 。 图 (h) 中 ， 关 键 字 为 24 的 结 点 被 链接 到 关键 字 为 7 的 结 点 。 由 于 之 
前 AL3] 没 有 指向 任何 结 点 ， 在 for 的 这 一 次 迭代 后 ，AL3] 被 设 为 指向 结果 树 的 根 结 点 。(iD 一 
() for 循环 剩 下 的 4 次 迭代 中 每 一 次 迭代 后 的 情形 。(m) 依 据 数组 A 重 构 根 链表 以 及 确定 新 的 
H. min 指针 后 的 斐 波 那 契 堆 H 
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下 一 步 是 合并 (consolidating) H 的 根 链表 ， 通 过 调用 CONSOLIDATE( 互 ) 来 减少 斐 波 那 契 堆 
中 树 的 数目 。 合 并 根 链表 的 过 程 为 重复 执行 以 下 步 又， 直到 根 链 表 中 的 每 一 个 根 有 不 同 的 度数 。 

1. 在 根 链 表 中 找到 两 个 具有 相同 度数 的 根 x 和 y。 不 失 一 般 性 ,假定 x. &ey 和 <y. key. 

2. 把 > 链接 到 过 : 从 根 链 表 中 移 除 yo WA FIB-HEAP-LINK 过 程 ， 使 > 成 为 z 的 孩子 。 该 
过 程 将 x. degree 属性 增 1， 并 清除 > 上 的 标记 。 

过 程 CONSOLIDATE 使 用 一 个 辅助 数组 ALO. . DCH. n)] 来 记录 根 结 点 对 应 的 度数 的 轨迹 。 
mR A[ 司 = y， 那 么 当前 的 y 是 一 个 具有 y. degree=i 的 根 。 当 然 ， 为 了 分 配 数组 必须 知道 如 何 
计算 最 大 度数 的 上 界 DCH. n) ， 但 这 些 将 在 19. 4 节 中 介绍 。 

CONSOLIDATE(H) 


1 let AL0.. DCH. n)] be a new array 
2 fori = 0 to D(H. n) 


3 Ali J=NIL 

4 for each node w in the root list of H 
5 z= w 

6 d = x. degree 

7 while A[d] + NIL 

8 y= Ald] // another node with the same degree as x 
9 if x. key > y. key 
10 exchange x with y 
11 FIB-HEAP-LINK(H,y, z) 
12 A[d]= NIL 

13 d=d+1 

14 Ald]= x 


15 H.min = NIL 
16 fori = 0 to D(H. n) 


17 if ALi] A NIL 

18 if H. min == NIL 

19 create a root list for H containing just A[i] 
20 H. min = A[i] 

oT else insert ALi] into H’s root list 

22 if ALi]. key < H. min. key 

23 H. min = A[i] 


FIB-HEAP-LINK(H, y, x) 

1 remove y from the root list of H 

2 make ya child of z, incrementing x. degree 
3 y.mark = FALSE 


具体 地 说 ，CONSOLIDATE 过 程 工 作 如 下 。 第 1 一 3 行 分 配 数组 A， 并 将 数组 A 的 每 个 元 素 
初始 化 为 NIL。 第 4 一 14 行 的 for 循环 处 理 根 链表 中 的 每 个 根 结 点 w。 由 于 要 把 根 链接 起 来 ， 因 
此 ww 可 能 被 链接 到 其 他 的 结 点 上 ， 不 再 是 一 个 根 。 然 而 ，w 必然 在 以 某 个 结 点 z 为 根 树 内 ，z 可 
能 是 也 可 能 不 是 ww 本 身 。 因 为 想 要 每 个 根 都 有 不 同 的 度数 ， 所 以 查找 数组 A 来 确定 是 否 有 某 个 
Ry 与 有 相同 度数 。 如 果 有 ， 则 把 根 x Aly 链接 起 来 ， 并 保证 链接 完 后 z 仍 然 是 一 个 根 。 也 就 
是 说 ， 如 果 y 的 关键 字 小 于 z 的 关键 字 ， 则 先 交 换 指 向 这 两 个 根 的 指针 ， 再 把 y 链接 到 zx。 在 y 
链接 到 z 以 后 ，z 的 度数 增加 1， 继 续 执行 这 个 过 程 ， 把 二 和 另 一 个 与 的 新 度数 相同 的 根 链接 ， 
直到 处 理 过 的 根 没有 与 有 相同 的 度数 。 然 后 ， 将 A 的 相应 关 元 素 指 向 x。 这 样 处 理 后 续 根 时 ， 
已 经 记录 x 是 已 处 理 过 的 根 中 具有 该 度数 的 唯一 根 。 当 这 个 for 循环 结束 时 ， 每 个 度数 下 至 多 只 
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有 一 个 根 ， 数 组 A 指向 每 个 剩 下 的 根 。 

第 7 一 13 行 的 while 循环 重复 地 将 包含 结 点 ws 为 根 的 树 与 和 zz 度数 相同 的 根 相 链接 ， 
直到 没有 其 他 的 根 与 有 相同 的 度数 。 这 个 while 循环 维持 了 如 下 的 不 变 式 : 

在 while 循环 的 每 次 迭代 开始 处 ，C 一 工 degree 

使 用 这 一 循环 不 变 式 如 下 : 

初始 化 : 第 6 行 确保 第 一 次 进入 该 循环 时 ， 该 循环 不 变 式 成 立 。 

保持 : 在 while 循环 的 每 一 次 迭代 中 ，A[g 四 指向 某 个 根 y>。 因 为 d=. degree—y. degree, A 
WORE SER xz Aly. DE x Aly 中 哪个 具有 更 小 的 关键 字 ， 链 接 操作 之 后 ， 该 结 点 成 为 另 一 个 结 点 
的 父 结 点 ， 因 此 如 有 必要 ， 第 9 一 10 行 交换 指向 zx 和 y 的 指针 。 接 下 来 ,在 第 11 行 通过 调用 
FIB-HEAP-LINK(H, y, x48 y 链接 到 xz。 这 个 调用 增加 了 x. degree 值 ， 而 y. degree H do 
结 点 y 不 再 是 一 个 根 结 点 ， 因 此 第 12 行 从 数组 A 中 删除 指向 它 的 指针 。 由 于 调用 FIB-HEAP- 
LINK 增加 了 x. degree 的 值 ， 第 13 行 恢复 不 变 式 d 二 xz. degree, 

终止 : 重复 while 循环 直到 A[dj 二 NIL， 在 这 种 情形 下 ,没有 其 他 的 根 与 x 有 相同 的 度数 。 

while 循环 结束 后 ， 在 第 14 行将 ALd] 设 为 xz， 并 执行 for 循环 的 下 一 轮 迭 代 。 

图 19-4) ~ (ea T 4~14 FF for 循环 前 三 轮 迭 代 后 的 数组 A 和 结果 树 。 在 for 循环 的 
下 一 轮 迭 代 中 ， 发 生 了 三 次 链接 ， 它 们 的 结果 如 图 19-4( 提 一 (hb) 所 示 。 图 19-40 ~(D ea T for 
循环 接 下 来 4 轮 迭 代 后 的 结果 。 

其 余 的 工作 就 是 清理 。 一 旦 第 4~14 行 的 for 循环 完成 ,第 15 行 清空 根 链表 ， 第 16~23 行 
依据 数组 A 来 重 构 根 链表 。 最 后 得 到 的 斐 波 那 契 堆 如 图 19-4(m) 所 示 。 根 链表 合并 完 后 ，FIB- 
HEAP-EXTARCT-MIN 在 第 11 行 减 小 有 H.n， 在 第 12 行 返回 指向 被 删除 的 结 点 z 的 指针 ， 然 后 
结束 程序 。 

现在 来 证 明 从 一 个 ”个 结 点 的 斐 波 那 契 堆 中 抽取 最 小 结 点 的 摊 还 代价 为 DCD(Czm)) 。 设 HR 
示 执 行 FIB-HEAP-EXTARCT-MIN 操作 之 前 的 斐 波 那 契 堆 。 

首先 给 出 抽取 最 小 结 点 的 实际 代价 。FIB-HEAP-EXTRACT-MIN 最 多 处 理 最 小 结 点 的 DCn) 
个 孩子 ， 再 加 上 CONSOLIDATE 中 第 2 一 3 行 和 第 16 一 23 行 的 工作 ,合计 需要 的 时 间 代 价 为 
OCD(n)) . HF HSH CONSOLIDATE 中 第 4 一 14 行 的 for 循环 代价 ， 这 一 部 分 我 们 使 用 聚 
合 分 析 。 因 为 原始 的 根 链 表 中 有 (H) 个 结 点 ， 减 去 抽取 出 的 结 点 ， 再 加 上 抽取 出 的 结 点 的 孩子 
结 点 (至 多 为 D(n)) ， 所 以 调用 CONSOLIDATE 时 根 链 表 的 大 小 最 大 为 Din) HH 一 1 。 给 定 
第 4~14 行 for 循环 的 一 轮 和 迭代 中 ， 第 7 一 13 行 的 while 循环 的 迭代 次 数 取决 于 根 链 表 。 但 是 我 
们 知道 每 次 调用 while 循环 ， 总 有 一 个 根 结 点 被 链接 到 另 一 个 上 ， 因 此 for 循环 的 所 有 和 迭代 中 ， 
while 循环 的 总 次 数 最 多 为 根 链表 中 根 的 数目 。 因 此 ，for 循环 的 总 工作 量 最 多 与 Dm) +H) 成 
正比 。 所 以 ， 抽 取 最 小 结 点 的 总 实际 工作 量 为 ODM + t(H)) 。 

抽取 最 小 结 点 之 前 的 势 为 tH) 十 2m( 互 ) ， 因 为 最 多 有 D(Cn) 十 1 个 根 留 下 且 在 该 过 程 中 没有 
任何 结 点 被 标记 ， 所 以 在 该 操作 之 后 势 最 大 为 (Dm) 十 1) 十 2m(H) 。 所 以 摊 还 代价 最 多 为 ， 

O(D(n) + tCH)) + Dn) 十 1) + 2m(H)) — CH) + 2m(H)) 
= O(D(n)) + O@(H)) — tC) 
= O(D(n)) 

因为 可 以 增 大 势 的 单位 来 支配 隐藏 在 OC ED) 中 的 常数 。 直 观 上 讲 ， 由 于 每 次 链接 操作 均 
把 根 的 数目 减 小 1， 因 此 每 次 链接 操作 的 代价 可 以 由 势 的 减 小 来 支付 。 我 们 将 在 19. 4 节 中 看 到 
Dim) = OUgn) ， 因 此 抽取 最 小 结 点 的 摊 还 代价 为 O(lgn) 。 


练习 
19.2-1 给 出 图 19-4Cm) 中 的 斐 波 那 契 堆 调 用 FIB-HEAP-EXTRACT-MIN 后 得 到 的 斐 波 那 契 堆 。 
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19.3 ”关键 字 减 值 和 删除 一 个 结 点 
本 节 介 绍 如 何在 OL) 的 摊 还 时 间 内 减 小 斐 波 那 契 堆 中 某 个 结 点 的 关键 字 的 值 ， 以 及 如 何在 
OCD(n)) 摊 还 时 间 内 从 一 个 半 个 结 点 的 斐 波 那 契 堆 中 删除 一 个 结 点 。19.4 节 将 证 明 最 大 度数 
D(n) Æ OUgn) ， 这 可 以 推出 FIB-HEAP-EXTRACT-MIN 和 FIB-HEAP-DELETE 能 在 O(gn) 
的 挫 还 时 间 代 价 内 完成 。 
关键 字 减 值 
在 下 面 FIB-HEAP-DECREASE-KEY 操作 的 伪 代 码 中 ， 与 前 面 一 样 假定 从 一 个 链表 中 移 除 
一 个 结 点 不 改变 被 移 除 的 结 点 的 任何 结构 属性 。 
FIB-HEAP-DECREASE-KEY(H, x, k) 
1 ifk > x. key 
2 error “new key is greater than current key” 
3 xakey=k 
4 ?一 元 . 力 
5 ify NIL and z. key < y. key 
6 CUTCA: z y) 
7 CASCADING-CUT(H, y) 
8 if x. key < H. min. key 
9 H.min= x 
CUT(A, x, y) 
1 remove x from the child list of y, decrementing y. degree 
2 add z to the root list of H 
3 2. p = NIL 
4 Zz.mark = FALSE 
CASCADING-CUT(H, y) 
1 z= y.p 
2 ifz A NIL 
3 if y. mark = = FALSE 
4 y. mark = TRUE 
5 else CUT(H, y, z) 
6 CASCADING-CUT(H,z ) 


FIB-HEAP-DECREASE-KEY 过 程 工作 如 下 。 第 1 一 3 行 保证 新 的 关键 字 不 比 x 的 当前 关键 
字 大 ， 然 后 把 新 的 关键 字 赋 值 给 xz。 如果 工 是 根 结 点 ， 或 者 如 果 x. key>y. key, IAk yir 的 父 
结 点 ， 那 么 不 需要 进行 结构 上 的 任何 改变 ， 因 为 没有 违反 最 小 堆 序 。 第 4 一 5 行 即 为 测试 这 一 
条 件 。 

如 果 违 反 了 最 小 堆 序 ， 那 么 需要 进行 很 多 改变 。 首 先 在 第 6 行 切断 (cuting)z。CUT 过 程 “ 切 
断 ”z 与 其 父 结 点 y 之 间 的 链接 ， 使 z 成 为 根 结 点 。 

我 们 使 用 mark 属性 来 得 到 需要 的 时 间 界 。 该 属性 记录 了 每 个 结 点 的 一 小 段 历史 。 假 定 下 面 
的 步骤 已 经 发 生 在 结 点 工 上 : 

1. 在 某 个 时 刻 ，z 是 根 。 

2. 然后 工 被 链接 到 另 一 个 结 点 (成 为 孩子 结 点 ) 。 

3. 然后 工 的 两 个 孩子 被 切断 操作 移 除 。 

一 且 失 掉 第 二 个 孩子 ， 就 切断 z 与 其 父 结 点 的 链接 ， 使 它 成 为 一 个 新 的 根 。 如 果 发 生 了 第 1 
步 和 第 2 步 且 z 的 一 个 孩子 被 切 掉 ， 那 么 属性 x. mark 为 TRUE。 因此， 由 于 CUT 过 程 执 行 了 
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第 1 步 ， 所 以 它 在 第 4 行 清除 x. mark。( 现 在 我 们 知道 了 为 什么 FIB-HEAP-LINK 中 第 3 行 清除 
y. mark: 因为 结 点 y 正 被 链接 到 另 一 个 结 点 上 ， 即 上 面 的 第 2 步 正 被 执行 。 下 一 次 如 果 y 的 一 
个 孩子 被 切 掉 ， 则 y. mark 将 被 设 为 TRUE.) 

我 们 的 工作 还 没有 完成 ， 因 为 z 可 能 是 其 父 结 点 y 被 链接 到 另 一 个 结 点 后 被 切 掉 的 第 二 个 孩 
子 。 因 此 ，FIB-HEAP-DECREASE-KEY 的 第 7 行 尝 试 在 结 点 y 上 执行 一 次 级 联 切 断 (cascading- 
cut) 操 作 。 如 果 y 是 一 个 根 结 点 ， 那 么 CASCADING-CUT 的 第 2 行 测试 将 使 得 该 过 程 返回 。 如 
Ry 是 未 被 标记 的 结 点 ， 既 然 它 的 第 一 个 孩子 已 经 被 切 掉 ， 那 么 该 过 程 在 第 4 行 标记 它 ， 并 返 
回 。 然 而 ， 如 果 y 是 被 标记 过 的 ， 则 y 刚刚 失去 了 它 的 第 二 个 孩子 ,那么 > 在 第 5 行 被 切 掉 ， 且 
第 6 行 CASCADING-CUT 递归 调用 它 本 身 来 处 理 y 的 父 结 点 z。CASCADING-CUT 过 程 沿 着 树 
一 直 递 归 向 上 ， 直 到 它 遇 到 根 结 点 或 者 一 个 未 被 标记 的 结 点 。 

一 旦 所 有 的 级 联 切 断 都 完成 ， 如 果 有 必要 ，FIB-HEAP-DECREASE-KEY 的 第 8 一 9 行 就 更 
新 H. min， 然 后 结束 程序 。 唯 一 一 个 关键 字 发 生 改 变 的 结 点 是 关键 字 被 减 小 的 结 点 zx。 因此 ， 新 
的 最 小 结 点 要 么 是 原来 的 最 小 结 点 ， 要 么 是 结 点 z。 

图 19-5 展示 了 两 次 调用 FIB-HEAP-DECREASE-KEY 的 执行 过 程 ， 初 始 的 裴 波 那 契 堆 如 
图 19-5(a) 所 示 。 图 19-5(b) 所 示 的 是 第 一 次 调用 ， 其 中 不 涉及 任何 级 联 切断 。 图 19-5(c) 一 (Ce) 中 
所 示 的 是 第 二 次 调用 ， 其 中 引发 了 两 次 级 联 切断 。 





图 19-5 FIB-HEAP-DECREASE-KEY 的 两 次 调用 。(a) 初 始 的 斐 波 那 契 堆 。(b) 关 键 字 为 46 的 
结 点 将 关键 字 减 小 到 15。 该 结 点 成 为 一 个 根 结 点 ， 它 的 父 结 点 (具有 关键 字 24) 之 前 没 
有 被 标记 ， 现 在 被 标记 了 。(c) 一 (e) 关 键 字 为 35 的 结 点 将 关键 字 减 小 到 5。 图 (c) 中 ， 
该 结 点 的 关键 字 已 经 为 5， 变 为 根 结 点 。 它 的 父 结 点 (关键 字 为 26) 是 被 标记 过 的 ， 因 
此 需要 调用 一 个 级 联 切 断 操作 。 关 键 字 为 26 的 结 点 被 从 父 结 点 上 剪 切 下 来 ， 成 为 
图 Cd) 中 的 一 个 未 被 标记 的 根 。 另 一 个 级 联 切 断 操作 需要 执行 ， 因 为 关键 字 为 24 的 结 
点 也 已 经 被 标记 。 该 结 点 被 从 它 的 父 结 点 上 剪 切 下 来 ， 成 为 图 (e) 中 的 一 个 未 被 标记 的 
根 。 因 为 关键 字 为 7 的 结 点 是 个 根 ， 所 以 级 联 切断 操作 在 此 结束 。( 即 使 这 个 结 点 不 是 
根 ， 级 联 操作 也 会 结束 ， 因 为 它 未 被 标记 。) 图 (e) 展 示 了 FIB-HEAP-DECREASE-KEY 
操作 后 的 结果 ， 其 中 H. min 指向 了 新 的 最 小 结 点 
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现在 来 证 明 FIB-HEAP-DECREASE-KEY 的 摊 还 代价 为 O(1) 。 先 来 推导 它 的 实际 代价 。 
FIB-HEAP-DECREASE-KEY 过 程 需要 OC) 的 时 间 ， 还 需 加 上 级 联 切断 操作 的 时 间 。 假 定 一 个 
给 定 的 FIB-HEAP-DECREASE-KEY 调用 中 ， 要 调用 c 次 CASCADING-CUT ( FIB-HEAP- 
DECREASE-KEY 中 第 7 行 的 调用 引发 了 CASCADING-CUT 的 c 一 1 次 递归 调用 )。 
CASCADING-CUT 的 每 一 次 调用 (不 包括 递归 调用 ) 需 要 OCD 的 时 间 。 因 此 ， 包 含 所 有 的 递归 调 
用 后 ，FIB-HEAP-DECREASE-KEY 的 实际 代价 为 OC) 。 

接 下 来 计算 势 的 变化 。 设 H Æ FIB-HEAP-DECREASE-KEY 操作 执行 之 前 的 斐 波 那 契 堆 。 
FIB-HEAP-DECREASE-KEY 的 第 6 行 调用 CUT 创建 了 一 棵 以 结 点 z 为 根 的 新 树 ， 并 清除 了 x 
的 标记 位 (该 标记 位 可 能 已 经 是 FALSE)。 除 了 最 后 一 次 调用 ， 其 他 每 一 次 调用 CASCADING- 
CUT, 均 切 掉 一 个 标记 过 的 结 点 并 清除 该 结 点 的 标记 位 。 此 后 ， 斐 波 那 契 堆 包含 H) 十 c 棵 树 
ARH CH) 棵 数 ，c 一 1 棵 被 级 联 切 断 操作 产生 的 树 ， 以 及 以 结 点 z 为 根 的 树 )， 而 且 最 多 有 
mm(H) 一 c 十 2 个 被 标记 的 结 点 (c 一 1 个 结 点 被 级 联 切断 操作 清除 标记 ， 最 后 一 次 调用 
CASCADING-CUT 可 能 又 标记 了 一 个 结 点 );。 因 此 势 的 变化 最 多 为 : 

COCH) 十 c) + 2(mCH) 一 c 十 2)) — CH) + 2m(H)) 一 4 一 c 
因此 ，FIB-HEAP-DECREASE-KEY 的 摊 还 代价 至 多 是 
O(c) +4—¢ = OU) 
因为 可 以 将 势 的 单位 增 大 到 能 支配 OCc) 中 隐藏 的 常数 。 

现在 读者 应 该 清楚 为 什么 在 定义 势 函数 时 ， 要 包含 一 个 2 倍 于 标记 结 点 数目 的 项 。 当 一 个 标 
记 的 结 点 y 被 一 个 级 联 切断 操作 切 掉 时 ， 它 的 标记 位 被 清空 ， 这 使 得 势 减 小 2。 一 个 单位 的 势 支 
付 切 断 和 标记 位 的 清除 ， 另 一 个 单位 补偿 了 因为 结 点 y 变 成 根 而 增加 的 势 。 

删除 一 个 结 点 

下 面 的 伪 代 码 在 OD) 的 摊 还 时 间 内 从 一 个 具有 ?个 结 点 的 斐 波 那 契 堆 中 删除 一 个 结 点 。 
假定 在 斐 波 那 契 堆 中 任何 关键 字 的 当前 值 均 不 为 一 ceo。 

FIB-HEAP-DELETE(H, x) 

1 FIB-HEAP-DECREASE-KEY(H, x,—co) 

2 FIB-HEAP-EXTRACT-MIN(H) 


FIB-HEAP-DELETE 把 唯一 的 最 小 关键 字 一 co 赋予 z， 将 zx BE SE BAB RHE PB) I SE HS 
然后 FIB-HEAP-EXTRACT-MIN 过 程 从 斐 波 那 契 堆 中 移 除 <。FIB-HEAP-DELETE 的 挫 还 时 间 
为 FIBHEAP-DECREASE-KEY 的 OC) 摊 还 时 间 与 FIB-HEAP-EXTRACT-MIN 的 OCD(n)) pE 
还 时 间 之 和 。 因 为 在 19. 4 节 中 将 证 明 DC = O(gn) ， 所 以 FIB-HEAP-DELETE 的 摊 还 时 间 为 
OUgn) 。 


练习 


19.3-1 假定 斐 波 那 契 堆 中 一 个 根 工 被 标记 了 。 解 释 二 是 如 何 成 为 一 个 被 标记 的 根 的 。 试 说 明 z 
是 否 被 标记 对 分 析 并 没有 影响 ， 即 使 它 不 是 一 个 先 被 链接 到 男 一 个 结 点 ， 后 又 丢失 了 一 


个 孩子 的 根 。 

19.3-2 ”使 用 聚合 分 析 来 证 明 FIB-HEAP-DECREASE-KEY 的 OC) 摊 还 时 间 是 每 一 个 操作 的 平 
均 代 价 。 

19.4 最 大 度数 的 界 


要 证 明 FIB-HEAP-EXTARCT-MIN 和 FIB-HEAP-DELETE 的 摊 还 时 间 为 OU gn) ， 必 有 需 证 
明 一 个 具有 ?个 结 点 的 斐 波 那 契 堆 中 任意 结 点 的 度数 的 上 界 D(n) 为 O(lgz) 。 特 别 地 ， 要 证 明 
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Dn) 过 Llogysn」， 这 里 $ 是 公式 (3. 24) 中 定义 的 黄金 分 割 率 : 
$ = (1+¥5)/2 = 1. 61803… 

这 个 分 析 的 关键 如 下 。 对 于 斐 波 那 契 堆 中 的 每 个 结 点 z， 定 义 size(z) AU ce ARASH P 
包括 工本 身 在 内 的 结 点 个 数 ( 注 意 z 并 不 是 必须 在 根 链 表 中 ， 它 可 以 是 任意 的 结 点 。) 我 们 将 证 明 
size(x) 是 x. degree WHE. HWE: x. degree MAR x 的 度数 的 准确 计数 。 

引 理 19.1 设 工 是 斐 波 那 契 堆 中 的 任意 结 点 ， 并 假定 工 degree=k. H+ Yor ts WATR 
工 的 孩子 ， 并 以 它们 链 入 工 的 先后 顺序 排列 ， 则 yi. degree>0, AF i=2, 3, +, ky A 
y;. degree=i—2, 

证 明 mA, y. degree 宇 0。 Mt iz, 注意 到 当 Ji WEA c 的 时 候 ， Me dao ts WAG 
经 是 xz 的 孩子 ， 因 此 一 定 有 x. degree 宇 i 一 1。 因 为 结 点 y 只 有 在 x. degree=y,. degree 的 时 候 ， 
才 会 被 链 入 z( 执 行 操 作 CONSOLIDATE)， 此 时 也 一 定 有 y:i degree 之 i 一 1。 从 这 之 后 ， 结 点 Y 
最 多 失去 一 个 孩子 ， 因 为 如 果 它 失去 了 两 个 孩子 ， 它 将 被 从 z 中 剪 切 掉 ( 执 行 操作 CASCADING- 
CUT). SE, y;. degreeSi—2, 国 

我 们 终于 可 以 解释 “ 斐 波 那 契 堆 ? 这 个 名 字 的 由 来 了 。 回 顾 3.2 节 ， 对 于 二 0,，1，2,…， 
第 & 个 斐 波 那 契 数 被 定义 为 如 下 递归 式 ， 


0 jo k=0 
F, = 41 wk k=1 
Fai HF 如 果 & 之 2 


下 面 的 引 理 给 出 了 另 一 种 表示 Fi 的 方法 。 
引 理 19. 2 ”对 于 所 有 的 整数 RDO, 


证 明 对 进行 归纳 。 当 二 0 时， 
lF 2LF =1+R =1+0 =F, 


现 做 归纳 假设 Fi = 1+ 2 F,, BAA 


kl k 
F 一 玉 十 Fa = RH04) =14 F, m 
i=0 i=0 


引 理 19.3 ITAA HRA k0, SRPMS R 十 2 个 数 满足 Fat. 

证 明 对 & 进 行 归纳 。 归 纳 基 础 是 k= 和 k=l 的 情形 。 当 二 0 时 ， 有 F 二 1 一 加， 并 且 当 
k=1 if, Æ F, =2>1. 619 放 办。 归纳 步 是 对 于 & 宇 2， EMF i=0, 1, +, kR-1, A F> 
p. E g EER. 232° =2+1 的 正 根 。 因 此 ， 有 

Faz = Fin + Fy 
aap +e (根据 归纳 假设 ) 
= #7 (+1) 
=P? oe (根据 等 式 (3. 23)) 
= # r 
下 面 的 引 理 和 推论 完成 了 整个 分 析 。 

51 19.4 设 工 是 斐 波 那 契 堆 中 的 任意 结 点 ， 并 设 R=x. degree, WA size(x) > Fp >Ë, 
其 中 $= 二 (1 十 V5)/2 。 

证 明 设 5 表示 斐 波 那 契 堆 中 度数 为 & 的 任意 结 点 的 最 小 可 能 size。 平 凡 地 ，%w 王 1，% 一 2。 
s 最 大 为 sizeCz) ， 且 因为 往 一 个 结 点 上 添加 孩子 不 能 减 小 该 结 点 的 size，s, 的 值 随 着 单调 递 
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增 。 在 任意 斐 波 那 契 堆 中 ， 考 虑 某 个 结 点 z， 有 z. degree 一 & 和 size(z) 一 %。 因 为 % 委 size(Zz) ， 
所 以 可 以 通过 计算 s 的 下 界 来 得 到 size(z) 的 一 个 下 界 。 与 引 理 19. 1 — E, Fl ne yee o yi 
表示 结 点 z 的 孩子 ， 并 按照 它们 链 人 该 结 点 的 先后 顺序 排列 。 为 了 求 s 的 界 ， 把 = 本 身 和 = 的 第 
一 个 孩子 y (size(y,) > 1) 各 算 一 个 ， 则 有 


k k 
size( x) Sey, 2 Dis, aa Ot Dee 
i=2 i 一 2 


其 中 最 后 一 行 由 引 理 19. 1( 因 此 有 y: degreeS>i—2), UR 5 的 单调 性 (因此 有 Sy. degre = Si) 
得 到 。 

现在 对 & 进 行 归纳 证 明 ， 对 于 所 有 的 非 负 整数 &， 有 sF 。 归 纳 基 础 ，& 一 0 和 & 一 1 时 显 
然 成 立 。 对 于 归纳 步 ， 假定 & 之 2 且 对 于 i= Ly ey ROI, 均 有 sF 则 有 


k k k 
sx 2+ D se 2+ FR =14+ DF 
i=2 i=2 i=0 


= Fu 《根据 引 理 19. 2) 
= (根据 引 理 19. 3) 
于 是 就 证 明了 size(x) Sy >F 2#. E 
推论 19.5 — A n AiE Hoy ERRE PAER E ARKE D(n) 为 Ollgn) 。 
证 明 ir EAn PE EAB HE PER, Ji k= r. degree。 依 据 引 
19.4, A n> size(x) Sf. WA $ HERZ, AB k<logyn,. (实际 上 ， 因 为 上 是 整数 ， 所 
以 & 二 Llogsnj4,) 所 以 ,任意 结 点 的 最 大 度数 Dim) 为 O(lgn) 。 = 


练习 

19. 4-1 Pinocchio 教授 声称 一 个 ”个 结 点 的 斐 波 那 契 堆 的 高 度 是 O(lgz) 的 。 对 于 任意 的 正 整数 
?2， 试 给 出 经 过 一 系列 斐 波 那 契 堆 操作 后 ， 可 以 创建 出 一 个 斐 波 那 契 堆 ， 该 堆 仅仅 包 含 
一 棵 具有 个 结 点 的 线性 链 的 树 ， 以 此 来 说 明 该 教授 是 错误 的 。 

19.4-2 ”假定 对 级 联 切断 操作 进行 推广 ， 对 于 某 个 整数 常数 &， 只 要 一 个 结 点 失去 了 它 的 第 & 个 
孩子 ， 就 将 其 从 它 的 父 结 点 上 剪 切 掉 (19. 3 节 中 为 &=2 的 情形 )。& 取 什 么 值 时 ， 有 
Dn) = OUgn) 。 


思考 题 


19-1 (删除 操作 的 另 一 种 实现 ) Pisano 教授 提出 了 下 面 的 FIB-HEAP-DELETE 过 程 的 一 个 变 
种 ， 声 称 如 果 删 除 的 结 点 不 是 由 H. min 指向 的 结 点 ， 那 么 该 程序 运行 得 更 快 。 


PISANO-DELETE(H, x) 


1 ifr == H.min 

2 FIB-HEAP-EXTRACT-MIN(H) 

3 else y = zx. p 

4 if y Æ NIL 

5 CUT(H, z, y) 

6 CASCADING-CUT(H, y) 

7 add x’s child list to the root list of H 
8 remove x from the root list of H 


a. 该 教授 的 声称 是 基于 第 7 行 可 以 在 OC) 实际 时 间 内 完成 的 这 一 假设 ， 它 的 程序 可 以 运 
行 得 更 快 。 该 假设 有 什么 问题 吗 ? 
b. 4 2 Ake H. min 指向 时 ， 给 出 PISANO-DELETE 实际 时 间 的 一 个 好 上 界 。 你 给 出 的 
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上 界 应 该 以 z. degree 和 调用 CASCADING-CUT 的 次 数 < 这 两 个 参数 来 表示 。 

c 假定 调用 PISANO-DELETE(H, x), Jik 互 是 执行 后 得 到 的 斐 波 那 契 堆 。 假 定 结 点 x 
不 是 一 个 根 ， 用 x. degree、c、X 互 ) 和 和 (五 ) 来 表示 五 ' 势 的 界 。 

d. 证 明 : PISANO-DELETE 的 摊 还 时 间 渐 近 地 不 好 于 FIB-HEAP-DELETE 的 摊 还 时 间 ， 
即使 在 z 径 五 . min 时 也 是 如 此 。 

19-2 (二 项 树 和 二 项 堆 ) 二 项 树 Bi 是 一 棵 递归 定义 的 有 序 树 (参看 B. 5. 2 节 ) 。 如 图 19-6(a) 所 
示 ， 二 项 树 Bu 仅 包 含 一 个 结 点 。 二 项 树 Bi 是 由 两 个 二 项 树 B;_1 组 成 的 ， 这 两 棵 树 按照 一 
棵 树 的 根 是 另 一 棵 树 根 的 最 左 孩子 的 方式 链接 。 图 19-6(b) 所 示 为 二 项 树 Bo 到 B, o 





SS 
B, B, 深度 
0 
(a) i 
2 
g$ 
es i 
Bo B, B, B, 











B, 
Cc) 


图 19-6 (a) 递 归 定 义 的 二 项 树 B:。 三 角形 表示 有 根子 树 。(b) 二 项 树 Bo 到 B, B 中 结 点 的 深 
度数 已 经 给 出 。(c) 另 一 种 角度 看 二 项 树 及 


a. 对 于 二 项 树 Bi， 证 明 : 
1. 一 共有 2* 个 结 点 。 
树 的 高 度 是 &。 


对 于 0 深度 为 :的 结 点 恰 有 () 个 ， 


4. 根 的 度数 为 &， 它 比 其 他 任意 结 点 的 度数 都 要 大 。 此 外 ， 如 图 19-6(c) 所 示 ， 如 果 把 
根 的 孩子 从 左 到 右 编号 为 一 1，k 一 2，…，0， 那 么 孩子 i BF MB, HR. 
ZW (binomial heap) 互 是 具备 如 下 性 质 的 二 项 树 的 集合 : 
1. 每 个 结 点 具有 一 个 关键 字 ( 与 斐 波 那 契 堆 相 同 ) 。 
. 互 中 的 每 个 二 项 树 遵 循 最 小 堆 性 质 。 
对 于 任意 的 非 负 整 数 &， 互 中 最 多 有 一 个 二 项 树 的 根 的 度数 为 &。 


se 


es 


w N 





527 


304 


19-3 


19-4 
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b. 假定 一 个 二 项 堆 HHA n 个 结 点 。 讨 论 五 中 包含 的 二 项 树 与 的 二 进 制 表示 之 间 的 

关系 。 并 证 明 互 最 多 由 |Llgzj 十 1 棵 二 项 树 组 成 。 
假定 按 如 下 方式 表述 二 项 堆 。 用 10. 4 节 中 的 左 孩子 、 右 邻 兄弟 方案 来 表示 二 项 堆 中 

的 每 一 棵 二 项 树 。 每 个 结 点 包含 一 个 关键 字 ， 指 向 它 父 结 点 的 指针 、 指 向 它 最 左 孩 子 的 指 

针 和 指向 与 它 右 邻 兄弟 的 指针 (这 些 指 针 一 些 情 况 下 是 NIL) ， 以 及 它 的 度数 (如 同 斐 波 那 

契 堆 ， 表 示 为 有 多 少 个 孩子 ) 。 这 些 根 组 成 了 一 个 单 向 链接 的 根 链 表 ， 并 以 根 的 度数 从 小 

到 大 排列 。 可 以 通过 一 个 指向 根 链表 第 一 个 结 点 的 指针 来 访问 二 项 堆 。 

c 完整 描述 如 何 表示 一 个 二 项 堆 ( 例 如 ， 对 属性 进行 命名 ， 描 述 属性 值 什么 时 候 为 NIL， 
定义 根 链表 是 怎么 组 织 的 ) ， 并 说 明 如 何 用 与 本 章 中 实现 斐 波 那 契 堆 一 样 的 方式 来 实现 
在 二 项 堆 上 同样 的 7 个 操作 。 每 一 个 操作 的 最 坏 时 间 应 该 为 Ol(lgn) , HP n 为 二 项 堆 
中 的 结 点 数目 (或 对 于 UNION 操作 ， 为 要 被 合并 的 两 个 二 项 堆 中 的 结 点 数 ) MAKE- 
HEAP 操作 应 为 常数 时 间 。 

d 假定 仅仅 要 实现 在 一 个 斐 波 那 契 堆 上 的 可 合并 堆 操 作 ( 即 并 不 实现 DECREASE-KEY 和 
DELETE 操作 ) 。 斐 波 那 契 堆 中 的 树 与 二 项 堆 中 的 树 有 何 相似 之 处 ?” 有 什么 区 别 ? 证 明 
在 一 个 个 结 点 的 斐 波 那 契 堆 中 最 大 度数 最 多 为 Lljg7j。 

e McGee 教授 提出 了 一 个 基于 斐 波 那 契 堆 的 新 的 数据 结构 。 一 个 McGee 堆 具 有 与 斐 波 那 
契 堆 相同 的 结构 ， 并 且 只 支持 可 合并 堆 操作 。 除 了 插 和 人 和 合并 在 最 后 一 步 中 合并 根 链表 
外 ， 其 他 操作 的 实现 方式 均 与 斐 波 那 契 堆 中 的 实现 方式 相同 。McGee 堆 上 各 操作 的 最 
坏 情况 运行 时 间 是 多 少 ? 

(更 多 的 斐 波 那 契 堆 操 作 ) 想 要 扩展 斐 波 那 契 堆 H 支持 两 个 新 操作 ， 要 求 不 改变 斐 波 那 

契 堆 其 他 操作 的 摊 还 时 间 。 

a. 操作 FIB-HEAP-CHANGE-KEY(H, z, 有 ) 将 结 点 xz 中 关键 字 的 值 改 为 &。 给 出 FIB- 
HEAP-CHANGE-KEY 的 一 个 有 效 实现 ， 并 分 析 当 大 于 、 小 于 或 等 于 zx. key 时 ， 各 情 
形 下 的 摊 还 运行 时 间 。 

b. 给 出 FIB-HEAP-PRUNE( 互 ， 盖 的 一 个 有 效 实现 ， 该 操作 从 H PRR g=min(r, H. n) 
个 结 点 。 可 以 选择 任意 g 个 结 点 来 删除 。 试 分 析 你 的 实现 的 摊 还 运行 时 间 。 (提示 : 可 
能 需要 修改 数据 结构 以 及 势 函 数 ,) 

(2-3-4 堆 ) 第 18 章 介 绍 了 2-3-4 树 ， 树 中 每 个 内 部 结 点 (而 不 是 根 ) 有 2 个 、3 个 或 4 个 孩 

子 ， 且 所 有 的 叶 结 点 有 相同 的 深度 。 在 本 问题 中 ， 实 现 支持 可 合并 堆 操 作 的 2-3-4 堆 。 

2-3-4 堆 以 下 几 点 与 2-3-4 树 不 同 。 在 2-3-4 堆 中 ， 仅 仅 叶 结 点 存储 关键 字 ， 并 且 每 个 

叶 结 点 工 仅仅 在 属性 x. key 中 存储 一 个 关键 字 。 叶 结 点 中 的 关键 字 可 能 以 任意 顺序 存在 。 

每 个 内 部 结 点 xz 包含 一 个 值 x. small, CEFTA z 为 根 的 子 树 中 叶 结 点 存储 的 最 小 的 关键 

字 。 根 -包含 一 个 属性 ~. height， 存 储 树 的 高 度 。 最 后 ，2-3-4 堆 设 计 为 存放 在 主 存 中 ， 这 

样 磁盘 的 读 / 写 是 不 需要 的 。 

实现 下 面 的 2-3-4 堆 操 作 。 在 一 个 具有 个 元 素 的 2-3-4 堆 上 ，(a) 一 (e) 中 每 一 个 操作 

应 该 在 OUgn) 时 间 内 完成 。(f) 中 的 UNION 操作 应 该 在 Ogn) 时 间 内 完成 ， 其 中 为 输 

人 的 两 个 堆 元 素 个 数 之 和 。 

a. MINIMUM， 该 操作 返回 一 个 指向 具有 最 小 关键 字 的 叶 结 点 的 指针 。 

b. DECREASE-KEY， 该 操作 将 一 个 给 定 的 叶 结 点 z 的 关键 字 减 小 为 给 定 的 值 E 委 z. key. 

c INSERT， 该 操作 插入 一 个 关键 字 为 的 叶 结 点 工 。 

d. DELETE, 该 操作 删除 一 个 给 定 的 叶 结 点 x. 

e. EXTRACT-MIN, 该 操作 抽取 具有 最 小 关键 字 的 叶 结 点 。 
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f. UNION， 该 操作 合并 两 个 2-3-4 堆 ， 并 返回 一 个 单独 的 2-3-4 堆 ， 销 毁 掉 输入 的 堆 。 


本 章 注 记 

Fredman 和 Tarjan[L114] 提 出 了 斐 波 那 契 堆 。 他 们 的 论文 也 描述 了 斐 波 那 契 堆 在 一 些 问 题 上 
的 应 用 : 单 源 最 短路 径 、 所 有 点 对 之 间 的 最 短路 径 、 加 权 二 分 图 匹配 和 最 小 生成 树 问 题 。 

随后 ，Driscoll、Gabow、Shrairman 和 Tarjan[L 96] 设 计 了 有 别 于 斐 波 那 契 堆 的 “松散 堆 ”， 该 
堆 有 两 个 变 体 。 一 个 具有 与 斐 波 那 契 堆 相同 的 挫 还 时 间 界 。 另 一 个 允许 DECREASE-KEY 在 
OC) 的 最 坏 情况 时 间 ( 不 是 摊 还 时 间 ) 内 完成 ，DEXTACT-MIN 和 DELETE 在 O(lgn) 最 坏 情 况 
时 间 内 完成 。 松 散 堆 在 并 行 算法 中 也 要 比 斐 波 那 契 堆 更 优越 些 。 

在 第 6 章 的 “本 章 注 记 ?中 ， 也 提 到 一 些 其 他 数据 结构 ， 当 EXTRACT-MIN 调用 的 返回 值 序 
列 随时 间 单 调 递 增 并 且 这 些 值 在 某 一 特定 的 范围 内 是 整数 时 ， 这 些 数 据 结 构 支 持 更 快 的 
DECREASE-KEY 操作 。 
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van Emde Boas 树 


在 前 面 几 章 中 ， 我们 见 过 了 一 些 支持 优先 队列 操作 的 数据 结构 ， 如 第 6 章 的 二 又 堆 、 第 13 
章 的 红 黑 树 S 和 第 19 章 的 斐 波 那 契 堆 。 在 这 些 数据 结构 中 ， 不 论 是 最 坏 情 况 或 摊 还 情况 ， 至 少 
有 一 项 重要 操作 只 需 OUgn) 时 间 。 实 际 上 ， 由 于 这 些 数据 结构 都 是 基于 关键 字 比 较 来 做 决定 
的 ， 因 此 ，8. 1 节 中 排序 下 界 Qnlgn) 说 明 至 少 有 一 个 操作 必需 Agn 的 时 间 。 这 是 为 什么 
呢 ? 因为 如 果 INSERT 和 EXTRACT-MIN 操作 均 需 要 ollgn) 时 间 ， 那 么 可 以 通过 先 执 行 n 次 
INSERT 操作 ， 接 着 再 执行 n 次 EXTRACT-MIN 操作 来 实现 olgn) 时 间 内 对 nn 个 关键 字 的 
排序 。 

然而 ， 第 8 章 中 我 们 见 到 过 ， 有 时 可 以 利用 关键 字 所 包含 的 附加 信息 来 完成 oC(nlgn) 时 间 内 
的 排序 。 特 别 地 ， 对 于 计数 排序 ， 每 个 关键 字 都 是 介 于 0~& 之 间 的 整数 ， 这 样 排序 ”个 关键 字 
能 在 O(n FAM ATER, 24 R= O(n) 时 ， 排 序 时 间 为 Om. 

由 于 当 关 键 字 是 有 界 范围 内 的 整数 时 ， 能 够 规避 排序 的 Qlnlgn) 下 界 的 限制 ， 那 么 在 类 似 
的 场景 下 ， 我 们 应 弄 清楚 在 ollgn) 时 间 内 是 否 可 以 完成 优先 队列 的 每 个 操作 。 在 本 章 中 ， 我们 将 
看 到 : van Emde Boas 树 支 持 优先 队列 操作 以 及 一 些 其 他 操作 ， 每 个 操作 最 坏 情况 运行 时 间 为 
Ol(lglgn)。 而 这 种 数据 结构 限制 关键 字 必须 为 0 一 ?一 1 的 整数 且 无 重复 。 

明确 地 讲 ，van Emde Boas 树 支 持 在 动态 集合 上 运行 时 间 为 OCg lgn) 的 操作 : SEARCH, 
INSERT、DELETE、MINIMUM、MAXIMUM、SUCCESSOR 和 PREDECESSOR。 本 章 只 关注 
关键 字 的 存储 ， 而 不 讨论 卫星 数据 。 由 于 只 是 考虑 要 求 不 允许 重复 存储 的 关键 字 去 实现 一 个 更 
简单 的 MEMBER(S，z) 操 作 ( 而 不 是 去 描述 稍 复杂 的 SEARCH 操作 )， 该 操作 通过 返回 一 个 布 
尔 值 来 指示 工 是 否 在 动态 集合 S 内 。 

到 目前 为 止 ， 参 数 有 两 个 不 同 的 用 法 : 一 个 为 动态 集合 中 元 素 的 个 数 ， 另 一 个 为 元 素 的 可 
能 取 值 范围 。 为 避免 混淆 ， 以 下 用 n 表示 和 集合 中 当前 元 素 的 个 数 ， 用 u 表示 元 素 的 可 能 取 值 范 
围 ， 这 样 每 个 van Emde Boas 树 操作 在 Og lgu) 时 间 内 运行 完 。 要 存储 的 关键 字 值 的 全 域 
《universe) 和 集合 为 {0，1，2，…，u 一 1},， 为 全 域 的 大 小 。 本 章 始 终 假定 uA 2 R, B u= 
2*， 其 中 整数 & 宇 1。 

20.1 节 开 始 会 讨论 一 些 简 单 的 方法 ， 为 后 续 内 容 的 学 习 做 铺垫 。 在 20. 2 节 中 ， 这 些 方法 会 
被 逐一 改进 ， 从 而 引入 van Emde Boas 结构 的 原型 ， 它 是 递归 的 但 并 未 达到 OUg leu) 的 运行 时 
间 。20. 3 节 对 原型 van Emde Boas 结构 进行 改进 ， 发 展 为 van Emde Boas 树 ， 并 且 介 绍 如 何在 
Ollglgw) 时 间 内 实现 每 个 操作 。 


20.1 基本 方法 

本 节 讨 论 动态 集合 的 几 种 存储 方法 。 虽 然 这 些 操作 都 无 法 达到 想 要 的 OU g leu) 运行 时 间 界 ， 
但 这 些 方法 有 助 于 理解 本 章 后 面 介 绍 的 van Emde Boas 树 。 

直接 寻 址 

直接 寻 址 ( 见 11. 1 节 ) 提 供 了 一 种 存储 动态 集合 的 最 简单 方法 。 由 于 本 章 只 关注 存储 关键 字 ， 
如 练习 11. 1-2 中 讨论 过 的 ， 可 以 将 用 于 动态 集合 的 直接 寻 址 法 简化 为 一 个 位 向 量 。 我 们 维护 一 


O 第 13 章 并 没有 直接 给 出 关于 如 何 实现 EXTRACT-MIN 和 DECREASE-KEY 的 讨论 ， 但 是 我 们 能 很 容易 为 支持 
MINIMUM, DELETE 和 INSERT 操作 的 任何 数据 结构 构建 这 些 操作 。 


第 20 章 van Emde Boas 树 。 307 


A u ERAH ACO. .x 一 1]， 以 存储 一 个 值 来 自 全 域 {0，1，2，…，u 一 1) 的 动态 集合 。 着 值 z 属 
于 动态 集合 ， 则 元 素 A[z] 为 1; 否则 ，A[zj] 为 0。 虽然 利用 位 向 量 方法 可 以 使 INSERT, 
DELETE 和 MEMBER 操作 的 运行 时 间 为 OC) ， 然 而 其 余 操 作 (MINIMUM, MAXIMUM, 


SUCCESSOR 和 PREDECESSOR) 在 最 坏 情况 下 仍 需 @(w) 的 运行 时 间 ， 这 是 因为 操作 需要 扫描 [532] 


Q(z) 个 元 素 。.S 例 如 ， 如 果 一 个 集合 只 包含 值 0 和 w 一 1， 则 要 查找 0 的 后 继 ， 就 需要 查询 1 到 
u 一 2 的 所 有 结 点 ， 直 到 发 现 ALu 一 1j 中 的 1 为 止 。 

到 加 的 二 叉 树 结构 

我 们 能 够 使 用 位 向 量 上 方 芭 加 的 一 棵 位 二 叉 树 的 方法 ， 来 缩短 对 位 向 量 的 长 扫描 。 图 20-1 
显示 了 一 个 例子 。 位 向 量 的 全 部 元 素 组 成 了 二 又 
树 的 叶子 ， 并 且 每 个 内 部 结 点 为 1 当 且 仅 当 其 子 
树 中 任 一 个 叶 结 点 包含 1。 换 名 话说 ， 内 部 结 点 
中 存储 的 位 就 是 其 两 个 孩子 的 逻辑 或 。 

现在 使 用 这 种 树 结构 和 未 经 修饰 的 位 向 量 ， 
具有 最 坏 情况 运行 时 间 为 6(w) 的 操作 如 下 : 


。 查找 集合 中 的 最 小 值 ， 从 树 根 开始 , a AA A /NA 人 [\ A 
头 朝 下 指向 叶 结 点 ， 总 是 走 最 左边 包含 1 “ OL 0 Teepe pepo et 


7 8 9 1011 12 13 14 15 
的 结 点 。 


A ae 图 20-1 一 棵 位 向 量 上 方 到 加 的 位 二 又 树 ， 它 
查找 集合 中 的 最 大 值 ， 从 树 根 开始 ， 科 HRME(2, 3, 4, 5, 7, 14, 15}, 





Sti PARRY + ieee eee | 其 中 x 一 16。 每 个 内 部 结 点 为 1 当 目 仅 
的 结 点 。 当 其 子 树 内 的 某 个 叶 结 点 为 1。 箭头 
。 查找 工 的 后 继 ， 从 并 所 在 的 叶 结 点 开始 ， 表示 确定 14 的 前 驱 所 沿 循 的 路 径 


箭头 朝 上 指向 树 根 ， 直 到 从 左 侧 进入 一 个 结 点 ， 其 右 孩 子 结 点 z 为 1。 然 后 从 结 点 z 出 发 
箭头 向 下 ， 始 终 走 最 左边 包含 1 的 结 点 ( 即 查 找 以 z 为 根 的 子 树 中 的 最 小 值 ) 。 

查找 工 的 前 驱 ， 从 工 所 在 的 叶 结 点 开始 ， 箭 头 朝 上 指向 树 根 ， 直 到 从 右 侧 进入 一 个 结 点 ， 
其 左 孩子 结 点 = 为 1。 然后 从 结 点 z 出 发 箭头 向 下 ， 始 终 走 最 右边 包含 1 的 结 点 ( 即 查找 
以 z 为 根 的 子 树 中 的 最 大 值 ) 。 

图 20-1 显示 了 查找 14 的 前 驱 7 所 走 的 路 径 。 

我 们 也 适当 地 讨论 了 INSERT 和 DELETE 操作 。 当 插入 一 个 值 时 ， 从 该 叶 结 点 到 根 的 简单 
路 径 上 每 个 结 点 都 置 为 1。 当 删除 一 个 值 时 ， 从 该 叶 结 点 出 发 到 根 ， 重 新 计算 这 个 简单 路 径 上 每 
个 内 部 结 点 的 位 值 ， 该 值 为 其 两 个 孩子 的 逻辑 或 。 

由 于 树 的 高 度 为 lgu， 上 面 每 个 操作 至 多 沿 树 进行 一 趟 向 上 和 一 趋向 下 的 过 程 ， 因 此 每 个 操 
作 的 最 坏 情况 运行 时 间 为 Olgu). 

这 种 方法 仅仅 比 红 黑 树 好 一 点 。MEMBER 操作 的 运行 时 间 只 有 OC) ， 而 红 黑 树 却 需要 花 
Bt OUgn) 时 间 。 另 外 ， 如 果 存 储 的 元 素 个 数 n KERAK u 小 得 多 ， 那 么 对 于 所 有 的 其 他 操作 ， 
红 黑 树 要 快 些 。 

又 加 的 一 棵 高 度 恒定 的 树 

如 果 县 加 一 棵 度 更 大 的 树 ， 会 发 生 什 么 情况 ? 假设 全 域 的 大 小 为 u=2*, XE RARE 
数 ， 那么 Vu 是 一 个 整数 。 我 们 琶 加 一 棵 度 为 Vu 的 树 ， RARE EB — 
图 20-2(a) 展 示 了 这 样 的 一 棵 树 ， 其 中 位 向 量 与 图 20-1 中 一 样 。 结 果树 的 高 度 总 是 为 2。 





O ”本章 始 终 假设 : 如果 动 态 集合 为 空 ， 则 MINIMUM 和 MAXIMUM 返回 NIL; 如 果 给 定 的 元 素 没有 后 继 或 前 驱 ， 
则 SUCCESSOR 和 PREDECESSOR 分 别 返 回 NIL。 


[533] 
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同 以 前 一 样 ， 每 个 内 部 结 点 存储 的 是 其 子 树 的 逻辑 或 ， 所 以 深度 为 1 的 Vu 个 内 部 结 点 是 每 组 
Vu 个 值 的 合计 ( 即 逻 辑 或 )。 如 图 20-2(b) 所 示 ， 可 以 为 这 些 结 点 定义 一 个 数组 summary(0.. 
Vu 一 1]， 其 中 summary[ 订 包含 1 当 且 仅 当 其 子 数组 A[iVu. . G+DVu—-1 a 1, RIEA 的 这 
个 Vu 位 子 数组 为 第 i 个 簇 (cluster) 。 对 于 一 个 给 定 的 值 z, 位 ALzj 出 现在 簇 号 为 Lxz/Vdl 中 。 现 
在 ，INSERT 变 成 一 个 O(1) 运行 时 间 的 操作 : 要 插入 x， 置 A[z] 和 swummary[Lz/Wulj] 为 1。 此 
外 ， 使 用 summary 数组 可 以 在 OWw) 运行 时 间 内 实现 MINIMUM, MAXIMUM, SUCCESSOR, 
PREDECESSOR 和 DELETE 操作 : 

。 查找 最 小 (最 大 ) 值 ， 在 summary 数组 中 查找 最 左 ( 最 右 ) 包 含 1 的 项 ， 如 summarylil, & 
后 在 第 i 个 徐 内 顺序 查找 最 左 ( 最 右 ) 的 1。 
查找 c MARE, SECM PMA ZAR. MRAM 1， 则 返回 这 个 位 置 作为 
结果 ; 否则 , S i 二 Lz/VYuj， 然后 从 下 标 i 开 始 在 summary 数组 中 向 右 ( 左 ) 查 找 。 找 到 第 
一 个 包含 1 的 位 置 就 得 到 这 个 艇 的 下 标 。 再 在 该 簇 中 查找 最 左 ( 最 右 ) 的 1， 这 个 位 置 的 
元 素 就 是 后 继 ( 前 驱 )。 

。 删除 值 z, 设 i=|Lz/Wuj。 将 ALz] 置 为 0， 然 后 置 summary lA i MEP ATA eR. 


0 J 2 3 


summary faoi Vu 位 
Vu {it 


‘Top 000E oui 
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图 20-2 (a) fet EA RE Au, Te) 20-1。 每 个 内 部 结 点 存储 的 是 其 子 树 中 各 位 
的 逻辑 或 。(b) 一 个 同样 的 结构 ， 只 是 深度 为 1 的 内 部 结 点 被 作为 一 个 数组 summaryL0.. Vu 一 1] 
有 所 不 同 ， 其 中 summaryli AER BR ALi Vu... (i 十 1)Vu 一 1 的 逻辑 或 


在 上 述 的 每 个 操作 中 ， 最 多 对 两 个 大 小 为 Vu 位 的 徐 以 及 summary 数组 进行 搜索 ， 所 以 每 个 
操作 耗费 OG/u) 时 间 。 

初 看 起 来 ， 似 乎 并 没有 取得 好 的 效果 。 炙 加 的 二 叉 树 得 到 了 时 间 为 Ogu) 的 操作 ， 其 渐 近 
地 快 于 OCWw) 。 然 而 ， 使 用 度 为 Vu 的 树 是 产生 van Emde Boas 树 的 关键 思想 。 下 一 节 继 续 沿 着 这 
条 路 线 讨论 下 去 。 


练习 

20.1-1 修改 本 节 中 的 数据 结构 ， 使 其 支持 重复 关键 字 。 

20.1-2 修改 本 节 中 的 数据 结构 ， 使 其 支持 带 有 卫星 数据 的 关键 字 。 

20.1-3 ”使 用 本 节 的 数据 结构 会 发 现 ， 查 找 zx 的 后 继 和 前 驱 并 不 依赖 于 x 当时 是 否 包 含 在 集合 
中 。 当 zz 不 包含 在 树 中 时 ， 试 说 明 如 何在 一 棵 二 又 搜 索 树 中 查找 z 的 后 继 。 

20.1-4 假设 不 使 用 一 棵 叠加 的 度 为 Vv 的 树 ， 而 是 使 用 一 棵 叠加 的 度 为 w“* 的 树 ， 这 里 是 大 于 
1 的 常数 ， 则 这 样 的 一 棵 树 的 高 度 是 多 少 ? 又 每 个 操作 将 需要 多 长 时 间 ? 


20.2 递归 结构 
在 本 节 中 ， 我 们 对 位 向 量 上 度 为 Vu 的 释 加 树 想 法 进行 修改 。 上 一 节 中 ， 用 到 了 大 小 为 Vu 的 
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summary 数组 ， 数 组 的 每 项 都 指向 一 个 大 小 为 Vu 的 另 一 个 结构 。 现 在 使 用 结构 递归 ， 每 次 递归 
都 以 平方 根 大 小 缩减 全 域 。 一 全 域 初始 大 小 为 ,使 用 包含 Vu 二 w“ 项 数 的 结构 ， 其 各 项 又 是 包 
uu GRE, Tie “结构 中 的 每 项 又 是 包含 w“ 项 数 的 结构 ， 依 此 类 推 ， 降低 到 项 数 为 2 的 
基本 大 小 时 为 止 。 

为 简单 起 见 ， 本 节 中 假设 4 一 2* ， 其 中 为 整数 ， 因 此 w，w”，w4，… 都 为 整数 。 这 个 限 
制 在 实际 应 用 中 过 于 严格 ， 因 为 仅仅 只 允许 的 值 在 序列 2，4，16，256，65 536，… 中 。 下 一 
节 会 看 到 如 何 放 宽 这 个 假设 ,而 只 假定 对 某 个 整数 &，u 二 2。 由 于 本 节 描 述 的 结构 仅 作 为 真正 
van Emde Boas 树 的 一 个 准备 ， 为 了 帮助 理解 ， 我 们 就 容忍 了 这 个 限制 。 

注意 到 ， 我们 的 目标 是 使 得 这 些 操 作 达 到 O(lglgz) 的 运行 时 间 ， 思 考 如 何 才能 达到 这 样 的 
运行 时 间 。 在 4. 3 节 的 最 后 ， 通 过 变量 替换 法 ， 能 够 得 到 递归 式 


T(n) = 2T(Wn)) + lgn (20. 1) 
KH Ta) = OUgniglgn) 。 考 虑 一 个 相似 但 更 简单 的 递归 式 : 
Tlu) = Tu) + O01) (20.2) [536 


如 果 使 用 同样 的 变量 替换 方法 ， 则 递归 式 (20. 2) HW Tru) = OUglgu). & m=lIgu, WA 
u=2", WA 
TOC = TO") +00) 
现在 重 命名 Sim) =T(2"), ， 新 的 递归 式 为 
S(m) = S(m/2) +00) 
应 用 主 方法 的 情况 2， 这 个 递归 式 的 解 为 San) = OUgm) 。 将 Sn) 变 回 到 Tue) ， 得 到 
Tu) = T(2") = S(m) = OUgm) = Odglgu) 

递归 式 (20. 2) 将 指导 数据 结构 上 的 查找 。 我 们 要 设计 一 个 递归 的 数据 结构 ， 该 数据 结构 每 层 
递归 以 Yu 为 因子 缩减 规模 。 当 一 个 操作 遍历 这 个 数据 结构 时 ， 在 递归 到 下 一 层次 前 ， 其 在 每 一 
层 耗费 常数 时 间 。 递 归 式 (20. 2) 刻 画 了 运行 时 间 的 这 个 特征 。 

这 里 有 另 一 种 途径 来 理解 项 lglgu 如 何 最 终 成 为 递归 式 (20. 2) 的 解 。 正 如 我 们 所 看 到 的 ， 每 
层 递归 数据 结构 的 全 域 大 小 是 序列 w，w”，w“，w”，…。 如 果 考 虑 每 层 需要 多 少 位 来 存储 全 
WR, 那么 顶层 需要 lgu， 而 后 面 每 一 层 需 要 前 一 层 的 一 半 位 数 。 一 般 来 说 ， 如 果 以 5 位 开始 并 上 且 
每 层 减少 一 半 的 位 数 ， 那 么 lg2 层 递归 之 后 ， 只 剩 下 一 位 。 因 为 5 一 lgx， 那 么 lglgw 层 之 后 ,全 
域 大 小 就 为 2。 

现在 回头 来 看 图 20-2 中 的 数据 结构 ， 一 个 给 定 的 值 z 在 簇 编 号 Lz/Vul 中 。 如 果 把 xz 看 做 lgu 
位 的 二 进 制 整数 ， 那 么 簇 编 号 Lz/Vuj] 由 zz 中 最 高 (lgw)/2 位 决定 。 在 xz KP, r 出 现在 位 置 
zmodVu 中 ， 是 由 工 中 最 低 (lgw)/2 位 决定 。 后 面 需要 这 种 方式 来 处 理 下 标 ， 因 此 定义 以 下 一 些 
函数 将 会 有 用 : 








high(x) = [zx/ Vu] 
low(x) = x modVu 
index(z,y) = zvu + y 

函数 high(x) 给 出 了 工 的 最 高 gu) /2 i, BMA 2 BS. RA low(z) 给 出 了 z 的 最 低 (gu) /2 
位 ， 即 为 二 在 它 自 己 复 中 的 位 置 。 函 数 index(z，y) 从 过 和 y 产生 一 个 元 素 编号 ， 其 中 z 为 元 素 
编号 中 最 高 (lgw)/2 位 ，y 为 元 素 编号 中 最 低 Ugu)/2 位 。 我 们 有 恒等式 x= index( high(z) , 
low(z))。 这 些 函 数 中 使 用 的 x 值 始终 为 调用 这 些 函 数 的 数据 结构 的 全 域 大 小 ,x 的 值 随 递 归结 
构 改 变 。 
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proto-vEB(\u ) 结 构 





u proto-vEB(u ) 结 构 


图 20-3 4 u>4 时, 一 个 proto-vEB (w) 绪 构 中 的 信息 。 这 个 结构 包含 全 域 大 小 u、 指 向 proto- 
vEB (Wt 结构 的 指针 summary， 以 及 一 个 有 Vu 个 指针 指向 proto-vEB (Vu) 结构 的 数组 
cluster[ 1.. Ju—1] 


20.2.1 原型 van Emde Boas 结构 


根据 递归 式 (20. 2) 中 的 启示 ， 我 们 设计 一 个 递归 数据 结构 来 支持 这 些 操 作 。 虽 然 这 个 数据 结 
构 对 于 革 些 操作 达 不 到 OKlglgz 运行 时 间 的 目标 ， 但 它 可 以 作为 将 在 20. 3 节 中 见 到 的 van Emde 
Boas 树 的 基础 。 

MPF wR LO, 1, 2, =, u—1}, XE van Emde Boas 结构 (proto van Emde Boas 
structure) 5% proto-vEB 结构 (proto-vEB structure) ， 记 作 proto-vEB (wu)， 可 以 如 下 递归 定义 。 每 
个 proto-vEB (w) 结 构 都 包含 一 个 给 定 全 域 大 小 的 属性 w。 男 外 ， 它 包含 以 下 特征 : 

。 如 果 * 王 2， 那 么 它 是 基础 大 小 ， 只 包含 一 个 两 个 位 的 数组 AL0. . 1]。 

。 否则， 对 某 个 整数 ti 之 1，v* 一 2 ， 于 是 有 x 之 4。 除 了 全 域 大 小 & 之 外 ，zrotouEB (wu) 还 
具有 以 下 属性 (如 图 20-3 ras) : 
。 一 个 名 为 summary 的 指针 ， 指 向 一 个 proto-vEB (Wu) 结 构 。 
。 一 个 数组 cluster[ 1.. Vu 一 1]， 存 伴 /u 个 指针 ， 每 个 指针 都 指向 一 个 proto-vEB Ww) 结构 。 
元 素 二 递归 地 存储 在 编号 为 hiha) WBF. TEAR PSSA low) KICK, AE Kau, 

在 前 一 节 的 二 层 结构 中 ， 每 个 结 点 存储 一 个 大 小 为 Vu 的 summary 数组 ， 其 中 每 个 元 素 包 含 
一 个 位 。 从 每 个 元 素 的 下 标 ， 我 们 可 以 计算 出 大 小 为 Vu 的 子 数 组 的 开始 下 标 。 在 proto-vEB 结构 
中 ,使 用 显 指针 而 不 是 下 标 计 算 的 方法 。summary 数组 包含 了 proto-vEB 结构 中 递归 存储 的 
summary 位 向 量 ， 并 且 cluster 数组 包含 了 Vu 个 指针 。 

图 20-4 显示 了 一 个 完全 展开 的 protovEB (16) 结 构 ， 它 表示 集合 {2，3,， 4, 5, 7, 14, 
15}。 如 果 值 i 在 由 summary 指向 的 proto-vEB 结构 中 ， 那 么 第 i 个 徐 包 含 了 被 表示 和 集合 中 的 某 
个 值 。 与 常数 高 度 的 树 一 样 ，cluster[ 本 表示 iVu 到 (i 十 1)Vu 一 1 的 那些 值 ， 这 些 值 形成 了 第 i 
ME. 

在 基础 层 上 ， 实 际 动态 集合 的 元 素 被 存储 在 一 些 protowvEB(2) 结 构 中 ， 而 余下 的 proto-vEB (2) 
结构 则 存储 summary 位 。 在 每 个 非 summary 基础 结构 的 底部 ， 数 字 表示 它 存储 的 位 。 例 如 ， 标 
记 为 “element 6，7” 的 protovEB(2) 结 构 在 AL0] 中 存储 位 6(0， 因 为 元 素 6 不 在 集合 中 ) ， 并 在 
All] 中 存储 位 7(1， 因 为 元 素 7 在 集合 中 ) 。 

与 艇 一 样 ， 每 个 summary 只 是 一 个 全 域 大 小 为 Vu 的 动态 集合 ， 而 且 每 个 summary 表示 为 一 
个 proto-vEB (Yu) 结构 。 主 proto-vEB(16) 结 构 的 4 个 summary 位 都 在 最 左 侧 的 proto-vEB (4) 3 
HP, 并且 它们 最 终 出 现在 2 个 protovEB (2) 结 构 中 。 例如， 标记 为 “clusters 2, 3” ġ 
proto-vEB(2) 结 构 有 ALO]=0, & XH proto-vEB (16) WWE 2( 包 含 元 素 8、9、10、11) 都 为 
0; 并 且 A[L1] 王 1， 说 明 proto-vEB(16) 结 构 的 簇 3( 包 含 元 素 12、13、14、15) 至 少 有 一 个 为 1。 
每 个 proto-vEB (4) 结 构 都 指向 自身 的 summary, Ti summary 自己 存储 为 一 个 proto-vEB (2) 结 构 。 
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例如 ， 查 看 标 为 “elements 0，1? 左 侧 的 那个 proto-vEB (2) 结 构 。 因 为 ALOJ=0, Fr LA“ elements 


0，1” 结 构 都 为 0; 由 于 A[1j 二 1， 因 此 “elements 2，3? 结 构 至 少 有 一 个 1。 


一 











proto-vEB(A) cluster 
u summary 0 1 


proto-vEB(2) 


-o 
-E eb 


proto-vEB(2) 


æ © 
DE- 图 : 


clusters0,1 clusters2,3 











proto-vEB(2) 





elements 8,9 elements 10,11 elements 12,13 elements 14,15 











图 20-4 一 个 proto-vEB (16) ity THEA (2, 3, 4, 5, 7, 14, 15}. FE cluster[0.. 3] 中 的 指针 指向 4 个 
proto-vEB(4) 结 构 ， 而 且 还 指向 一 个 summary 结构 ， 这 个 summary 结构 也 是 一 个 proto-vEB(4) 结 
构 。 每 个 proto-vEB (4) 结 构 在 ciuster[0..1] 中 指向 2 个 protovEB (2) 结 构 ， 以 及 指向 一 个 
proto-vEB(2) 结 构 的 swmmary。 每 个 proto-vEB(2) 结 构 只 包含 一 个 2 位 的 数组 A[0. . 1]。“elements 
i,，j” 上 方 的 protovEB (2) 结 构 存 储 实际 动态 集合 的 位 i 和 7, Ff A “clusters i, j” LAW 
proto-vEB(2) 结 构 存 储 顶 层 proto-vEB(16) 结 构 中 的 簇 i 和 j 的 summary 位 。 为 清晰 起 见 ， 深 阴影 
部 分 表示 一 个 proto-vEB 结构 的 顶层 ， 其 存储 它 的 双亲 结构 的 summary 信息 ; 这 样 一 个 proto-vEB 


结构 不 同 于 具有 同样 全 域 大 小 的 其 他 任何 proto-vEB 结构 


20.2.2 原型 van Emde Boas 结构 上 的 操作 


下 面 将 讨论 如 何在 一 个 proto-vEB 结构 上 执行 一 些 操作 。 先 看 查询 操作 MEMBER, 
MINIMUM, MAXIMUM 和 SUCCESSOR， 这 些 操作 不 改变 proto-vEB 结构 。 接 下 来 讨论 
INSERT 和 DELETE 操作。 另外 ， 留 下 MAXIMUM 和 PREDECESSOR 操作 作为 练习 20. 2-1, 


它们 分 别 与 MINIMUM 和 SUCCESSOR 是 对 称 的 。 


MEMBER, SUCCESSOR, PREDECESSOR, INSERT 和 DELETE 操作 都 取 一 个 参数 x 和 


一 个 proto-vEB 结构 V 作为 输入 参数 。 这 些 操作 均 假 定 0 过 z<V. us 
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判断 一 个 值 是 否 在 集合 中 
。 要 实现 MEMBER(z) 操 作 ， 就 需要 在 一 个 适当 的 proto-vEB (2) 结 构 中 找到 相应 于 zz 的 位 。 
540| ”借助 全 部 的 summary 结构 ， 这 个 操作 能 够 在 Og lg 时 间 内 完成 。 下 面 的 过 程 以 一 个 proto 
vEB 结构 V 和 一 个 值 zx 作为 输入 ， 返 回 一 个 位 值 表 示 z 是 否 在 V 包含 的 动态 集合 中 。 
PROTO-vEB-MEMBER(V, x) 
1 ifV.u == 2 
2 return V. A[ x] 
3 else return PROTO-vEB-MEMBER(V. cluster[high(z) ], low(x)) 


PROTO-vEB-MEMBER 过 程 工 作 如 下 。 第 1 行 测试 是 否 为 基础 情形 ， 其 中 V 是 一 个 proto 
vEB(2) 结 构 。 第 2 行 处 理 基 础 情形 ， 简 单 地 返回 数组 A 的 一 个 相应 位 。 第 3 行 处 理 递 归 情 形 ， 
“外 人 ”到 相应 更 小 的 proto-vEB 结构 。 值 high) 表示 要 访问 的 proto-vEB (Vu) 结 构 ， 值 low(xr) 
表示 要 查询 的 proto-vEB (Vw) 结 构 中 的 元 素 。 

在 图 20-4 中 ， 我 们 看 一 下 在 protovEB(16) 结 构 中 调用 PROTO-vEB-MEMBER(V，6) 会 发 
生 什 么 。 由 于 当 w 二 16 时 ，high(6) 王 1， 则 递归 到 右上 方 的 proto-vEB (4) 结 构 ， 并 且 查 询 该 结构 
的 元 素 low(6) 二 2。 在 这 次 递归 调用 中 , 二 4， 这 样 还 需要 进行 递归 。 对 于 = 二 4， 就 有 
high(2)=1 和 low(2) 王 0， 所 以 要 查询 右上 方 的 proto-vEB(2) 结 构 中 的 元 素 0。 这 次 递归 调用 就 
到 了 基础 情形 ， 所 以 通过 递归 调用 链 返 回 AL0] 二 0。 因 此 ， 得 到 PROTO-vVEB-MEMBER(V, 6) 
返回 0 的 结果 ， 表 示 6 不 在 集合 内 。 

为 了 确定 PROTO-vEB-MEMBER 的 运行 时 间 ， 令 T(w) 表 示 proto-vEB (wu) 结 构 上 的 运行 时 
间 。 每 次 递归 调用 耗费 常数 时 间 ， 其 不 包括 由 递归 调用 自身 所 产生 的 时 间 。 当 PROTO-vEB- 
MEMBER 做 一 次 递归 调用 时 ， 它 在 proto-vEB (Yu) 结构 上 产生 一 次 调用 。 因 此 ， 运 行 时 间 可 以 
用 递归 表达 式 TW =TWu) + O(1) 表示 ,该 递归 式 就 是 前 面 的 递归 式 (20.2)。 它 的 解 为 
Tu) =OUglgu) ， 所 以 PROTO-vEB-MEMBER 的 运行 时 间 为 Odglgu) 。 

查找 最 小 元 素 

现在 我 们 讨论 如 何 实 现 MINIMUM 操作 。 过 程 PROTO-vEB-MINIMUM(V) 返 回 proto-vEB 

[541] ”结构 V 中 的 最 小 元 素 ; 如 果 V 代表 的 是 一 个 空 集 ， 则 返回 NIL. 

PROTO-vEB-MINIMUMCYV) 

1 ifV.u == 2 
2 if V.A[0] == 1 
return 0 
elseif V. A[1] == 1 





3 

4 

5 return 1 

6 else return NIL 

7 else min-cluster = PROTO-vEB-MINIMUMC(V. summary) 

8 if min-cluster == NIL 

9 return NIL 

10 else of fset = PROTO-vVEB-MINIMUM(V. cluster| min-cluster ]) 


11 return index(min-cluster, of fset) 

这 个 过 程 工作 如 下 。 第 1 行 判断 是 否 为 基础 情形 ， 第 2 一 6 行 平 凡 地 处 理 基础 情形 。 第 7 一 11 行 
处 理 递归 情形 。 首 先 ， 第 7 行 查找 包含 集合 元 素 的 第 一 个 簇 号 。 做 法 是 通过 在 V. summary 上 递归 调 
用 PROTO-vEB-MINIMUM 来 进行 ， 其 中 V. summary 是 一 个 proto-vEB (Wu) 结构 。 第 7 行将 这 个 簇 号 
赋值 给 变量 min-cluster。 如 果 和 集合 为 空 ， 那 么 递归 调用 返回 NIL, 第 9 行 返回 NIL。 如 果 集 合 非 空 ， 
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集合 的 最 小 元 素 就 存在 于 编号 为 min-cluster 的 能 中 。 第 10 行 中 的 递归 调用 是 查找 最 小 元 素 在 这 个 
APRIRE. BE P 11 行 由 簇 号 和 偏 移 量 来 构造 这 个 最 小 元 素 的 值 ， 并 返回 。 

虽然 查询 summary 信息 允许 我 们 快速 地 找到 包含 最 小 元 素 的 徐 , 但 是 由 于 这 个 过 程 需 要 2 
次 调用 proto-vEB (Vu) 结构 ， 所 以 在 最 坏 情 况 下 运行 时 间 超 过 Ollglgwu) 。 令 T(w 表 示 在 proto 
vEB(w) 结 构 上 的 PROTO-vEB-MINIMUM 操作 的 最 坏 情况 运行 时 间 ， 有 下 面 递 归 式 : 

Tu) = 2TWu) +00) (20. 3) 
再 一 次 利用 变量 替换 法 来 求解 此 递归 式 ， 令 m 二 lgu， 可 以 得 到 : 
T = 2T" #0) 
重 命名 SC(m) 二 T(2")， 得 到 : 
S(m) = 2S(m/2) + O(1) 

利用 主 方法 的 情况 1， 解 得 S(m) = O(Cm) 。 将 Sm) 换 回 为 T(u) ， 可 以 得 到 T) = T”) = 
S(m) = @(m) = 8(lgu) 。 因 此 ， 由 于 有 第 二 个 递归 调用 ，PROTO-vEB-MINIMUM 的 运行 时 间 
为 6(lgw)， 而 不 是 OUglgu). 

查找 后 继 

SUCCESSOR 的 运行 时 间 更 长 。 在 最 坏 情况 下 ， 它 需要 做 2 次 递归 调用 和 1 次 PROTO-vEB- 
MINIMUM 调用 。 过 程 PROTO-vEB-SUCCESSOR(V，z) 返 回 proto-vEB 结构 V PARF x 的 最 
小 元 素 ; 或 者 ， 如 果 V 中 不 存在 大 于 zz 的 元 素 ， 则 返回 NIL。 它 不 要 求 一 定 属于 该 集合 ， 但 
假定 0 寺 x 过 V. u. 

PROTO-vEB-SUCCESSOR(V, x) 

1 £f£V.0 == 2 
2 if z == 0 and V. A[1] == 1 

3 return 1 
4 else return NIL 
5 else offset = PROTO-vEB-SUCCESSOR(V. clusterLhigh(x) ], low(z)) 
6 if offset A NIL 
7 return index(high(z), offset) 
8 else succ-cluster = PROTO-vEB-SUCCESSOR(V. summary, high(x)) 
9 


if succ-cluster == NIL 
10 return NIL 
11 else offset = PROTO-vEB-MINIMUMC(V. cluster[ succ-cluster ]) 
12 return index(succ-cluster, offset) 


PROTO-vEB-SUCCESSOR 过 程 工 作 如 下 。 与 通常 一 样 ， 第 1 行 判 断 是 否 为 基础 情形 ， 第 2 一 4 
行 平凡 处 理 : 当 zx=0 和 A[1]==1 时 ， 才 能 在 proto-vEB(2) 结 构 中 找到 z 的 后 继 。 第 5 一 12 行 处 理 
递归 情形 。 第 5 行 在 zx 的 篮 内 查找 其 后 继 ， 并 将 结果 赋 给 变量 offset 。 第 6 行 判 断 这 个 簇 中 是 否 存 
fix aks 若 存 在 ,第 7 行 计算 并 返回 其 值 ， 否 则 ， 必 须 在 其 他 簇 中 查找 。 第 8 行将 下 一 个 非 空 
fe SRA ES succ-cluster， 并 利用 summary 信息 来 查找 后 继 。 第 9 行 判断 succ-cluster 是 否 为 NIL， 
WOR TA Jes SR ES A, 第 10 行 返回 NIL. WR succ-cluster 不 为 NL， 第 11 行将 编号 为 suc 
cluster WK 'PFS—T ICR IAA offset, FFAS 12 行 计算 并 返回 这 个 复 中 的 最 小 元 素 。 

在 最 坏 情况 下 ，PROTO-vEB-SUCCESSOR 在 proto-vEB (Vu) 结构 上 做 2 次 自身 递归 调用 和 
1 次 PROTO-vEB-MINIMUM 调用 。 所 以 ， 最 坏 情况 下 ，PROTO-vEB-SUCCESSOR 的 运行 时 间 
用 下 面 递 归 式 表示 : 

Tu) = 2TW/u) + OUgVu) = 2TCWz) + Ogu) 

可 以 用 求解 递归 式 (20. 1) 的 方法 来 得 出 上 面 递 归 式 的 解 T(u) = B(lgulglgu) . Ak, PROTO- 
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vEB-SUCCESSOR 是 渐 近 地 慢 于 PROTO-vEB-MINIMUM.。 

插入 元 素 

要 插入 一 个 元 素 ， 需 要 将 其 插入 相应 的 簇 中 ， 并 还 要 将 这 个 簇 中 的 summary 位 设 为 1。 过 程 
PROTO-vEB-INSERT(V，z) 将 二 插入 proto-vEB 结构 V P. 

PROTO-vEB-INSERT(V, x) 

1 ifV.u== 2 

2 V.A[z]= 1 

3 else PROTO-vEB-INSERT(V. cluster[high(z) ], low(z)) 

4 PROTO-vEB-INSERTCV. summary, high(x)) 


在 基础 情形 中 ,第 2 行 把 数组 A 中 的 相应 位 设 为 1。 在 递归 情形 中 ， 第 3 行 的 递归 调用 将 工 插 人 
FAME PE. FFAS 4 行将 该 簇 中 的 summary 位 置 为 1。 

因为 PROTO-vEB-INSERT 在 最 坏 情 况 下 做 2 次 递归 调用 ， 其 运行 时 间 可 由 递归 式 (20. 3) 来 
表示 。 所 以 ，PROTO-vEB-INSERT 的 运行 时 间 为 9(lgz) 。 

删除 元 素 

删除 操作 比 插入 操作 要 更 复杂 些 。 当 插入 新 元 素 时 ,插入 时 总 是 将 一 个 summary 位 置 为 1， 
然而 删除 时 却 不 总 是 将 同样 的 summary 位 置 为 0。 我 们 需要 判断 相应 的 簇 中 是 否 存在 为 1 的 位 。 
对 于 已 定义 的 proto-vEB 结构 ， 本 来 需要 检查 簇 内 的 所 有 Vu 位 是 否 为 1。 取而代之 的 是 ， 可 以 在 
proto-vEB 结构 中 添加 一 个 属性 xn， 来 记录 其 拥有 的 元 素 个 数 。 我 们 把 PROTO-vEB-DELETE 的 
实现 留 为 练习 20. 2-2 和 练习 20. 2-3。 

很 显然 ， 必 须要 修改 proto-vEB 结构 ， 使 得 每 个 操作 降 至 至 多 只 进行 一 次 递归 调用 。 下 一 节 
将 讨论 如 何 去 做 。 


练习 

20. 2-1 写 出 PROTO-vEB-MAXIMUM 和 PROTO-vEB-PREDECESSOR 过 程 的 伪 代 码 。 

20. 2-2” 写 出 PROTO-vEB-DELETE 的 伪 代 码 。 通 过 扫描 簇 内 的 相关 位 ， 来 更 新 相应 的 summary 
位 。 并 且 你 实现 的 伪 代 码 的 最 坏 情 况 运行 时 间 是 多 少 ? 

20.2-3 为 每 个 proto-vEB 结构 增加 属性 nxn， 以 给 出 其 所 在 集合 中 的 元 素 个 数 ， 然 后 写 出 
PROTO-vEB-DELETE 的 伪 代 码 ， 要 求 使 用 属性 n 来 确定 何 时 将 summary 重 置 为 0。 你 
的 伪 代 码 的 最 坏 情况 运行 时 间 是 多 少 ? 由 于 加 入 了 新 的 属性 >， 其 他 的 操作 要 改变 吗 ? 
这 些 变化 会 影响 到 它们 的 运行 时 间 吗 ? 

20. 2-4 ”修改 proto-vEB 结构 ， 以 支持 重复 关键 字 。 

20.2-5 修改 proto-vEB 结构 ， 以 支持 带 有 卫星 数据 的 关键 字 。 

20.2-6 ” 写 出 一 个 创建 proto-vEB (ww) 结构 的 伪 代 码 。 

20.2-7 WMH iR PROTO-vEB-MINIMUM 中 的 第 9 行 被 执行 ， 则 proto-vEB 结构 为 空 。 

20. 2-8 假设 设计 了 这 样 一 个 proto-vEB 结构 ， 其 中 每 个 签 数 组 仅 有 w“ 个 元 素 。 那 么 每 个 操作 
的 运行 时 间 是 多 少 ? 


20.3 van Emde Boas 树 及 其 操作 


前 一 节 中 的 proto-vEB 结构 已 经 接近 运行 时 间 为 Ollg lgw) 的 目标 。 其 缺陷 是 大 多 数 操作 要 
进行 多 次 递归 。 在 本 节 中 ， 我们 要 设计 一 个 类 似 于 proto-vEB 结构 的 数据 结构 ， 但 要 存储 稍 多 一 
些 的 信息 ， 由 此 可 以 去 掉 一 些 递 归 的 需求 。 

在 20. 2 节 ， 注 意 到 针对 全 域 大 小 zx 一 2 ， 其 中 上 为 整数 ， 此 假设 有 非常 大 的 局 限 性 ，x 的 可 
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能 值 为 一 个 非常 稀 朴 的 集合 。 因 此 从 这 点 上 ， 我 们 将 允许 全 域 大 小 u 为 任何 一 个 2 WE, mE 
Vu 不 为 整数 ( 即 为 2 的 奇数 次 寡 zx 一 2x+1 ， 其 中 某 个 整数 Ez>0) 时 ， 把 一 个 数 的 lgu 位 分 割 成 最 
高 lgw /21 位 和 最 低 Llgw) /2] 位 。 为 方便 起 见 ， 把 2 站 记 为 Vabu 的 上 平方 根 ) ，2w" 全 记 为 
Valu 的 下 平方 根 )， FRA u=Vu- Ya。 当 为 2 的 偶数 次 寡 (x 王 2， 其 中 民 为 某 个 整数 ) 时 ， 
有 和 u 二 Vu 二 Vu。 由 于 现在 允许 4 是 一 个 2 的 奇数 次 宕 ， 从 20. 2 节 中 重 定义 一 些 有 用 的 函数 : 

high(z) = |z/ Yu] 

low(x) = x mod Yu 

index(z,y) = x Yu+y 


20.3.1 van Emde Boas 树 

van Emde Boas 树 或 vEB 树 是 在 proto-vEB 结构 的 基础 上 修改 而 来 的 。 我 们 将 全 域 大 小 为 u 
的 VEB RHEA WEBu) 。 如 果 x 不 为 2 的 基础 情形 ， sa summary 指向 一 棵 vEB (Vu) $, 
而 且 数 组 cluster[0.. Mu 一 1] 指 向 uvEB (Vu) 
树 。 如 图 20-5 所 示 ， 一 棵 vEB 树 含 有 protovEB | — w 
结构 中 没有 的 两 个 属性 : u _ laste ARRAN 


。 min 存储 vEB 树 中 的 最 小 元 素 。 
。 max 存储 vEB 树 中 的 最 大 元 素 。 vEBWu) Se ee Se 
进一步 地 ， 存 储 在 min 中 的 元 素 并 不 出 现在 VaivEBWu)trees 


任何 递归 的 vEB (Ww) 树 中 ， 这 些 树 是 由 cluster 图 20-5 4 u>2 it, 一 棵 wEB(w) 树 中 的 信息 。 


它 人 结构 包含 大 小 为 的 全 域 、 元 素 min 
组 指向 中 
数组 指向 它们 的 。 因 此 在 EB 树 V 中 存储 的 em ck aur 


元 素 为 V. min 再 加 上 由 V. cluster[0. . tu— 1148 summary, URH vEBC/a) Be Yu 
向 的 递归 存储 在 vEB(Yz) 树 中 的 元 素 。 注 意 到 ， 个 指针 的 数组 cluster[0.. Yu-1] 
当 一 棵 vEB 树 中 包含 两 个 或 两 个 以 上 元 素 时 ， 我 们 以 不 同方 式 处 理 min Fl max: 存储 在 min 中 
的 元 素 不 出 现在 任何 簇 中 ， 而 存储 在 max 中 的 元 素 却 不 是 这 样 。 

因为 基础 情形 的 大 小 为 2， 这 样 一 棵 vEB(2) 树 中 的 相应 proto-vEB(2) 结 构 并 不 需要 数组 A。 
然而 ， 我 们 可 以 从 其 min 和 maz 属性 来 确定 它 的 元 素 。 在 一 棵 不 包含 任何 元 素 的 vEB 树 中 ,不 
管 全 域 的 大 小 zx Wij, min Fil max 均 为 NIL。 

图 20-6 显示 了 一 棵 vwEB(16) 树 V， 包 含 集合 {2，3，4，5，7，14，15}。 因 为 最 小 的 元 素 是 
2， 所 以 V. min SF 2, TH ABN high(2)=0, WR 2 也 不 会 出 现在 由 V. clusterL0j] 所 指向 的 
vEB(4) 树 中 : 注意 到 V. cluster[0]. min 等 于 3， 因 此 元 素 2 不 在 这 棵 YEB 树 中 。 类 似 地 ， 因 为 
V. clusterL0]. min 等 于 3， 而 且 V. cluster[0] 中 只 包含 元 素 2 和 3， 所 以 V. cluster[0] 内 的 vEB(2) 
RAZ 。 

min 和 mazx 属性 是 减少 vEB 树 上 这 些 操作 的 递归 调用 次 数 的 关键 。 这 两 个 属性 有 4 个 方面 
的 作用 : 

1. MINIMUM 和 MAXIMUM 操作 甚至 不 需要 递归 ， 因 为 可 以 直接 返回 min Fil max 的 值 。 

2. SUCCESSOR 操作 可 以 避免 一 个 用 于 判断 值 x 的 后 继 是 否 位 于 high) 中 的 递归 调用 。 这 
是 因为 z 的 后 继 位 于 xz 复 中 ， 当 上 且 仅 当 并 严格 小 于 z 簇 的 max。 对 于 PREDECESSOR il min 人情 
况 ， 可 以 对 照 得 到 。 

3. 通过 min Fl max 的 值 ， 可 以 在 常数 时 间 内 告知 一 棵 VEB 树 是 否 为 空 、 仅 含 一 个 元 素 或 两 
个 以 上 元 素 。 这 种 能 力 将 在 INSERT 和 DELETE 操作 中 发 挥 作 用 。 如 果 min M max 都 为 NIL， 
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那么 YEB 树 为 空 。 如 果 min Al max 都 不 为 NIL 但 彼此 相等 ， 那 么 vEB 树 仅 含 一 个 元 素 。 如 果 
min Ail max 都 不 为 NIL 且 不 等 ， 那 么 YEB 树 包含 两 个 或 两 个 以 上 元 素 。 

4. 如 果 一 棵 VEB 树 为 空 ， 那 么 可 以 仅 更 新 它 的 min Fl max 值 来 实现 插入 一 个 元 素 。 因 此 ， 
可 以 在 常数 时 间 内 向 一 棵 空 YEB 树 中 插入 元素。 类 似 地 ， 如 果 一 棵 YEB 树 仅 含 一 个 元 素 ， 也 可 
以 仅 更 新 min Fil max 值 在 常数 时 间 内 删除 这 个 元 素 。 这 些 性 质 可 以 缩减 递归 调用 链 。 











vE B(A) 4 | pep 0 | max 3 | 


0 i 
summary y cluster | 


vEBQ) vEB(2) 
u | u 

min 0 | min 

max eo max 
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min | 1| min 3G 


mx 加 | 


图 20-6 ”对 应 于 图 20-4 中 protorvEB 树 的 一 棵 vEB(16) 树 。 它 存储 集合 (2，3，4，5，7，14，15})。 和 斜 杠 
表示 NIL 值 。 存 储 在 VEB 树 中 的 min 属性 的 值 不 会 出 现在 它 的 任何 一 个 复 中 。 这 里 深 阴 影 与 图 


20-4 的 表示 一 样 
即使 全 域 大 小 为 2 的 奇数 次 宕 ，vEB 树 中 summary Fil cluster 大 小 的 差异 不 会 影响 操作 的 
i | 渐 近 运行 时 间 。 实 现 YEB 树 操作 的 递归 过 程 的 运行 时 间 可 由 下 面 递 归 式 来 刻画 : 


T) < Tu) +00) (20. 4) 
这 个 递归 式 与 式 (20. 2) 相 似 ， 我 们 用 类 似 的 方法 求解 它 。 令 m 一 lgu， 重 写 为 : 
TC < TARY OLY 
注意 到 ， 对 所 有 m2, [m/2K2m/3, ATLAS 
TQ") < TC™) +001) 
4 Sim) = T(2*) ， 上 式 重 写 为 : 
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Slm) < S(2m/3) + OQ) 
根据 主 方法 的 情况 2， 有 解 SC(m) = O( lgm) 。( 对 于 渐 近 解 ， 分 数 2/3 与 1/2 没有 任何 差别 ， 因 
为 应 用 主 方法 时 ， 得 到 log, 1 二 log, 1 二 0。) 于 是 我 们 有 
Tlu) = T(2") = S(m) = OUgm) = OU glgu) 

在 使 用 van Emde Boas 树 之 前 ， 一 定 要 知道 全 域 大 小 w， 这 样 才能 够 创建 一 个 大 小 合适 且 初 
始 为 空 的 van Emde Boas 树 。 正 如 思考 题 20-1 所 要 说 明 的 ， 一 棵 van Emde Boas 树 的 总 空间 需求 
是 O(x) ， 直 接地 创建 一 棵 空 vEB 树 需 要 OC(w) 时 间 。 相 反 ， 红 黑 树 的 建立 只 需 常 数 时 间 。 因 此 ， 
不 应 使 用 一 棵 van Emde Boas 树 用 于 仅仅 执行 少量 操作 的 情况 ， 因 为 建立 数据 结构 的 时 间 要 超过 
单个 操作 节省 的 时 间 。 这 个 缺点 并 不 严重 ， 我 们 通常 可 以 使 用 像 数 组 或 链表 这 样 简 单 的 数据 结 
构 来 存储 少量 数据 。 


20.3.2 van Emde Boas 树 的 操作 


现在 来 介绍 van Emde Boas 树 的 操作 。 与 原型 van Emde Boas 结构 所 做 的 一 样 ， 首 先 介绍 查 
询 操作 ， 然 后 是 INSERT 和 DELETE 操作 。 由 于 在 一 棵 vVEB 树 中 最 小 元 素 和 最 大 元 素 之 间 的 不 
对 称 性 ( 当 一 棵 VEB 树 至 少 包含 两 个 元 素 时 ， 最 小 元 素 不 出 现在 簇 中 ， 而 最 大 元 素 在 复 中 )， 我 
们 会 给 出 所 有 5 个 查询 操作 的 伪 代 码 。 正 如 原型 van Emde Boas 结构 上 的 操作 ， 这 里 操作 取 输 入 
BR V Maz, HV 是 一 棵 van Emde Boas H, r 是 一 个 元 素 ， 假 定 0 秋 z<V. u. 

查找 最 小 元 素 和 最 大 元 素 

因为 最 小 元 素 和 最 大 元 素 分 别 存储 在 min Fl max 属性 中 ， 所 以 两 个 操作 均 只 有 一 行 代码 ， 
耗费 常数 时 间 : 

vEB-TREE-MINIMUM(V) 

1 return V. min 


vEB-TREE-MAXIMUM(V) 


1 return V. max 

判断 一 个 值 是 否 在 集合 中 

过 程 vEB-TREE-MEMBER(V，z) 有 一 个 递归 情形 ， 其 与 PROTO-vVEB-MEMBER 中 的 类 似 ， 
然而 基础 情形 却 稍微 不 同 。 我 们 仍然 会 直接 检查 zx 是 否 等 于 最 小 元 素 或 者 最 大 元 素 。 由 于 vEB 
树 并 不 像 proto-vEB 结构 那样 存储 位 信息 ， 所 以 设计 vEB-TREE-MEMBER 返回 TRUE 或 
FALSE 而 不 是 0 或 1。 

vEB-TREE-MEMBER(V, x) 


1 if zx == V. min or x == V. max 
2 return TRUE 

3 elseif V.u == 2 

4 return FALSE 


5 else return VEB-TREE-MEMBERC(V. cluster[high(z) ], low(x)) 


第 1 行 判 断 工 是 否 与 最 小 元 素 或 者 最 大 元 素 相 等 。 如 果 是 ， 第 2 行 返 回 TRUE; 否则 , 第 3 
行 检查 执行 基础 情形 。 因 为 一 棵 vEB(2) 树 中 除了 min Fl max 中 的 元 素 外 ， 不 包含 其 他 元 素 ， 所 
以 如 果 为 基础 情形 ， 第 4 行 返回 FALSE。 另 一 种 可 能 就 是 不 是 基础 情形 ， 且 z 既 不 等 于 min 也 
不 等 于 raz， 这 时 由 第 5 行 中 的 递归 调用 来 处 理 。 

递归 式 (20.4) 表明 了 过 程 VEB-TREE-MEMBER 的 运行 时 间 ， 这 个 过 程 的 运行 时 间 
为 O(lglgz) 。 

查找 后 继 和 前 驱 

接 下 来 介绍 怎样 实现 SUCCESSOR 操作 。 回 想 过 程 PROTO-vEB-SUCCESSOR(V，z) 要 进 


318 。 ”第 五 部 分 高 级 数据 结构 


行 两 个 递归 调用 : 一 个 是 判断 z 的 后 继 是 否 和 zz 一 样 被 包含 在 z HRP; 如 果 不 包 含 ， 男 一 个 递 
归 调 用 就 是 要 找 出 包含 z+ 后继 的 簇 。 由 于 能 在 VEB 树 中 很 快 地 访 存 最 大 值 ， 这 样 可 以 避免 进行 
两 次 递归 调用 ， 并 且 使 一 次 递归 调用 或 是 徐 上 的 或 是 summary 上 的 ， 并 非 两 者 同时 进行 。 
vEB-TREE-SUCCESSOR(V, x) 
1 #V.u==2 


2 if z == 0 and V. max == 1 

3 return 1 

= else return NIL 

5 elseif V. min Æ NIL and z < V. min 

6 return V. min 

7 else mazx-low = vEB-TREE-MAXIMUM(V. cluster[high(x) }) 

8 if maz-low Æ NIL and low(z)< maz-low 

9 offset = vEB-TREE-SUCCESSOR(V. clusterL high(x) ], low(x)) 
10 return index(high(x), offset) 
11 else succ-cluster = vEB-TREE-SUCCESSOR(V. summary, high(z)) 
12 if succ-cluster == NIL 
13 return NIL 
14 else offset = vEB-TREE-MINIMUMC(V. cluster|_succ-cluster }) 
15 return index(succ-cluster, offset) 


这 个 过 程 有 6 个 返回 语句 和 几 种 情形 处 理 。 第 2 一 4 行 处 理 基 础 情形 ， 如 果 查 找 的 是 0 的 后 
继 并 且 1 在 元 素 2 的 集合 中 ， 那 么 第 3 行 返回 1; 否则 第 4 行 返 回 NIL. 

如 果 不 是 基础 情形 ， 下 面 第 5 行 判断 z 是 否 严 格 小 于 最 小 元 素 。 如 果 是 ， 那 么 第 6 行 返回 这 
个 最 小 元 素 。 

如 果 进 入 第 7 行 ， 那 么 不 属于 基础 情形 ， 并且 x 大 于 或 等 于 vEB 树 V 中 的 最 小 元 素 值 。 第 7 
行 把 z 簇 中 的 最 大 元 素 赋值 给 mazx-liow。 如 果 工 簇 存在 大 于 xz 的 元 素 ， 那 么 可 确定 x 的 后 继 就 在 
rie. BS 行 测试 这 种 情况 。 如 果 z 的 后 继 在 z EN, BABI 行 确定 z HR PH 
置 ， 第 10 行 采用 与 PROTO-vEB-SUCCESSOR 第 7 行 相同 的 方式 返回 后 继 。 

如 果 zz 大 于 等 于 xz 簇 中 的 最 大 元 素 ， 则 进入 第 11 行 。 在 这 种 情况 下 ， 第 11 一 15 行 采 用 与 
PROTO-vEB-SUCCUSSOR 中 第 8 一 12 行 相同 的 方式 查找 r 的 后 继 。 

递归 式 (20. 4) 为 vVEB-TREE-SUCCESSOR 的 运行 时 间 ， 这 很 容易 明白 。 根 据 第 7 行 测试 的 
结果 ， 过 程 在 第 9 行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 或 者 第 11 行 (在 全 域 大 小 为 Vi 的 vEB 树 上 ) 
对 自身 进行 递归 调用 。 在 两 种 情况 中 ， 一 次 递归 调用 是 在 全 域 大 小 至 多 为 Yi 的 vEB 树 上 进行 的 。 
过 程 的 剩余 部 分 ， 包括 调用 VEB-TREE-MINIMUM 和 vEB-TREE-MAXIMUM, 耗费 时 间 为 
OQ) 。 所 以 vVEB-TREE-SUCCESSOR 的 最 坏 情况 运行 时 间 为 O(lg lgu) 。 

vEB-TREE-PREDECESSOR 过 程 与 vEB-TREE-SUCCESSOR 是 对 称 的， 但 是 多 了 一 种 附加 情况 : 

vEB-TREE-PREDECESSOR(V, x) 

1 ifV.u==2 
2 if z == 1 and V. min == 0 
3 return 0 
4 else return NIL 
5 elseif V. max Æ NIL and x > V. max 
6 return V. max 
7 else min-low = vEB-TREE-MINIMUM(V. cluster[ high(z) ]) 
8 if min-low ~ NIL and low(z) > min-low 
9 offset = vEB-TREE-PREDECESSOR(V. cluster[high(z) ], low(z)) 


第 20 章 van Emde Boas 树 。 319 


10 return index(high(x), offset) 

11 else pred-cluster = vEB-TREE-PREDECESSOR(V. summary, high(z)) 
12 if pred-cluster == NIL 

13 if V. min ~ NIL and x > V. min 

14 return V. min 

15 else return NIL 

16 else offset = vEB-TREE-MAXIMUMC(V. cluster[ pred-cluster |) 
il return index( pred-cluster, offset) 


第 13 一 14 行 就 是 处 理 这 个 附加 情况 。 这 个 附加 情况 出 现在 z PORTS AEE. MANZE x RE. 
在 vEB-TREE-SUCCESSOR F, WMR r 的 后 继 不 在 xz 簇 中 ， 那 么 断定 它 一 定 在 一 个 更 高 编号 的 
ep. (AFUE z 的 前 驱 是 vEB 树 V 中 的 最 小 元 素 ， 那 么 后 继 不 存在 于 任何 一 个 簇 中 。 第 13 行 
就 是 检查 这 个 条 件 ， 而 且 第 14 行 返回 最 小 元 素 。 

与 vEB-TREE-SUCCESSOR 相 比 ， 这 个 附加 情况 并 不 影响 VEB-TREE-PREDECESSOR 的 渐 
近 运 行 时 间 ， 所 以 它 的 最 坏 情况 运行 时 间 为 O(lglgw) 。 

插入 一 个 元 素 

现在 讨论 如 何 向 一 棵 vVEB 树 中 插入 一 个 元 素 。 回 想 PROTO-vEB-INSERT 操作 进行 两 次 
递归 调用 : 一 次 是 插入 元 素 ， 另 一 次 是 将 元 素 的 簇 号 插 和 人 summary 中 。 然 而 vEB-TREE- 
INSERT 只 进行 一 次 递归 调用 。 怎 样 才 能 做 到 只 用 一 次 递归 呢 ? 当 插 和 人 一 个 元 素 时 ， 在 操作 
的 簇 中 要 么 已 经 包含 另 一 个 元 素 ， 要 么 不 包含 任何 元 素 。 如 果 簇 已 包含 男 一 个 元 素 ， 那 么 入 
编号 已 存在 于 summary 中 ， 因 此 我 们 不 需要 进行 递归 调用 。 如 果 簇 不 包含 任何 元 素 ， 那 么 
即将 插入 的 元 素 成 为 簇 中 唯一 的 元 素 ， 所 以 我 们 不 需要 进行 一 次 递归 来 将 元 素 插 入 一 棵 空 
vEB 树 中 : 

vEB-EMPTY-TREE-INSERT(V, x) 

1 V.min = x 

2 V.max =x 

利用 上 面 这 个 过 程 ， 这 里 给 出 YEB-TREE-INSERT(V，z) 的 伪 代 码 ， 假 设 z 不 在 vVEB 树 V 
所 表示 的 集合 中 : 


vEB-TREE-INSERT(V, x) 


1 if V. min == NIL 
2 vEB-EMPTY-TREE-INSERT(V, x) 
3 else if x < V. min 
4 exchange x with V. min 
5 if V.u>2 
6 if VEB-TREE-MINIMUM(V. cluster[high(x) ]) == NIL 
7 vEB-TREE-INSERT(V. summary, high(x)) 
8 vEB-EMPTY-TREE-INSERTC(V. cluster high(z) ], low(x)) 
9 else VEB-TREE-INSERTC(V. cluster[high(z) ], low(x)) 
10 if z > V. max 
11 V. maz = x 


这 个 过 程 的 工作 如 下 。 第 1 行 判 断 V 是 否 是 一 棵 空 vEB 树 ， 如 果 是 ， 第 2 行 处 理 这 种 比较 
简单 的 情况 。 第 3~11 行 假定 V 非 空 ， 因 此 某 个 元 素 会 被 插入 V 中 的 一 个 簇 中 。 而 这 个 元 素 不 
一 定 是 通过 参数 传递 进来 的 元 素 x. WR x 二 min， 如 第 3 行 ， 那么 需要 作为 新 的 min。 然 而 旧 
的 min 元 素 也 应 该 保留 ， 所 以 旧 的 min 元 素 需 要 被 插入 V 某 个 徐 中 。 在 这 种 情况 下 ,第 4 行 对 x 
和 min 互 换 ， 这 样 将 旧 的 min 元 素 插入 V EME. 
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仅 当 V 不 是 一 棵 基础 情形 的 YEB 树 时 ， 第 6 一 9 行 才 会 被 执行 。 第 6 行 判断 RERNE. 
如 果 是 ,第 7 行将 的 簇 号 插入 summary 中 ， 第 8 行 处 理 将 z 插 入 空 徐 中 的 这 种 简单 情况 。 如 
果 工 篮 当 前 非 空 ， 则 第 9 行将 二 插 和 人 它 的 篮 中 。 在 这 种 情况 ， 无 需 更 新 summary， 因 为 z RE 
已 经 存在 于 summary 中 。 

最 后 ， 如 果 >mar, BAB 1O~11 FE max, HERB, WIR V 是 一 棵 非 空 的 基础 情形 
下 的 vVEB 树 ， 那 么 第 3 一 4 行 和 第 10~11 行 相应 地 更 新 min Al max, 

这 里 ， 我 们 也 能 容易 明白 VEB-TREE-INSERT 的 运行 时 间 可 以 用 递归 式 (20.4) 表 示 。 根 据 
第 6 行 的 判断 结果 ,或 者 执行 第 7 行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 中 的 递归 调用 ,或 者 执行 第 9 
行 (在 全 域 大 小 为 Vu 的 vEB 树 上 ) 中 的 递归 调用 。 在 两 种 情况 下 ， 其 中 一 个 递归 调用 是 在 全 域 大 
小 至 多 为 Va 的 vEB 树 上 。 由 于 VEB-TREE-INSERT 操作 的 剩余 部 分 运行 时 间 为 0(1) ， 所 以 整 
个 运行 时 间 为 Ol(lglgw) 。 

删除 一 个 元 素 

下 面 将 介绍 如 何 从 vEB 树 删除 一 个 元 素 。 过 程 YEB-TREE-DELETE(V，z) 假 设 z 是 vVEB 树 
所 表示 的 集合 中 的 一 个 元 素 。 


vEB-TREE-DELETE(V, x) 


1 if V. min == V. max 


2 V. min = NIL 
3 V. max = NIL 
4 elseif V.u == 2 
5 if z == 0 
6 V.min = 1 
7 else V. min = 0 
8 V. max = V. min 
9 else if x == V. min 
10 first-cluster = vVEB-TREE-MINIMUMC(V. summary) 
11 x = index( first-cluster, 
vEB-TREE-MINIMUM(V. cluster[ first-cluster })) 
12 V.min = x 
13 vEB-TREE-DELETE(V. cluster[high(x) ], low(x)) 
14 if VEB-TREE-MINIMUM(V. cluster[high(z) ]) == NIL 
15 vEB-TREE-DELETE(V. summary, high(x)) 
16 if z == V. max 
17 summary-max = vVEB-TREE-MAXIMUMC(V. summary) 
18 if summary-max == NIL 
19 V. max = V.min 
20 else V. max = index(summary-mazx, 
vEB-TREE-MAXIMUMC(V. cluster summary-maz })) 
21 elseif r == V. max 
22 V. max = index(high(z), 


vEB-TREE-MAXIMUM(V. cluster[ high(x) ])) 


vEB-TREE-DELETE 过 程 工作 如 下 。 如 果 vEB 树 只 包含 一 个 元 素 ， 那 么 很 容易 删除 这 个 
元 素 ， 如 同 将 一 个 元 素 插 入 一 棵 空 YEB 树 中 一 样 : RAE min Fil max 为 NIL。 第 1 一 3 行 处 理 这 
种 情况 。 和 否则 ，V 至 少 有 两 个 元 素 。 第 4 行 判 断 V 是 否 为 一 棵 基础 情形 的 vVEB 树 ， 如 果 是 ， 第 
5 一 8 行 置 min Fl max 为 另 一 个 留 下 的 元 素 。 

第 9 一 22 KV 包含 两 个 或 两 个 以 上 的 元 素 ， 并 且 wu 宇 4。 在 这 种 情况 下 ， 必 须 从 一 个 簇 
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中 删除 元 素 。 然 而 从 一 个 簇 中 删除 的 元 素 可 能 不 一 定 是 zx， 这 是 因为 如 果 r EF min, 4 rg 
除 后 ， 簇 中 的 某 个 元 素 会 成 为 新 的 min， 并 且 必 须 从 簇 中 删除 这 个 元 素 。 如 果 第 9 行 得 出 正 是 这 
种 情况 ， 那 么 第 10 行将 变量 first-cluster 置 为 除了 min 外 的 最 小 元 素 所 在 的 徐 号 ， 并且 第 11 行 
置 z 为 这 个 簇 中 最 小 元 素 的 值 。 在 第 12 行 中 ， 这 个 元 素 成 为 新 的 min， 由 于 已 经 置 为 它 的 值 ， 
所 以 这 是 要 从 簇 中 删除 的 元 素 。 

当 执 行 到 第 LAN, BEAR PMR c, PE r 是 从 参数 传递 而 来 的 ， 还 是 z 是 成 为 新 的 
min 元 素 。 第 13 MRE PUR x. $ 14 行 判 断 删除 后 的 簇 是 否 变 为 空 ， 如 果 是 ， 则 第 15 行 要 将 
MES M summary 中 移 除 。 在 更 新 summary 之 后 ， 可 能 还 要 更 新 mar, P 16 行 判断 是 否 正 在 
删除 V 中 的 最 大 元 素 ， 如 果 是 ， 则 第 17 行将 编号 为 最 大 的 非 空 艇 编号 赋值 给 变量 summary- 
maz, (FA vEB-TREE-MAXIMUM(V. summary) 执 行 是 因为 已 经 在 V. summary 上 递归 调用 了 
vEB-TREE-DELETE， 因 此 有 必要 的 话 ，V. summary. maz 已 被 更 新 。) 如 果 所 有 V HBAS, 
那么 V PRAKWICR AA min; 第 18 行 检查 这 种 情况 ， 第 19 行 相 应 地 更 新 mar B, $ 20 
行 把 编号 最 高 徐 中 的 最 大 元 素 赋 值 给 max。( 如 果 这 个 簇 是 已 删除 元 素 所 在 的 徐 ， 再 依靠 第 13 行 
中 的 递归 调用 完成 簇 中 的 max EIE.) 

最 后 来 处 理由 于 工 被 删除 后 ，z 得 不 为 空 的 情况 。 虽 然 在 这 种 情况 下 不 需要 更 新 summary, 
但 是 要 更 新 mar, P 21 行 判断 是 否 为 这 种 情况 ， 如 果 是 ， 第 22 行 更 新 az( 再 依靠 递归 调用 来 
HIE max). 

现在 来 说 明 VEB-TREE-DELETE 的 最 坏 情 况 运 行 时 间 为 OU glgu) 。 初 看 起 来 ， 可 能 认为 递 
归 式 (20. 4) 不 适用 ， 因 为 YEB-TREE-DELETE 会 进行 两 次 递归 调用 : 一 次 在 第 13 行 ， 另 一 次 在 
第 15 行 。 虽 然 过 程 可 能 两 次 递归 调用 都 执行 ， 但 是 要 看 看 实际 发 生 了 什么 。 为 了 第 15 行 的 递归 
调用 ， 第 14 行 必须 确定 x 簇 为 空 。 当 在 第 13 行进 行 递归 调用 时 ， 如 果 z 是 其 复 中 的 唯一 元 素 ， 
此 为 z+ 簇 为 空 的 唯一 方式 。 然 而 如 果 z 是 其 簇 中 的 唯一 元 素 ， 则 递归 调用 耗费 的 时 间 为 O(1) ， 
因为 只 执行 第 1~3 行 。 于 是 ， 有 了 两 个 互 斥 的 可 能 : 

。 第 13 行 的 递归 调用 占用 常数 时 间 。 
。 第 15 行 的 递归 调用 不 会 发 生 。 

无 论 哪 种 情况 ，vEB-TREE-DELETE 的 运行 时 间 仍 可 用 递归 式 (20.4) 表 示 ， 因 此 最 坏 情况 

运行 时 间 为 O(g lgw) 。 


练习 


20.3-1 修改 vEB 树 以 支持 重复 关键 字 。 

20.3-2 ”修改 vEB 树 以 支持 带 有 卫星 数据 的 关键 字 。 

20.3-3” 写 出 创建 空 van Emde Boas 树 过 程 的 伪 代 码 。 

20.3-4 如果 调用 VEB-TREE-INSERT 来 插入 一 个 已 包含 在 vEB 树 中 的 元 素 ， 会 出 现 什么 情况 ? 
如 果 调 用 VEB-TREE-DELETE 来 删除 一 个 不 包含 在 vEB 树 中 的 元 素 ， 会 出 现 什么 情况 ? 
解释 这 些 函 数 为 什么 有 相应 的 运行 状况 ? 怎样 修改 VEB 树 和 操作 ， 使 得 常数 时 间 内 能 判 
断 一 个 元 素 是 否 在 其 中 ? 

20.3-5 ”假设 我 们 创建 一 个 包含 w* 个 簇 (而 不 是 全 域 大 小 为 Vu 的 Vi 个 簇 ) 的 vEB Bt, A ME 
的 全 域 大 小 为 w-*， 其 中 >1， 而 且 为 常数 。 如 果 恰 当地 修改 这 些 操 作 ， 则 这 些 操 
作 的 运行 时 间 是 多 少 ? 为 了 分 析 方 便 ， 假 设 w* 和 wi 总 是 为 整数 。 

20.3-6 ”创建 一 个 全 域 大 小 为 u 的 vEB R, RE Ou) 的 运行 时 间 。 假 设 我 们 想得到 确切 时 间 。 
如 果 vEB 树 中 每 个 操作 的 摊 还 时 间 为 OClglgu) ， 那么 最 小 的 操作 数 ”是 多 少 ? 
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20.1 (van Emde Boas 树 的 空间 需求 ) 这 个 问题 讨论 van Emde Boas 树 的 空间 需求 ， 并 给 出 一 
种 修改 数据 结构 的 方法 ， 使 其 空间 需求 依赖 元 素 个 数 nx， 而 不 是 全 域 大 小 4。 为 简单 起 见 ， 
假设 Vu 总 是 为 整数 。 
a. 解释 为 什么 下 面 的 递归 式 表 示 全 域 大 小 为 的 van Emde Boas 的 空间 需求 P) 。 
Pu) = Wut 1)PWu) + 0Wu) (20. 5) 
b. 证 明 : ŽAR. 5) 的 解 为 Pu) =0u). 
为 了 减少 空间 需求 ， 定 义 一 棵 缩减 空间 的 van Emde Boas 树 (reduced-space van Emde 
Boas tree) ， 或 RS-vEB 树 。RS-vEB 树 是 一 棵 vEB 树 ， 但 做 出 了 如 下 修改 : 

。 属性 V. cluster 并 不 是 一 个 指向 全 域 大 小 为 Vu 的 vEB 树 的 简单 指针 数组 ， 而 是 一 个 散 
列表 ( 见 第 11 章 )， 以 动态 表 的 方式 来 存储 ( 见 17.4 节 )。 相 应 于 V. cluster 的 数组 版 
本 ， 而 散 列 表 存储 指向 全 域 大 小 为 Vu 的 RS-vEB 树 的 指针 。 于 是 要 查找 第 i 个 徐 ， 就 在 
散 列表 中 查找 关键 字 i， 所 以 可 以 用 在 散 列表 中 的 简单 搜索 找到 第 i Mi. 

。 BONAR ata MES MET, CERO HIS RTS, 返回 NIL， 表 示 这 个 簇 为 空 。 

。 如 果 所 有 的 簇 为 空 ， 则 属性 V. summary 为 NIL; BW, V. summary 指向 全 域 大 小 为 
Wu 的 RS-vEB 树 。 

因为 散 列表 使 用 动态 表 来 实现 ， 所 以 需要 的 空间 与 非 空 簇 的 数量 成 正比 。 

当 需 要 向 空 RS-vEB 树 插 入 一 个 元 素 时 ， 调 用 下 面 的 过 程 创 建 RS-vEB 树 ， 其 中 参数 

是 RSvEB 树 的 全 域 大 小 : 

CREATE-NEW-RS-vEB-TREE(z) 

1 allocate a new vEB tree V 

2 Viu=u 

3 V.min = NIL 

4 V.maz = NIL 

5 V. summary = NIL 

6 create V. cluster as an empty dynamic hash table 
7 return V 

c 修改 vVEB-TREE-INSERT 过 程 的 伪 人 代码， 来 形成 RS-vEB-TREE-INSERT(V，x) 的 伪 代 
码 ， 实 现 将 z 插 入 RSvEB 树 V 中 ， 并且 调用 相应 的 CREATE_-NEW-RS vEB-TREE。 

d. 修改 vEB-TREE-SUCCESSOR 过 程 的 伪 代 码 ， 来 形成 RS-vEB-TREE-SUCCESSOR 
V, DRAR, KEE r 在 RS-vEB 树 V 中 的 后 继 , REWR 2 HEV 中 无 后 继 ， 
则 返回 NIL。 

e 在 简单 均匀 散 列 的 假设 下 ,证明 : 你 实现 的 RS-vEB-TREE-INSERT 和 RS-vEB-TREE- 
SUCCESSOR 的 期 望 运行 时 间 为 O(lglgw) 。 

f. 假设 从 不 删除 VEB 树 中 的 元 素 , 证 明 : RS-vEB 树 结构 的 空间 需求 为 O(n) ， 其 中 nn 是 
存储 在 RS-vEB 树 中 的 实际 元 素 个 数 。 

g. 相 比 VEB 树 ，RS-vEB 树 具有 另 一 个 优点 : 创建 树 的 时 间 较 少 。 创 建 一 棵 空 RS-vEB ff 
需要 多 长 时 间 ? 

20-2 (yfast 检索 树 ) ”本题 讨论 的 是 D. Willard 的 y-fast 检索 树 ， 它 与 van Emde Boas 树 类 似 。 


一 个 全 域 大 小 为 u 的 y-fast 检索 树 的 MEMBER, MINIMUM, MAXIMUM, 
PREDECESSOR 和 SUCCESSOR 操作 的 最 坏 情 况 运行 时 间 为 Odg lgu) 。INSERT 和 
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DELETE 操作 的 摊 还 时 间 为 O(lg lgu) 。 像 缩减 空间 的 van Emde Boas 树 一 样 ( 见 思考 题 
20-1), y-fast 检索 树 存储 n 个 元 素 的 空间 仅 需 要 O(n) 空间 。y-fast 检索 树 的 设计 依赖 于 完 
全 散 列 ( 见 11. 5 节 )。 

假设 创建 一 个 完全 散 列 表 作 为 初步 的 结构 ， 该 散 列 表 中 不 仅 包 含 动态 集合 中 的 每 个 元 
素 ， 而 且 还 包含 这 些 元 素 的 二 进 制 前 缀 。 例 如 ， 如 果 u=16, A lgx 一 4， 并 且 1513 在 
集合 中 ， 由 于 13 的 二 进 制 表示 为 1101， 因 此 完全 散 列 表 应 含有 串 1、11、110 和 1101。 除 
了 该 散 列表 外 ， 还 要 创建 一 个 该 集合 当前 元 素 以 升序 排列 的 双向 链表 。 
a 这 个 数据 结构 的 空间 需求 是 多 少 ? 
如 何在 OC) 时 间 内 完成 MINIMUM 和 MAXIMUM 操作 ? 如 何在 O(lglgz) 时 间 内 完成 
MEMBER, PREDECESSOR 和 SUCCESSOR 操作 ? 如 何在 O(lg u) 时 间 内 完成 
INSERT 和 DELETE 操作 ? 

为 了 将 空间 需求 减少 到 Om ， 我 们 对 数据 结构 做 出 如 下 修改 : 
将 n 个 元 素 分 成 大 小 为 lgu 的 n/ lgu 个 组 。( 假 设 lgu 可 以 整除 n。) 第 一 组 由 最 小 的 lgu 
个 元 素 组 成 ， 第 二 组 由 下 面 lew 个 最 小 的 元 素 组 成 ， 依 此 类 推 。 
对 每 个 组 都 设置 一 个 “代表 ”。 第 ;组 的 代表 至 少 与 组 里 的 最 大 元 素 一 样 大 ， 而 且 比 第 
i 十 1 组 的 最 小 元 素 要 小 。( 最 后 一 组 的 代表 可 以 是 最 大 的 可 能 元 素 u 一 1。) 注 意 ， 代 表 可 
能 是 一 个 值 并 不 包含 在 集合 中 。 
把 每 组 的 gu 个 元 素 存储 到 一 个 平衡 二 又 搜索 树 中 ， 比 如 红 黑 树 。 每 个 代表 指向 它 所 
在 组 中 的 平衡 二 又 搜索 树 ， 而 且 每 个 平衡 二 又 搜索 树 指 向 它 的 代表 。 
完全 散 列 表 仅 存 储 这 些 代 表 ， 也 是 用 双向 链表 按 升序 排列 来 存储 。 
我 们 称 这 种 结构 为 一 个 y-fast 检索 树 。 

ce 说 明 一 个 y-fast 检索 树 存 储 n 个 元 素 的 空间 需求 仅 为 O(n) 。 
d. 说 明 使 用 yfast 检索 树 ， 如 何在 O(lglgz) 时 间 内 完成 MINIMUM 和 MAXIMUM 操作 ? 
e 说 明 如 何在 Ol(lg lgu) 时 间 内 完成 MEMBER 操作 ? 
f. 
g 
h. 


豆 


说 明 如 何在 OU glgu) 时 间 内 完成 PREDECESSOR 和 SUCCESSOR 操作 ? 

解释 为 什么 INSERT 和 DELETE 操作 要 耗费 OC g leu) 时 间 ? 

在 yfast 检索 树 中 每 组 需要 精确 的 leu 个 元 素 存 储 ， 试 说 明 如 何 放松 这 个 存储 需求 来 保 
证 在 OUglgu) 摊 还 时 间 内 完成 INSERT 和 DELETE 操作 ， 并 同时 不 影响 其 他 操作 的 渐 
近 运 行 时 间 。 


本 章 注 记 

本 章 的 数据 结构 是 以 P. van Emde Boas 命名 的 ， 他 于 1975 年 提出 了 初步 的 想法 [339]。 以 后 
van Emde Boas[ 340] 和 van Emde Boas, Kaas 和 Zijlstra[ 341] 的 数 篇 论文 精练 了 该 想法 并 发 表 。 
随后 Mehlhorn 和 NaherL252] 进 行 了 扩展 ， 应 用 到 素数 大 小 的 全 域 上 。Mehlhorn 的 著作 [249] 包 
含 了 与 本 章 略 为 不 同 的 van Emde Boas 树 的 实现 方法 。 

利用 van Emde Boas 树 的 思想 ，Dementiev 等 人 [83] 开 发 了 一 个 非 递归 的 三 层 搜索 树 ， 并 在 
实验 中 要 快 于 van Emde Boas 树 的 实现 。 

Wang 和 LinL347] 设 计 了 一 个 van Emde Boas 树 的 硬件 流水 版 本 ， 这 个 版 本 使 得 每 个 操作 均 
有 常数 的 摊 还 运行 时 间 ， 其 中 使 用 了 O(lglgz) 步 流水 过 程 。 

Pătraşcu 和 ThorupL273，274] 得 到 了 查找 前 驱 操 作 的 一 个 下 界 ， 并 说 明了 van Emde Boas 的 
这 个 操作 是 最 优 的 ， 即 使 允许 引入 随机 化 方法 仍 是 最 优 的 。 
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用 于 不 相交 集合 的 数据 结构 


一 些 应 用 涉及 将 n 个 不 同 的 元 素 分 成 一 组 不 相交 的 集合 。 这 些 应 用 经 常 需要 进行 两 种 特别 的 
操作 : 寻找 包含 给 定 元 素 的 唯一 集合 和 合并 两 个 集合 。 本 章 将 介绍 如 何 维护 一 种 数据 结构 来 实 
现 这 些 操 作 。 

21. 1 节 描 述 不 相交 集合 数据 结构 所 支持 的 各 种 操作 ， 并 给 出 一 个 简单 的 应 用 。 在 21.2 节 
中 ， 我 们 可 以 看 到 使 用 一 种 简单 链表 结构 来 实现 不 相交 集合 。21. 3 节 给 出 一 种 使 用 有 根 树 表 示 
的 更 有 效 方法 。 使 用 树 表示 的 运行 时 间 理 论 上 好 于 线性 时 间 ， 然 而 对 于 所 有 的 实际 应 用 它 却 是 
线性 的 。21. 4 节 定 义 并 讨论 一 个 增长 非常 快 的 函数 和 其 增长 极 慢 的 逆 函 数 ， 这 种 道 函数 应 用 在 
基于 树 实现 上 的 各 种 操作 的 运行 时 间 中 。 然 后 ， 应 用 复杂 的 摊 还 分 析 方 法 ， 证 明 一 个 近似 线性 运 
行 时 间 的 上 界 。 


21.1 不 相交 集合 的 操作 

一 个 不 相交 集合 数据 结构 (disjoint-set data structure) 维 护 了 一 个 不 相交 动态 集 的 集合 二 
{S11，S;，…，S;:}。 我 们 用 一 个 代表 (representative) 来 标识 每 个 集合 ， 它 是 这 个 集合 的 某 个 成 
员 。 在 一 些 应 用 中 ， 我 们 不 关心 哪个 成 员 被 用 来 作为 代表 ， 仅 仅 关心 的 是 2 次 查询 动态 集合 的 代 
表 中 ， 如 果 这 些 查询 没有 修改 动态 集合 ， 则 这 两 次 查询 应 该 得 到 相同 的 答案 。 其 他 一 些 应 用 可 能 
会 需要 一 个 预先 说 明 的 规则 来 选择 代表 ， 比 如 选择 这 个 集合 中 最 小 的 成 员 (当然 假 设 集合 中 的 元 
素 能 被 比较 次 序 ) 。 

如 同 我 们 已 经 探讨 过 的 动态 集合 的 其 他 实现 ， 用 一 个 对 象 表示 一 个 集合 的 每 个 元 素 。 设 = 
表示 一 个 对 象 ， 我 们 希望 支持 以 下 三 个 操作 : 

MAKE-SET(x): 建立 一 个 新 的 集合 ， 它 的 唯一 成 员 ( 因 而 为 代表 ) 是 zx。 因 为 各 个 集合 是 不 
相交 的 ， 故 x 不 会 出 现在 别 的 某 个 集合 中 。 

UNION(z, y): 将 包含 x 和 y 的 两 个 动态 集合 (表示 为 S 和 S,) 合 并 成 一 个 新 的 集合 ， 即 
这 两 个 集合 的 并 集 。 假 定 在 操作 之 前 这 两 个 集合 是 不 相交 的 。 虽 然 UNION 的 很 多 实现 中 特别 地 
选择 S, KS, 的 代表 作为 新 的 代表 ， 然 而 结果 和 集 的 代表 可 以 是 SUS, 的 任何 成 员 。 由 于 我 们 要 
求 各 个 集合 不 相交 ， 故 要 “消除 ” 原 有 的 集合 S 和 S,， 即 把 它们 从 中 删除 。 实 际 上 ， 我 们 经 常 
把 其 中 一 个 集合 的 元 素 并 入 另 一 个 集合 中 ， 来 代替 删除 操作 。 

FIND-SET(x): 返回 一 个 指针 ， 这 个 指针 指向 包含 x 的 (唯一 ) 集 合 的 代表 。 

贯穿 本 章 ， 我 们 使 用 两 个 参数 来 分 析 不 相交 集合 数据 结构 的 运行 时 间 : 一 个 参数 是 n， 表 示 
MAKE-SET 操作 的 次 数 ; 另 一 个 是 m， 表 示 MAKE-SET、UNION fil FIND-SET 操作 的 总 次 数 。 
因为 各 个 集合 是 不 相交 的 ， 所 以 每 个 UNION 操作 减少 一 个 集合 。 因 此 ，n 一 1 次 UNION 操作 
后 ， 只 有 一 个 集合 留 下 来 。 也 就 是 说 ，UNION 操作 的 次 数 至 多 是 n 一 1。 也 要 注意 到 ， 由 于 
MAKE-SET 操作 被 包含 在 总 操作 次 数 m 中 ， 因 此 有 man, LEERME n^ MAKE-SET 操作 
总 是 最 先 执行 的 n PRE. 

不 相交 集合 数据 结构 的 一 个 应 用 

不 相交 集合 数据 结构 的 许多 应 用 之 一 是 确定 无 向 图 的 连通 分 量 ( 见 B.4 节 )。 例 如 ， 
图 21-1(a) 显 示 了 一 个 包含 4 个 连通 分 量 的 图 。 

下 面 的 CONNECTED-COMPONENTS 过 程 使 用 不 相交 集合 操作 来 计算 一 个 图 的 连通 分 量 。 一 
日 CONNECTED-COMPONENTS 预 处 理 了 该 图 ， 过 程 SAME-COMPONENT 就 回答 两 个 顶点 是 否 





在 同一 个 连通 分 量 的 询问 . (在 下 面 的 伪 代 码 中 ， 图 G 的 顶点 集 用 G VER, WRH G. Em.) 
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(a) 





处 理 的 边 不 相交 集合 组 

初始 集合 {a} {b} {ce} {d} fe} 
(6,4) {a} {b.d} {c} {e} 
(e.g) {a} {b.d} {c} {e.g} 
(a,c) {a,c} {b.d} {e.g} 
(h,i) {a,c} {b.d} {e.g} 
(a,b) {a,b,c.d} {e.g} 
(ef) {a,b,c,d} fe, fg} 
(b,c) {a,b,c,d} fe, fg} 





图 21-1 (a) 一 个 包含 4 个 连通 分 量 的 图 : {a, b, Cy d}, {e, 


(b) 


v 
f 


S33 


ig) {h} 

{g} {h 
{h} 
th} 
{h.i} 
{h.i} 
{h.i} 
{h.i} 


从， 让 ，{ 放 。(b) 处 理 每 条 边 后 的 不 相交 集 的 集合 


CONNECTED-COMPONENTS(G) 
1 for each vextex vEG. V 


2 MAKE-SET(v) 

3 for each edge(u,v) EG. E 

4 if FIND-SET (u) AFIND-SET(v) 
5 UNION(u, v) 


SAME-COMPONENT (u, v) 

1 if FIND-SET(u)== FIND-SET(v) 
2 return TRUE 

3 else return FALSE 


这 u) 
D U} 
D y 
D v 
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W CONNECTED-COMPONENTS 开始 时 ， 将 每 个 顶点 v 放 在 它 自己 的 集合 中 。 然 后 ， 对 
FERU, v), EHBE u Mou 的 集合 进行 合并 。 由 练习 21. 1-2， 处 理 完 所 有 的 边 之 后 ， 两 个 
顶点 在 相同 的 连通 分 量 当 且 仅 当 与 之 对 应 的 对 象 在 相同 的 集合 中 。 因 此 ，CONNECTED- 
COMPONENTS 以 这 种 方式 计算 出 的 集合 ， 使 得 过 程 SAME-COMPONENT 能 确定 两 个 顶点 是 
否 在 相同 的 连通 分 量 中 。 图 21-1(b) 示 出 了 CONNECTED-COMPONENTS 如 何 计算 不 相交 集合 。 

在 该 连通 分 量 算法 的 实际 实现 中 ， 图 和 不 相交 集 数据 结构 的 表示 需要 相互 引用 。 也 就 是 说 ， 
一 个 表示 顶点 的 对 象 会 包含 一 个 指向 与 之 对 应 的 不 相交 集合 对 象 的 指针 ;反之 亦 然 。 这 些 编 程 
细节 取决 于 实现 的 编程 语言 ， 这 里 不 再 赣 述 。 


练习 


21. 1-1 假设 CONNECTED-COMPONENTS 作用 于 一 个 无 向 图 G 二 (V，E), 这 里 V= {a, b, 
cy ds és fs &> h, i, j» k}, 且 五 中 的 边 以 如 下 的 顺序 处 理 : (d; i); (fs k), 


O 当 图 的 边 集 是 静态 ( 即 不 随时 间 而 改变 ) 时 ， 我 们 可 以 通过 使 用 深度 优先 搜索 来 快速 地 计算 连通 分 量 ( 见 练习 
22. 3-12) 。 然 而 ， 有 时 候 边 是 动态 被 加 入 的 ， 我 们 需要 在 加 入 每 条 边 时 ， 对 连通 分 量 进行 维护 。 在 这 种 情况 下 ， 
这 里 给 定 的 实现 比 对 于 每 个 新 边 都 运行 一 次 新 的 深度 优先 搜索 要 高 效 得 多 。 
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(gs 区 有 请 列 
出 在 每 次 执行 完 第 3 一 5 行 后 各 连通 分 量 的 顶点 。 

21.1-2 证 明 : CONNECTED-COMPONENTS 处 理 完 所 有 的 边 后 ， 两 个 顶点 在 相同 的 连通 分 量 
中 当 且 仅 当 它们 在 同一 个 集合 中 。 

21.1-3 在 CONNECTED-COMPONENTS 作用 于 一 个 有 个 连通 分 量 的 无 向 图 G 二 (V，E) 的 过 
程 中 ，FIND-SET 需要 调用 多 少 次 ? UNION 需要 调用 多 少 次 ? AV). | El Ak 来 表示 
你 的 答案 。 


21.2 不 相交 集合 的 链表 表示 

图 21-2(a) 给 出 了 一 个 实现 不 相交 集 数据 结构 的 简单 方法 : 每 个 集合 用 一 个 自己 的 链表 来 表 
示 。 每 个 集合 的 对 象 包含 head BEF tail RE, head 属性 指向 表 的 第 一 个 对 象 ，tail 属性 指向 
表 的 最 后 一 个 对 象 。 链 表 中 的 每 个 对 象 都 包含 一 个 集合 成 员 、 一 个 指向 链表 中 下 一 个 对 象 的 指 
针 和 一 个 指 回 到 集合 对 象 的 指针 。 在 每 个 链表 中 ， 对 象 可 以 以 任意 的 次 序 出 现 。 代 表 是 链表 中 第 
一 个 对 象 的 集合 成 员 。 

用 这 种 链表 表示 ，MAKE-SET 操作 和 FIND-SET 操作 是 非常 方便 的 ， 只 需 OC) 的 时 间 。 
要 执行 MAKE-SET(z) 操 作 ， 我 们 需要 创建 一 个 只 有 工 对 象 的 新 的 链表 。 对 于 FIND-SET(z)， 
仅 沿 着 x 对 象 的 返回 指针 返回 到 集合 对 象 ， 然 后 返回 head 指向 对 象 的 成 员 。 例 如 ， 在 图 21-2(a) 
中 ，FIND-SET(g) 的 调用 将 返回 fo 
























































图 21-2 (a) 两 个 集合 的 链表 表示 。 令 集合 S 包含 成 员 4、f 和 g， 代 表 为 f; RAS. MARA b c 
e 和 及 ， 代 表 为 c<。 链 表 中 的 每 个 对 象 包含 一 个 集合 成 员 、 一 个 指向 链表 中 下 一 个 对 象 的 指针 
和 一 个 返回 到 集合 对 象 的 指针 。 每 个 集合 对 象 有 head Fil tail 指针 分 别 指向 第 一 个 对 象 和 最 后 
一 个 对 象 。(b)UNION(g，e) 的 结果 ， 使 得 包含 e 的 链表 加 到 包含 g 的 链表 中 。 结 果 集 合 的 
代表 为 fo 链表 的 集合 对 和 象 被 删除 


合并 的 一 个 简单 实现 

在 使 用 链表 集合 表示 的 实现 中 ，UNION 操作 的 最 简单 实现 明显 比 MAKE-SET 或 FIND- 
SET 花费 的 时 间 多 。 如 图 21-2(b) 所 示 ， 我 们 通过 把 y 所 在 的 链表 拼接 到 x 所 在 的 链表 实现 了 
UNION(z，y)。z 所 在 的 链表 的 代表 成 为 结果 集 的 代表 。 利 用 z 所 在 链表 的 tail 指针 ， 可 以 迅 
速 地 找到 拼接 > 所 在 的 链表 的 位 置 。 因 为 y 所 在 的 链表 的 所 有 成 员 加 入 了 xz 所 在 的 链表 中 ， 此 时 
可 以 删除 > 所 在 的 链表 的 集合 对 象 。 遗 憾 的 是 ， 对 于 > 所 在 链表 的 每 个 对 象 ， 我 们 必须 更 新 指向 
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集合 对 象 的 指针 ， 这 将 花费 的 时 间 与 y 所 在 链表 长 度 呈 线 性 关系 。 例 如 在 图 21-2 中 ，UNION 
Cg, AEE b, c, e 和 有 对 象 的 指针 被 更 新 。 a ET 
EXE, 我们 能 轻松 构建 一 个 在 7 个 对 象 上 需要 | MAKE-SET(x,) 1 
OC) HY A H m 个 操作 序列 。 假设 有 对 象 ri, | MAKESETC:) ! 
Zp‘, Tro WME 21-3 所 示 ， 执行 4 个 MAKE-SET | MakE-SET@,) ; 
操作 ， 后 面 跟着 执行 n 一 1 个 UNION 操作 ， 因 而 有 | UNON, x) 1 
m=2n—1, Pf n 个 MAKE-SET 操作 需要 O(n) H ee = : 
时 间 。 由 于 第 i 个 UNION 操作 更 新 i 个 对 象 ， 因 此 0 











UNION(x,, %,) 





所 有 的 n—1 个 UNION 操作 更 新 的 对 象 的 总 数 为 : 
ly 图 21-3 ”使 用 链表 集合 表示 和 UNION 的 简 
2 = BG) 单 实现 ,在 个 对 象 上 的 2n—1 
总 的 操作 数 为 2* 一 1， 这 样 每 个 操作 平均 需要 O(n) 个 操作 序列 需要 OOt) ÁITE, 
的 时 间 。 也 就 是 说 ， 一 个 操作 的 摊 还 时 间 为 @(n)。 者 每 个 操作 平均 时 间 为 @(n) 
一 种 加 权 合并 的 启发 式 策略 


在 最 坏 情况 下 ， 上 面 给 出 的 UNION 过 程 的 每 次 调用 平均 需要 @(n) 的 时 间 ， 这 是 因为 需要 
把 一 个 较 长 的 表 拼 接 到 一 个 较 短 的 表 上 ， 此 时 必须 对 较 长 表 的 每 个 成 员 更 新 其 指向 集合 对 象 的 
指针 。 现 在 换 一 种 做 法 ， 假 设 每 个 表 中 还 包含 了 表 的 长 度 (这 是 很 容易 维护 的 ) 以 及 拼接 次 序 可 以 
任意 的 话 ， 我 们 总 是 把 较 短 的 表 拼 接 到 较 长 的 表 中 。 使 用 这 种 简单 的 加 权 合 并 启发 式 策略 
(weighted-union heuristic) ， 如 果 两 个 集合 都 有 QCn) 个 成 员 ， 则 单个 的 UNION 操作 仍然 需要 
Qn) 的 时 间 。 然 而 下 面 的 定理 表明 ,一 个 具有 mÂ MAKE-SET、UNION 和 FIND-SET 操作 的 
序列 (其 中 有 个 是 MAKE-SET 操作 ) 需 要 耗费 OCm 十 nlgn) 的 时 间 。 

定理 21.1 使 用 不 相交 集合 的 链表 表示 和 加 权 合 并 启发 式 策 略 ， 一 个 具有 m 个 MAKE- 
SET, UNION 和 FIND-SET 操作 的 序列 (其 中 有 nn 个 是 MAKE-SET 操作 ) 需 要 的 时 间 为 Omt 
nign). 

证 明 由 于 每 个 UNION 操作 合并 两 个 不 相交 和 集 ， 因 此 总 共 至 多 执行 n 一 1 个 UNION 操作 。 
现在 来 确定 由 这 些 UNION 操作 所 花费 时 间 的 上 界 。 我 们 先 确定 每 个 对 象 指向 它 的 集合 对 象 的 指 
针 被 更 新 次 数 的 上 界 。 考 虑 某 个 对 象 xz， 我 们 知道 每 次 r 的 指针 被 更 新 ，z 早先 一 定 在 一 个 规模 
较 小 的 集合 当中 。 因 此 第 一 次 z 的 指针 被 更 新 时 ， 结 果 集 一 定 至 少 有 2 个 成 员 。 类 似 地 ,下 次 xz 
的 指针 被 更 新 时 结果 集 一 定 至 少 有 4 个 成 员 。 一 直 继 续 下 去 ， 注 意 到 对 于 任意 的 <n, 在 zz 的 
指针 被 更 新 | 1] 多 | 次 后 ， 结 果 集 一 定 至 少 有 有 & 个 成 员 。 因 为 最 大 集合 至 多 包含 ”个 成 员 ， 故 每 个 对 
象 的 指针 在 所 有 的 UNION 操作 中 最 多 被 更 新 Tlgnl 次 。 因 此 在 所 有 的 UNION 操作 中 被 更 新 的 对 
象 的 指针 总 数 为 O(n lgn) 。 当 然 ， 我 们 也 必须 考虑 tail 指针 和 表 长 度 的 更 新 ， 而 它们 在 每 个 
UNION 操作 中 只 花费 8(1) 时 间 。 所 以 总 共 花 在 UNION 操作 的 时 间 为 O(nlgn)。 

整个 m 个 操作 的 序列 所 需 的 时 间 很 容易 求 出 。 每 个 MAKE-SET 和 FIND-SET 操作 需要 
OQ) 时 间 ， 它 们 的 总 数 为 Om) 。 所 以 整个 序列 的 总 时 间 是 OCm 十 nlgn)。 


练习 

21.2-1 使 用 链表 表示 和 加 权 合 并 启发 式 策略 ， 写 出 MAKE-SET、FIND-SET 和 UNION 操作 的 
伪 代 码 。 并 指定 你 在 集合 对 象 和 表 对 象 中 所 使 用 的 属性 。 

21.2-2 给 出 下 面 程序 的 结果 数据 结构 ， 并 回答 该 程序 中 FIND-SET 操作 返回 的 答案 。 这 里 使 用 
加 权 合并 启发 式 策略 的 链表 表示 。 


1 for i=1 to 16 
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21. 2-3 


21. 2-4 


21. 2-5 


21. 2-6 
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2 MAKE-SET(z;) 
3 for i=1 to 15 by 2 

4 UNION (z; s z:41) 
5 for ;一 1 to 13 by 4 

6 UNION (2; ,z:+2) 
7 UNION(2; 525) 

8 UNIONCzayzis) 

9 UNION(2; » 210) 

10 FIND-SET(2,) 

11 FIND-SET(a,) 


假定 如 果 包 含 r: Az; 的 集合 有 相同 的 大 小 ， 则 UNION(z;，zz; ) 表 示 将 x; 所 在 的 
表 链 接 到 z; 所 在 的 表 后 。 
对 定理 21. 1 的 整体 证 明 进 行 改造 ， 得 到 使 用 链表 表示 和 加 权 合 并 启发 式 策略 下 的 
MAKE-SET 和 FIND-SET 的 摊 还 时 间 上 界 为 0(1) ， 以 及 UNION 的 挫 还 时 间 上 界 为 
OUgn) 。 
请 给 出 图 21-3 所 示 操 作 序列 的 一 个 运行 时 间 的 渐 近 紧 确 界 ， 假 定 使 用 链表 表示 和 加 权 
合并 启发 式 策略 。 
Gompers 教授 猜想 也 许 有 可 能 在 每 个 集合 对 象 中 仅 使 用 一 个 指针 ， 而 不 是 两 个 指针 
(head 和 tail)， 同 时 仍然 保留 每 个 链表 元 素 的 2 个 指针 。 请 说 明教 授 的 猜想 是 有 道理 
的 ， 并 通过 描述 如 何 使 用 一 个 链表 来 表示 每 个 集合 ， 使 得 每 个 操作 与 本 章 中 描述 的 操作 
有 相同 的 运行 时 间 ， 来 加 以 解释 。 同 时 描述 这 些 操作 是 如 何 工作 的 。 你 的 方法 应 该 允许 
使 用 加 权 合 并 启发 式 策略 ， 并 与 本 节 所 描述 的 有 相同 效果 。( 提 示 : 使 用 一 个 链表 的 尾 
作为 集合 的 代表 。) 
假设 对 UNION 过 程 做 一 个 简单 的 改动 ， 在 采用 链表 表示 中 拿 掉 让 集合 对 象 的 tail 指针 
总 指向 每 个 表 的 最 后 一 个 对 象 的 要 求 。 无 论 是 使 用 还 是 不 使 用 加 权 合 并 启发 式 策略 ， 这 
个 修改 不 应 该 改变 UNION 过 程 的 渐 近 运行 时 间 。( 提 示 : 而 不 是 把 一 个 表 链 接 到 另 一 
个 表 后 面 ， 将 它们 拼接 在 一 起 。) 


不 相交 集合 森林 


在 一 个 不 相交 集合 更 快 的 实现 中 ， 我 们 使 用 有 根 树 来 表示 集合 ， 树 中 每 个 结 点 包含 一 个 成 





员 ， 每 棵 树 代表 一 个 集合 。 在 一 个 不 相交 集合 森 B N 

林 (disjoint-set forest) 中 (如 图 21-4(a) Bas), BES (e) (A 

成 员 仅 指向 它 的 父 结 点 。 每 棵 树 的 根 包含 集合 的 

代表 ， 并 且 是 其 自己 的 父 结 点 。 正 如 我 们 将 要 看 2 © 2 中 
到 的 那样 ， 虽 然 使 用 这 种 表示 的 直接 算法 并 不 比例 E D ®© 
使 用 链表 表示 的 算法 快 ， 但 通过 引入 两 种 启发 式 

策略 (“ 按 秩 合并 ”和 “路 径 压 缩 ”) ， 我 们 能 得 到 一 = @) by 


个 渐 近 最 优 的 不 相交 集合 数据 结构 。 

我 们 执行 以 下 三 种 不 相交 集合 操作 : MAKE- 
SET 操作 简单 地 创建 一 棵 只 有 一 个 结 点 的 树 ， 
FIND-SET 操作 通过 沿 着 指向 父 结 点 的 指针 找到 
树 的 根 。 这 一 通 向 根 结 点 的 简单 路 径 上 所 访问 的 
结 点 构成 了 查找 路 径 (find path), UNION 操作 (如 


图 21-4 ”一 个 不 相交 集合 森林 。(a) 两 棵 树 表 示 
图 21-2 中 的 两 个 集合 。 左 边 的 树 表 示 
集合 {6，c，e，h}， 其 中 c 作为 集合 的 
代表 ; 右边 的 树 表 示 和 集合 {4d，f，g)， 
了 作为 集合 的 代表 。(b) UNION(e，g) 
的 结果 
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图 21-4(b) 所 示 ) 使 得 一 棵 树 的 根 指向 另外 一 棵 树 的 根 。 

改进 运行 时 间 的 启发 式 策略 

到 目前 为 止 ， 我 们 还 没有 对 使 用 链表 的 实现 做 出 改进 。 一 个 包含 n 一 1 个 UNION 操作 的 序 
列 可 以 构造 出 一 棵 恰好 含有 个 结 点 的 线性 链 的 树 。 然 而 ， 通 过 使 用 两 种 启发 式 策略 ， 我 们 能 获 
得 一 个 几乎 与 总 的 操作 数 m 呈 线性 关系 的 运行 时 间 。 

第 一 种 启发 式 策略 是 按 秩 合并 (union by rank)， 它 类 似 于 链表 表示 中 使 用 的 加 权 合 并 启发 式 
策略 。 显 而 易 见 的 做 法 是 ， 使 具有 较 少 结 点 的 树 的 根 指 向 具有 较 多 结 点 的 树 的 根 。 这 里 并 不 显 式 
地 记录 每 个 结 点 为 根 的 子 树 的 大 小 ， 而 是 采用 一 种 易于 分 析 的 方法 。 对 于 每 个 结 点 ， 维 护 一 个 
秩 ， 它 表示 该 结 点 高 度 的 一 个 上 界 。 在 使 用 按 秩 合并 策略 的 UNION 操作 中 ， 我 们 可 以 让 具有 较 
小 秩 的 根 指向 具有 较 大 秩 的 根 。 

第 二 种 启发 式 策略 是 路 径 压缩 (path compression), ， 也 相当 简单 和 高 效 。 正 如 图 21-5 所 示 ， 
在 FIND-SET 操作 中 ， 使 用 这 种 策略 可 以 使 查找 路 径 中 的 每 个 结 点 直接 指向 根 。 路 径 压 缩 并 不 
改变 任何 结 点 的 秩 。 





图 21-5 操作 FIND-SET 过 程 中 的 路 径 压缩 。 箭 头 和 根 结 点 的 自 环 被 略 去 了 。(a) 在 执行 FIND- 
SET(o) 之 前 代表 一 个 集合 的 树 。 三 角形 代表 一 棵 子 树 ， 其 根 为 图 中 示 出 的 结 点 。 每 个 
结 点 有 一 个 指向 父 结 点 的 指针 。(b) 在 执行 FIND-SET(a) 之 后 的 同一 个 集合 。 现 在 在 
查找 路 径 上 每 个 结 点 都 直接 指向 了 根 


实现 不 相交 集合 森林 的 伪 代 码 

为 了 使 用 按 秩 合并 的 启发 式 策略 实现 一 个 不 相交 集合 森林 ， 我 们 必须 记录 下 秩 的 变化 情况 。 
对 于 每 个 结 点 xz， 维护 一 个 整数 值 xz. rank, ERR xz 的 高 度 ( 从 xz 到 某 一 后 代 叶 结 点 的 最 长 简单 路 
径 上 边 的 数目 ) 的 一 个 上 界 。 当 MAKE-SET 创建 一 个 单元 素 集合 时 ， 这 个 树 上 的 单 结 点 有 一 个 为 0 
的 初始 秩 。 每 一 个 FIND-SET 操作 不 改变 任何 秩 。UNION 操作 有 两 种 情况 ， 取 决 于 两 棵 树 的 根 是 
否 有 相同 的 秩 。 如 果 根 没有 相同 的 秩 ， 就 让 较 大 秩 的 根 成 为 较 小 秩 的 根 的 父 结 点 ， 但 秩 本 身 保持 不 
变 。 另 一 种 情况 是 两 个 根 有 相同 的 秩 时 ， 任 意 选 择 两 个 根 中 的 一 个 作为 父 结 点 ， 并 使 它 的 秩 加 1。 

下 面 把 这 种 方法 表示 伪 代 码 。 用 xz. p 代表 结 点 xz 的 父 结 点 。LINK 过 程 是 由 UNION 调用 的 
一 个 子 过 程 ， 以 指向 两 个 根 的 指针 作为 输入 。 

MAKE-SET(z) 

1 zx.p=z 

2 zx.rank=0 
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UNION(z,y) 

1 LINK(FIND-SET(z), FIND-SETCy)) 
LINK(z,y) 

1 if x. rank>y. rank 

2 J p= 

3 else z. p=y 

4 if x. rank==y. rank 

5 y. rank= y. rank+1 


带 有 路 径 压 缩 的 FIND-SET 过 程 非常 简单 : 
FIND-SET(z) 

1 ifz#z.p 

2 x. p= FINDSET(z.p) 


3 return z. p 


FIND-SET 过 程 是 一 种 两 趟 方法 (two-pass method): 当 它 递归 时 ， 第 一 趟 沿 着 查找 路 径 向 上 
直到 找到 根 ， 当 递归 回溯 时 ， 第 二 趟 沿 着 搜索 树 向 下 更 新 每 个 结 点 ， 使 其 直接 指向 根 。FIND- 
SET(z) 的 每 次 调用 在 第 3 行 返回 x. po WR x EAR, BBA FIND-SET 跳 过 第 2 行 并 返回 x. p, th 
就 是 z; 这 是 递归 到 底 的 情形 。 和 否则， 第 2 行 执 行 ， 并 且 参 数 为 zx. p 的 递归 调用 返回 一 个 指向 根 
的 指针 。 第 2 行 更 新 结 点 xz 并 让 其 直接 指向 根 结 点 ， 然 后 第 3 行 返回 这 个 指针 。 

启发 式 策 略 对 运行 时 间 的 影响 

如 果 单 独 使 用 按 秩 合并 或 路 径 压 缩 ， 它 们 每 一 个 都 能 改善 不 相交 集合 森林 上 操作 的 运行 时 
间 ， 而 一 起 使 用 这 两 种 启发 式 策略 时 ， 这 种 改善 更 大 。 单 独 来 看 ， 按 秩 合 并 产生 的 运行 时 间 为 
OCmlgn)( 见 练习 21. 4-4)， 并 且 这 个 界 是 紧 的 ( 见 练习 21. 3-3) 。 尽 管 这 里 不 打算 来 证 明 它 ， 然 而 
对 于 一 个 具有 7 个 MAKE-SET 操作 (因此 最 多 有 7 一 1 UNION 操作) 和 f 4+ FIND-SET 操作 的 
序列 ， 单 独 使 用 路 径 压 缩 启发 式 策 略 给 出 的 最 坏 情况 运行 时 间 为 O(n + f + C1+log,, jy,n))。 

当 同 时 使 用 按 秩 合并 与 路 径 压 缩 时 ， 最 坏 情况 的 运行 时 间 为 OGna(n)) ， 这 里 a(n) 是 一 个 
增长 非常 慢 的 函数 ， 其 定义 将 在 21.4 节 给 出 。 在 任何 一 个 可 以 想得到 的 不 相交 集合 数据 结构 的 
应 用 中 ， 都 有 on) 委 4;， 因 此 ， 我 们 可 以 认为 在 所 有 实际 应 用 中 ， 其 运行 时 间 与 m 呈 线 性 关系 。 
然而 ， 严 格 地 说 ， 它 是 超 线性 的 。21. 4 节 将 证 明 这 个 上 界 。 


练习 


21.3-1 用 按 秩 合并 与 路 径 压 缩 启 发 式 策略 的 不 相交 和 集合 森林 重 做 练习 21. 2-2。 

21.3-2 写 出 使 用 路 径 压 缩 的 FIND-SET 过 程 的 非 递 归 版 本 。 

21.3-3 给 出 一 个 包含 m 个 MAKE-SET、UNION 和 FIND-SET 操作 的 序列 (其 中 有 nn 个 是 
MAKE-SET 操作 )， 当 仅 使 用 按 秩 合并 时 ， 需 要 QCmlgn) 的 时 间 。 

21.3-4 假设 想 要 增加 一 个 PRINT-SET(z) 操 作 ， 它 是 对 于 给 定 的 结 点 工 打印 出 z 所 在 集合 的 所 
有 成 员 ， 顺 序 可 以 任意 。 如 何 对 一 棵 不 相交 集合 森林 的 每 个 结 点 仅 增加 一 个 属性 ， 使 得 
PRINT-SET(z) 所 花费 的 时 间 同 二 所 在 集合 元 素 的 个 数 呈 线性 关系 ， 并 且 其 他 操作 的 渐 
近 运 行 时 间 不 改变 。 这 里 假设 我 们 可 在 OC) 的 时 间 内 打印 出 集合 的 每 个 成 员 。 

*21.3-5 证 明 : 任何 具有 m 个 MAKE-SET, UNION 和 FIND-SET 操作 的 序列 ， 这 里 所 有 的 
LINK 操作 都 出 现在 FIND-SET 操作 之 前 ， 如 果 同 时 使 用 路 径 压 缩 和 按 秩 合 并 启发 式 策 
略 ， 则 这 些 操 作 只 需 OCm) 的 时 间 。 在 同样 情况 下 ， 如 果 只 使 用 路 径 压 缩 启 发 式 策略 ， 
又 会 如 何 ? 
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“21.4 带路 径 压 缩 的 按 秩 合并 的 分 析 

如 21. 3 节 中 提 到 的 ， 对 于 个 元 素 上 的 m 个 不 相交 集合 操作 ， 联 合 使 用 按 秩 合并 与 路 径 压 
缩 启发 式 策略 后 的 运行 时 间 是 Oman) 。 在 本 节 中 ， 我 们 将 考察 a 函数 ， 看 看 a 函数 增长 到 底 
有 多 慢 。 然 后 使 用 摊 还 分 析 中 的 势 方法 来 证 明 这 一 运行 时 间 。 

一 个 增长 非常 慢 的 函数 与 其 增长 非常 慢 的 逆 函 数 

对 于 整数 & 宇 0 与 j 宇 1， 定 义 函 数 AsG7) A: 
j+l wRkR=0 
AGP G) 如 果 k 宇 1 
其 中 表达 式 AMY? Gj) 采用 了 3. 2 节 给 出 的 函数 迭代 记号 。 具 体 来 讲 ， 对 il, A ALG = jA 
ARG) = Ani (AR? G)) 。 我 们 称 参数 & 为 函数 A 的 级 (level) 。 

函数 AO 随 着 j ALR 严格 递增 ,为 了 了 解 该 函数 增长 有 多 快 ， 先 要 得 到 A1(j) 和 As(j) 的 
闭 形式 表示 。 

引 理 21.2 对 于 任意 整数 j 宇 1， 有 A1() =2j+1. 

证 明 ” 先 对 i 使 用 归纳 法 来 证 明 A8 G ==j 十 i 。 对 于 归纳 基础 ， 有 Ag (1) = 一 7 十 0 X 
于 归纳 步 , BAS? G) =j+G—D. RAP G =A CAF” G = G+G—-1))4+1=jt+i. 
最 后 ， 我 们 有 AG) = AY? GY =j+tGtD 一 27 十 1 。 m 

引 理 21.3 对 于 任意 整数 j 宇 1， 有 Azs(j) = G+). 

证 明 先 对 ;使 用 归纳 法 来 证 明 AP (7) = 20 十 1) 一 1 。 对 于 归纳 基础 ， 有 APOG) 三 7 一 
2" (7 十 1) 一 1 。 对 于 归纳 步 ， 假 设 Af G =27°G+)D—-1. RE APG = AA Gy) = 
AQ?G+tD-D=2-Q°G4+D—-D+1=2%G+)D—-241=2G+)D—-1. BE, Bi 
A AG) = AY” G) =2"G+1—-1. C] 

现在 对 于 级 二 0，1，2，3，4， 我们 简单 地 考察 A; (1) 就 能 看 到 As (j) 增长 得 有 多 快 了 。 根 
据 A (k) 的 定义 以 及 上 面 的 引 理 ， 有 Au(1) =1+1=2,A,0) =2-14+1=3 MAA) = 
2 。(1 十 1) 一 1 二 7。 我 们 同样 有 

A;(1) = A? (1) = A, (A, (1)) = A, (7) = 2? .8—1=2—1=2047 


A(G) = 








并 且 有 
A1) = A? (1) = A, (A; (1)) = A; (2 047) = AL ™ (2 047) >> A, (2 047) 
= 2248 6 9048 —] > 228 = (24)5 一 165 > 10 
这 就 是 客观 宇宙 中 所 有 原子 的 估计 数目 。( 符 号 “六 ?代表 “远大 于 ”。) 
对 于 整数 z 之 0， 我 们 定义 函数 Ai(n) 的 逆 函 数 如 下 : 
a(n) = min{k:A,(1) >n} 
也 就 是 说 , a(n) 是 满足 A.D) 至 少 为 n 的 最 小 的 级 x。 根 据 上 面 的 Ai(1) 值 ， 可 以 知道 : 
~ wO< n= 2 
1 对 N= 二 3 
a(n) =<2 x4<n<7 
3 #8<n<2047 
4 xf 2048<n<A,(1) 
只 有 对 于 那些 非常 大 的 “天 文 数字 ”的 nn 值 ( 比 A (1) 还 大 的 值 ， 一 个 巨大 的 数 ) ， 才 会 有 a(n) > 4, 
所 以 对 于 所 有 实际 的 应 用 ， 都 有 a(n) <4. 
秩 的 性 质 
在 本 节 剩 下 的 部 分 ， 我 们 证 明 使 用 按 秩 合并 与 路 径 压 缩 启发 式 策略 的 不 相交 集合 操作 的 运 
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行 时 间 界 为 OGna(n)) 。 为 了 证 明 这 个 界 ， 首 先 证 明 秩 的 一 些 简单 性 质 。 

引 理 21.4 对 于 所 有 的 结 点 工 A x. rank<z. p. rank, wR rAr. p， 则 此 式 是 严格 不 等 
A. z. rank 的 初始 值 为 0， 并 且 随 时 间 而 增加 ， 直 到 rAr. p; 从 此 以 后 ，z rank 的 值 就 不 再 发 
AR, x. p. rank 的 值 随时 间 单 调 递 增 。 

证 明 ”使 用 21. 3 节 中 MAKE-SET, UNION 和 FIND-SET 的 实现 ， 对 操作 数 使 用 归纳 法 ， 
其 证 明 是 直接 的 。 该 证 明 留 为 练习 21. 4-1。 = 

推论 21.5 从 任何 一 个 结 点 指向 根 的 简单 路 径 上 ， 结 点 的 秩 是 严格 递增 的 。 a 

51 21.6 每 个 结 点 的 秩 最 大 为 2 一 1。 

证 明 每 个 结 点 的 秩 从 0 开始 ， 并 且 只 有 执行 了 LINK 操作 ， 它 才 会 增加 。 因 为 最 多 有 ?一 1 
个 UNION 操作 ， 所 以 同样 最 多 有 n 一 1 个 LINK 操作 。 因 为 每 个 LINK 操作 或 者 不 改变 任何 的 
Ek, 或 者 将 某 结 点 的 秩 加 1， 所 以 所 有 的 秩 最 大 为 n 一 1。 a 

引 理 21.6 提供 了 一 个 关于 结 点 秩 的 较 弱 的 界 。 事 实 上 ， 每 个 结 点 的 秩 最 大 为 [lgzj( 见 练习 
21. 4-2)。 然 而 ， 引 理 21.6 的 这 个 较 松 的 界 已 足够 满足 我 们 的 要 求 。 

时 间 界 的 证 明 

我 们 将 利用 摊 还 分 析 中 的 势 方法 ( 见 17. 3 节 ) 来 证 明 OCma(m)) 的 时 间 界 。 在 进行 挫 还 分 析 
时 ， 为 了 方便 起 见 ， 我 们 假设 不 调用 UNION 操作 ， 而 是 调用 LINK 操作 。 也 就 是 说 ， 因 为 
LINK 过 程 的 参数 是 指向 两 个 根 的 指针 ， 故 我 们 独立 使 用 相应 的 FIND-SET 操作 。 下 面 的 引 理 说 
明 即 使 因 调用 UNION 而 导致 额外 的 FIND-SET 操作 ， 其 渐 近 运行 时 间 仍 然 保 持 不 变 。 

引 理 21.7 假设 通过 将 每 个 UNION 转换 成 两 个 FIND-SET 操作 ， 后 再 接 一 个 LINK 操作 ， 
我 们 可 以 把 m 个 MAKE-SET, UNION 和 FIND-SET 操作 的 序列 S! 转换 成 办 个 MAKE-SET、 
LINK 和 FIND-SET 操作 的 序列 S。 那 么 ， 如 果 操 作 序 列 S 的 运行 时 间 为 O(ma(z)) ， 则 序列 S' 
的 运行 时 间 为 OCm'a(n)) 。 

证 明 由 于 序列 S 中 的 每 个 UNION 操作 被 转换 成 S 中 的 三 个 操作 ， 于 是 有 m'<m<3m', 
因为 m = OCxm ) ， 所 以 如 果 转 换 后 的 序列 S 的 时 间 界 为 OCma(n)) ， 就 蕴涵 着 原 序列 S 的 时 间 
RH OUm'a(n)) 。 a 

在 本 节 剩 下 的 部 分 ， 假设 m' 个 MAKE-SET, UNION 和 FIND-SET 操作 的 初始 序列 被 转换 
成 m 个 MAKE-SET、LINK 和 FIND-SET 操作 的 序列 。 现 在 证 明 转 换 后 的 序列 的 运行 时 间 界 为 
Olma(n)) ， 并 且 应 用 引 理 21. 7 证 明 mz' 个 操作 的 初始 序列 的 运行 时 间 界 为 Olm'a(n)) 。 

势 函 数 

我 们 使 用 的 势 函 数 在 g 个 操作 之 后 ， 对 不 相交 和 集合 森林 中 的 每 个 结 点 x 都 指派 了 一 个 势 


pC) 。 把 所 有 的 结 点 的 势 加 起 来 就 得 到 了 整个 森林 的 势 : © = D162), HHO, 代表 gq KH 


作 之 后 森林 的 势 。 在 第 一 次 操作 之 前 ， 森 林 是 空 的 ， 任 意 置 @, 二 0。 势 B, 从 来 不 为 负 值 。 

P) 的 值 取 决 于 在 第 qg 次 操作 之 后 ，z 是 否 是 一 棵 树 的 根 。 如 果 是 或 者 如 果 xz. rank 二 0， 那 
Z $,(x) = a(n) * x. rank 。 

现在 假定 第 q 次 操作 之 后 ，z 不 是 一 个 树 根 且 x. rankg 宇 1。 此 时 在 定义 和 (zx) 之 前 ， 需 要 定 
义 两 个 关于 工 的 辅助 函数 。 先 定义 

level(z) = max{k: x. p. rank > Ai (zx. rank)} 

也 就 是 说 , level) 是 A 的 一 个 最 大 级 xk， 其 中 A 是 作用 于 z 的 秩 的 函数 ， 并 且 A RKF HW 
父 结 点 的 秩 。 

我 们 断言 : 

0 < level(z) < a(n) CLD 

成 立 。 它 可 以 如 下 推出 : 
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zx. p. rank >x. rank +1 (根据 引 理 21. 4) 
=A, (x. rank) (根据 AG) 的 定义 ) 
这 意味 着 level(z) >0, F#HA: 
Axm (x. rank) SAynQ) (HAAG) 是 严格 递增 的 ) 
>n (根据 a(n) 的 定义 ) 
>z. p. rank (根据 引 理 21. 6) 
这 意味 着 level(z) < a(n). HERB, HF x. p. rank 是 随时 间 单 调 递增 的 ， 这 样 level(z) 也 随时 
间 单 调 递增 。 
当 x. rank 之 1 时 ， 第 二 个 辅助 函数 是 : 
iter(x) = max{i:x. p. rank > ALa (x. rank)} 
也 就 是 说 , iter(z) 是 可 以 迭代 地 实施 Alen 的 最 大 次 数 ， 开 始 时 将 Alwacs 应 用 于 工 的 秩 ， 直 至 在 
获得 一 个 大 于 zz 的 父 结 点 的 秩 的 值 之 前 迭代 停止 。 
当 x. rank 之 1 时 ， 我 们 有 
1 <iter(x) < x. rank (21. 2) 
成 立 ， 它 可 以 如 下 推出 : 
x. p. rank 之 Awe (x. rank) (根据 level(x) 的 定义 ) 
= Altus (x. rank) 《根据 函数 迭代 的 定义 ) 
这 意味 着 iter(Cz) >1, FAA 
AgS Ca. rank) = Avea (x. rank) (根据 A, (7) 的 定义 ) 
> x. p. rank (根据 level(z) 的 定义 ) 
这 意味 着 iter(z) < x. rank. HERB, HF zx. p. rank 是 随时 间 单 调 递 增 的 ， 为 了 使 iter(z) 能 够 
减 小 , level(x) 必须 增加 。 只 要 levele) 保持 不 变 , iter(z) 一 定 是 增加 或 者 保持 不 变 。 
使 用 本 处 定义 的 这 些 辅 助 函 数 ， 就 可 以 来 定义 q 次 操作 之 后 结 点 的 势 : 
bias = aa 如 果 工 是 一 个 树 根 或 x. rank 一 0 
Í (a(n) — level(x)) * x. rank 一 iter(Zz) ”如果 工 不 是 一 个 树 根 并 且 xz.rank 宇 1 
接 下 来 给 出 结 点 势 的 一 些 有 用 的 性 质 。 
引 理 21.8 对 于 每 个 结 点 工 和 所 有 操作 的 计数 gqg， 我 们 有 
0<4¢,(2) San) + x. rank 
证 明 WMR x FE PRA x. rank 一 0， 那么 根据 定义 ， 有 (zx) = aln) + x. rank 。 现 在 
假设 z 并 不 是 一 个 树 根 且 z. rang 宇 1。 通 过 最 大 化 level(x) 和 iter(x) 来 得 到 p a) 的 一 个 下 界 。 
根据 界 (21. 1)， 有 level(z) San) —1; 并 且 根据 界 (21. 2)， 有 iter(z) < z. rank. MW, 有 
$,(x) = (a(n) — level(x)) + x. rank — iter(x) 
> (a(n) — (a(n) —1)) = x. rank — x. rank = x. rank — x. rank = 0 
类 似 地 ， 通 过 最 小 化 level(x) 和 iter(z) 来 获得 (xz) 的 一 个 上 界 。 根 据 界 (21.1)， 有 
level(Cz) >O0; 并 且 根 据 界 (21.2)， 有 iter(x) 宇 1。 所 以 ， 有 
hz) < (a(n) — 0) :rrmnk—1 = a(n) » x. rank —1 < a(n) + x. rank E 
推论 21.9 如 果 结 点 工 不 是 一 个 根 结 点 ， 并 且 x. rank>0, N) p, (£) <aln) » x. rank, m 
势 的 变化 与 操作 的 摊 还 代价 
现在 我 们 准备 来 分 析 不 相交 集合 操作 是 如 何 影响 结 点 的 势 的 。 理 解 了 每 个 操作 引起 的 势 的 
变化 ， 就 能 确定 每 个 操作 的 摊 还 代价 。 
引 理 21. 10 设 工 是 一 个 非 根 结 点 ， 并 且 假 设 第 g 个 操作 是 LINK 或 FIND-SET。 那 么 在 第 g 
次 操作 之 后 ， 史 (Zz) 魏 风 (Cz)。 此 外 ， 如 果 x. rankS1, #H level(x) 或 iter(z) 是 由 于 第 g 次 操 
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作 而 发 生 了 改变 ， WAAKS al) 一 1 。 也 就 是 说 ， 工 的 势 不 可 能 增加 ， 并 且 如 果 它 有 正 的 
秩 ， 同 时 level(x) 或 iter(x) 发 生 改 变 ， 则 工 的 势 至 少 下 降 1。 

证 明 因为 x 不 是 一 个 树 根 ， 所 以 第 g 个 操作 并 不 改变 z 的 秩 ， 又 因为 在 前 4 次 MAKE- 
SET 操作 后 ，n 并 不 发 生 改变 ， 所 以 a(n) 也 同样 不 发 生变 化 。 因 此 在 第 a 个 操作 后 ，z 的 势 公式 
的 这 些 成 分 保持 相同 。 如 果 x. rank 二 0， 那 么 加 (zx) 二 $1(x) 二 0。 现 在 假设 x. rank 宇 1。 

前 面 说 过 , level(zx) 随时 间 单 调 递 增 。 如果 第 g 个 操作 使 得 level(z) 不 发 生 改变 ， 那么 
iter(x) 或 者 增加 ,或 者 保持 不 变 。 如 果 level(x) All iter(x) 都 不 变 , 则 bp(z) 二 各 1《zx) 。 如 果 level(x) 
没有 变化 ,而 iter) 增加 了 , 则 它 至 少 增 加 1, 因而 有 加 (zx) 二 $1(7X) 一 1 。 

最 后 ,如 果 第 g 个 操作 增加 level(x) 的 值 ,并 且 至 少 增加 1, 那 么 (a(n) 一 level(x) ) * x. rank 的 
值 至 少 下 降 x. rank, H levele) 的 值 增加 了 , iter(z) 的 值 可 能 下 降 ， 但 是 根据 界 (21. 2)， 下 降 
最 多 只 有 x. rank 一 1。 于 是 ， 由 iter(z) 的 改变 导致 的 势 的 增加 量 少 于 由 level) 的 改变 导致 的 势 
的 减少 量 ， 因 此 可 以 得 出 结论 : 和 (zx) 三 加 1(7) 一 1。 加 

下 面 的 三 个 引 理 说 明 每 个 MAKE-SET、LINK 和 FIND-SET 操作 的 摊 还 代价 都 是 
OCa(n)) 。 回 顾 公式 (17. 2) 可 知 ， 每 个 操作 的 挫 还 代价 是 它 的 实际 成 本 加 上 操作 本 身 导致 的 势 
的 增 量 。 

引 理 21. 11 每 个 MAKE-SET 操作 的 摊 还 代价 为 O(1) 。 

WEAR ”假设 第 gq 个 操作 是 MAKE-SET(x) ， 这 个 操作 创建 秩 为 0 的 结 点 x+， 并 使 得 加 (zx) = 0, 
由 于 没有 其 他 的 秩 或 势 的 改变 ， 所 以 B, 二 B,1。 注 意 到 ，MAKE-SET 操作 的 实际 成 本 为 OM) ， 
从 而 本 引 理 得 证 。 a 

引 理 21.12 每 个 LINK 操作 的 摊 还 代价 为 O(a(n))。 

证 明 ”假设 第 g 个 操作 是 LINK(zx,y) 。LINK 操作 的 实际 成 本 为 0(1) 。 不 失 一 般 性 ， 假 设 
这 个 LINK fE y RA r 的 父 结 点 。 

为 了 确定 LINK 所 导致 的 势 的 改变 ， 我们 注意 到 势 可 能 改变 的 结 点 只 有 z、> 和 操作 前 y 的 
子 结 点 。 下 面 证 明 由 于 LINK 导致 的 势 增 加 的 唯一 结 点 是 y， 并 且 它 的 增 量 最 多 为 aln) : 

。 根据 引 理 21. 10， 对 于 那些 在 LINK 操作 之 前 为 y 的 孩子 的 任何 一 个 结 点 ， 其 势 都 不 会 

因为 LINK 操作 而 增加 。 

AGES, (x) 的 定义 可 知 ， 由 于 工 是 第 9 个 操作 之 前 的 一 个 根 , 员 ;(z) = a(n) + x. rank 。 如 

果 x. rank=0, 那么 和 (ZX) = 加 1(X) 一 0; 否则 ， 
$, (2) <a(n) + x. rank( 根 据 推论 21. 9) 
= (x) 
所 以 工 的 势 减 小 了 。 
。 因为 y 在 这 个 LINK 操作 之 前 是 一 个 根 ， 所 以 史 : (2) = a(n) » x. rank 。 这 个 LINK 操作 
使 得 y 成 为 一 个 根 ， 并 且 它 使 得 y 的 秩 不 变 或 增加 1。 因 此 ty) = $40) 或 页 (?) = 
pa) aln). 

因此 ， 由 于 这 个 LINK 操作 导致 势 至 多 增加 an, MARXA LINK 操作 的 摊 还 代价 是 
O(1) +e(n) = O(a(n)) 。 E 

51 21.13 每 个 FIND-SET 操作 的 摊 还 代价 为 Ola(n)) 。 

证 明 假设 第 g 个 操作 是 FIND-SET， 并 且 查 找 路 径 包 含 个 结 点 。 这 个 FIND-SET 操作 的 
实际 成 本 为 O(s) 。 下 面 将 要 证 明 由 于 执行 FIND-SET 操作 ， 没 有 结 点 的 势 会 增加 ， 并 且 在 查找 
路 径 上 最 少 有 max(0,5— (a(n) 十 2)) 个 结 点 使 得 它们 的 势 至 少 减少 1。 

为 了 证 明 没有 结 点 的 势 会 增加 ， 首 先 对 除根 以 外 的 所 有 结 点 应 用 引 理 21. 10。 然 后 ， 如 果 > 
是 根 ， 那 么 它 的 势 是 aln)。x. rank ， 其 值 不 变 。 
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现在 证 明 至 少 有 max(0,s 一 (a(n) 十 2)) 个 结 点 使 得 它们 的 势 至 少 下 降 1。 假 设 二 是 查找 路 径 
上 一 个 满足 x. rank>0 的 结 点 ， 且 在 查找 路 径 上 的 某 处 ，z 后 跟 某 一 个 非 根 结 点 y， 它 在 FIND- 
SET 操作 之 前 有 level(y) = level(x) 。 (注意 在 查找 路 径 上 ，y 不 需要 紧 跟 在 结 点 z 的 后 面 。) 在 查 
找 路 径 上 ， 除 了 至 多 alm 十 2 个 结 点 以 外 ， 其 他 所 有 结 点 都 满足 关于 z 的 限制 。 那 些 不 满足 限制 
的 是 查找 路 径 上 的 第 一 个 结 点 (因为 它 的 秩 为 0)、 最 后 一 个 结 点 (因为 它 是 根 ) 和 路 径 上 最 后 一 个 
满足 level(w) =k WHER, KHL k = 0,1,2,*…*,a(n) 一 1。 
让 我 们 固定 这 样 一 个 结 点 z， 下 面 证 明 z 的 势 至 少 下 降 1。 假 设 R= level(x) 二 level(y)。 在 
由 FIND-SET 操作 引起 路 径 压 缩 之 前 ， 我 们 有 : 
x. p. rank > A (x. rank) (根据 iterCz) 的 定义 ) 
y. p. rank > A, (Cy. rank) (根据 level(y) 的 定义 ) 
y. rank > x. p. rank (根据 推论 21. 5, 并 因为 在 查找 路 径 上 y 跟 在 并 的 后 面 ) 
将 这 些 不 等 式 组 合 在 一 起 ， 并 设 ; 为 路 径 压 缩 前 iter(z) 的 值 ， 我 们 有 : 
y. p. rank > A,(y. rank) 
> A, (<. p. rank) (HA AG) 是 严格 递增 的 ) 
> A, (Afi (x. rank )) 
= AS (x. rank) 
因为 路 径 压 缩 将 使 得 z 与 y 有 相同 的 父 结 点 ， 那 么 在 路 劲 压缩 之 后 ， 有 x. p. rank=y. p. rank, 
并 且 路 径 压缩 并 不 减少 y. p. rank, ALA x. rank 并 没有 改变 ， 在 路 径 压缩 之 后 就 有 x. p. rank 宇 
AD (a. rank)。 因 此 ， 路 径 压 缩 将 致使 iter(z) 增加 (至 少 增加 到 ;十 1) 或 致使 level(z) 增加 ( 当 
iter(x) 至 少 增加 到 x. rank 十 1 时 才 发 生 )。 不 管 发 生 哪 种 情况 ， 根 据 引 理 21.10， 有 加 (x) < 
$i(2)—-1, HU, c<HABD PSB 1. 
FIND-SET 操作 的 挫 还 代价 是 实际 成 本 加 上 势 的 改变 量 。 实 际 成 本 为 Qs) ， 并 且 我 们 已 经 证 明 
势 总 共 下 降 了 至 少 max(0,s 一 (aln) 十 2)) 。 因 此 ， 摊 还 代价 最 多 为 OCs) — (s— (a(n) 十 2)) =s) 一 
5 十 Ola(m)) = O(n) ， 后面 等 式 是 因为 我 们 能 放大 势 的 单位 去 消除 在 OCs) 中 包含 的 内 部 常量 。 E 
把 上 面 的 引 理 综合 在 一 起 ， 就 可 以 产生 下 面 的 定理 。 
定理 21.14 一 组 m 个 MAKE-SET, UNION 和 FIND-SET 操作 的 序列 ， 其 中 nn 个 是 
MAKE-SET 操作 ， 它 能 在 一 个 不 相交 集合 森林 上 使 用 按 秩 合并 与 路 径 压 缩 在 最 坏 情况 时 间 OCm 
a(n)) 内 处 理 完 。 
证 明 根据 引 理 21.7、 引 理 21. 11、 引 理 21.12 和 引 理 21. 13 ， 即 可 得 证 。 a 


练习 

21. 4-1 证 明 引 理 21. 4。 

21. 4-2 证明 : 每 个 结 点 的 秩 最 多 为 | lgnj。 

21.4-3 ”根据 练习 21. 4-2 的 结论 ， 对 于 每 个 结 点 zx， 需 要 多 少 位 (bit) 来 存储 x. rank? 

21.4-4 利用 练习 21. 4-2， 请 给 出 一 个 简单 的 证 明 ， 证明 在 一 个 不 相交 集合 森林 上 使 用 按 秩 合并 
策略 而 不 使 用 路 径 压缩 策略 的 运行 时 间 为 OG ign) 。 

21.4-5 Dane 教授 认为 ， 因 为 各 结 点 的 秩 在 一 条 指向 根 的 简单 路 径 上 是 严格 递增 的 ， 所 以 结 点 
的 级 沿 着 路 径 也 一 定 是 单调 递增 的 。 换 句 换 说 ， 如 果 x. rank>0, 并且 x. p 不 是 一 个 
根 ， 那 么 level(x) < level(z. p) 。 请 问 这 位 教授 的 想法 正确 吗 ? 

*21. 4-6 ZERK a(n) = min{k:A,(1) 宇 lgln 十 1)} 。 证明: 对 于 的 所 有 实际 值 ， 有 a'(n) < 

3 ， 并 利用 练习 21. 4-2， 说 明 如 何 去 修改 势 函 数 的 参数 来 证 明 对 于 一 组 m 个 MAKE- 
SET, UNION 和 FIND-SET 操作 的 序列 (其 中 个 是 MAKE-SET 操作 )， 我 们 能 在 一 个 
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不 相交 集合 森林 上 使 用 按 秩 合 并 与 路 径 压 缩 在 最 坏 情况 时 间 OCma'(n)) 内 处 理 完 。 


思考 题 


21-1 


21-2 


( 脱 机 最 小 值 ) 脱 机 最 小 值 问题 (off-line minimum problem) 是 使 用 INSERT 和 EXTRACT- 
MIN 操作 维护 一 个 元 素 取 自 域 {1，2，…，n} 的 动态 集合 T。 给 定 一 组 包含 ”个 INSERT 
和 m 个 EXTRACT-MIN 的 调用 序列 S， 其 中 属于 {1，2，…， 帮 中 的 每 个 关键 字 只 被 插 人 
一 次 。 我 们 希望 确定 每 个 EXTRACT-MIN 调用 返回 的 是 哪个 关键 字 。 特 别 地 ， 和 希望 对 一 
个 extracted[1..m](i=1, 2, =, m) MATH, 其 中 extracted[Lij] 是 由 第 i 次 
EXTRACT-MIN 调用 所 返回 的 关键 字 。 该 问题 是 “ 脱 机 的 ”， 其 含义 就 是 在 确定 任何 返回 
的 关键 字 之 前 处 理 整 个 序列 S. 
a. 在 下 面 脱 机 最 小 值 问题 的 实例 中 ， 每 个 操作 INSERT(i) 用 一 个 i 值 来 表示 ， 并 且 每 个 
EXTRACT-MIN 用 字母 EE 来 表示 : 
4,8,E,3,E,9,2,6,E,E,E,1,7,E,5 
将 正确 的 值 填 人 extracted 数组 。 
为 了 设计 出 解决 此 问题 的 算法 ， 我 们 把 序列 S 划分 成 若干 个 同 构 的 子 序 列 ， 即 如 下 表 
示 S: 
hs E, LEl stts Ins Es Lea 
这 里 每 个 下 代表 单 次 EXTRACT-MIN 调用 ， 并 且 每 个 工 代表 一 个 (可 能 为 空 的 ) INSERT 
调用 序列 。 对 于 每 个 子 序列 1， 开始 时 把 由 这 些 操 作 插入 的 关键 字 插 入 一 个 集合 K;， 如 果 
LAB, 那么 它 也 为 空 。 然 后 执行 下 面 的 程序 : 
OFF-LINE-MINIMUM(m,n) 
1 fori =1ton 
2 determine j such that i € K; 
3 证 7 Amt 1 
4 extracted[ j] = i 
5 let ! be the smallest value greater than j 
for which set K, exists 
6 K,= K;UK,, destroying K; 


7 return extracted 


b. 证 明 : 由 OFF-LINE-MINIMUM 返回 的 数组 extracted 是 正确 的 。 

c. 描述 如 何 用 不 相交 集合 数据 结构 来 高 效 实现 OFF-LINE-MINIMUM。 给 出 实现 的 最 坏 
情况 运行 时 间 的 紧 确 界 。 

(深度 确定 ) 在 深度 确定 (depth-determination) 问题 中 ， 我 们 通过 以 下 三 个 操作 来 维护 一 

个 有 根 树 的 森林 天 = (T;} : 

MAKE-TREE(v): 创建 一 棵 只 包含 唯一 结 点 v 的 树 。 
FIND-DEPTH(v): 返回 结 点 v 在 树 中 的 深度 。 
GRAFT(r, v): 使 得 结 点 r( 假 定 它 为 一 棵 树 的 树 根 ) 成 为 结 点 v 的 孩子 (假定 它 在 另 

一 棵 树 中 ， 但 是 它 本 身 可 能 是 、 也 可 能 不 是 一 棵 树 的 根 ) 。 

a. 假设 采用 类 似 于 不 相交 集合 森林 的 树 表示 : v 是 结 点 v 的 父 结 点 ， 除 了 vo BR 
v. p 二 wv 的 这 种 情况 。 进 一 步 假 设 ， 我 们 可 以 通过 置 r. p=v KEM GRAFT(r,v) ， 并 且 
可 以 通过 沿 着 查找 路 径 上 升 至 根 , 返回 一 个 除 v 以 外 的 结 点 数 来 实现 
FIND-DEPTH(v) 。 证明: 一 组 m^^ MAKE-TREE, FIND-DEPTH 和 GRAFT 操作 的 
序列 的 最 坏 情况 运行 时 间 是 OG’) 。 
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通过 使 用 按 秩 合 并 与 路 径 压 缩 启发 式 策略 ， 能 减少 最 坏 情况 运行 时 间 。 我 们 使 用 不 相 
交集 合 森 林 了 3 = {S;} ， 其 中 每 个 集合 S: ( 它 本 身 是 一 棵 树 ) 对 应 于 一 棵 森林 多 中 的 树 工 。 
Ri, RAS, 中 的 树 结构 没有 必要 对 应 于 TT; 的 树 结构 。 实 际 上 ，S; 的 实现 并 没有 记录 准 
确 的 父子 关系 ， 但 它 允 许 我 们 确定 T: 中 任意 结 点 的 深度 。 

关键 的 思想 是 维护 每 个 结 点 v 的 一 个 “ 伪 距 离 ”v. 4， 它 被 定义 为 使 得 沿 着 从 v 到 它 的 
集合 S, 的 根 的 简单 路 径 上 的 伪 距 离 之 和 等 于 T; 中 结 点 v 的 深度 。 也 就 是 说 ， 如 果 从 v 到 [583 
它 在 S; 的 根 的 简单 路 径 为 vw。，w，…，v( 这 里 w=v 并 且 v: Æ S: 的 根 )， 那 么 结 点 vv 在 


WT: 上 的 深度 为 Dyd. 
b. 给 出 MAKE-TREE 的 一 种 实现 。 
c 说 明 应 如 何 修 改 FIND-SET 来 实现 FIND-DEPTH。 你 的 实现 要 采用 路 径 压 缩 ， 并 且 它 
的 运行 时 间 应 与 查找 路 径 的 长 度 呈 线性 关系 。 试 确保 你 的 实现 能 正确 地 更 新 伪 距 离 。 
d. 说 明 如 何 实现 GRAFT(r，v)， 它 通过 修改 UNION 和 LINK 过 程 来 合并 包含 r+ 和 w 的 
集合 。 试 确保 你 的 实现 能 正确 地 更 新 伪 距 离 。 并 注意 到 ， 和 集合 S 的 根 没 有 必要 是 对 应 
MT; 的 根 。 
e 试 给 出 一 组 m 个 MAKE-TREE, FIND-DEPTH 和 GRAFT 操作 的 序列 (其 中 个 是 
MAKE-TREE 操作 ) 最 坏 情 况 运 行 时 间 的 一 个 紧 确 界 。 
21-3 (Tarjan 的 脱 机 最 小 公共 祖先 算法 ) 在 一 棵 有 根 树 工 中 ， 两 个 结 点 和 的 最 小 公共 祖先 
(least common ancestor) w #45 A u 和 w 的 一 个 共同 祖先 ， 日 它 有 最 大 的 深度 。 在 脱 机 最 
小 公共 祖先 问题 (off-line least-common-ancestors problem) 中 ， 给 定 一 棵 有 根 树 工 和 一 个 在 
工 中 的 无 序 结 点 对 的 任意 集合 P= 二 {{u，v)}， 我 们 希望 确定 P 中 每 对 的 最 小 公共 祖先 。 
为 了 解决 脱 机 最 小 公共 祖先 问题 ， 下 面 的 过 程 通过 对 LCACT. root) 的 初始 调用 ， 来 执 
行 对 工 的 树 遍 历 。 假 设 在 执行 遍历 之 前 ， 每 个 结 点 被 着 色 为 白色 。 
LCA(u) 
1 MAKE-SET(xu) 
2 FIND-SET(u). ancestor=u 
3 for each child v of u in T 
4 LCA(v) 
5 UNION(u, v) 
6 FIND-SET (u). ancestor=u 
7 u.color=BLACK 
8 for each node v such that {u,v} € P 
9 if v. color= BLACK 


10 print “The least common ancestor of ” 
u“and”v“is” FIND-SET (v). ancestor 584 


a. 证 明 : XIXu, EP, F 10 行 恰好 只 执行 一 次 。 

b. 证 明 : 在 调用 LCA(w) 时 ， 不 相交 集合 数据 结构 的 集合 数 等 于 工 中 的 深度 。 
c 证 明 : 对 于 每 对 (u,v) © P, LCA 能 正确 地 输出 u 和 w 的 最 小 公共 祖先 。 

d. 假设 我 们 使 用 21. 3 节 中 的 不 相交 集合 数据 结构 实现 ， 试 分 析 LCA 的 运行 时 间 。 


本 章 注 记 
不 相交 集合 数据 结构 的 许多 重要 结果 至 少 应 部 分 归功 于 R. E. Tarjan。Tarjan[328，330] 使 用 


聚合 分 析 ， 给 出 了 第 一 个 紧 确 上 界 ， 它 是 用 增长 极 慢 的 Ackerman 函数 的 逆 函 数 a(m,n) 来 表示 
的 。( 在 21.4 节 给 出 的 Ai(j) 类 似 于 Ackermann 函数 ， 并 且 函 数 a(n) 类 似 于 这 个 逆 函 数 。 对 于 


338 + ”第 五 部 分 高 级 数据 结构 


RATRI mAn, a(n) 和 &(m，n) 的 值 都 至 多 为 4。) 一 个 Olg" n) 的 上 界 早 期 由 Hopcroft 
与 Ullman[5，179] 所 证 明 。21. 4 节 中 的 氢 述 是 改编 自 TarjanL332] 后 来 所 做 的 分 析 ， 其 中 Tarjan 
的 工作 又 是 基于 Kozen[ 220j] 的 分 析 而 做 出 的 。 对 于 Tarjan 早期 给 出 的 上 界 ，Harfst 和 Reingold 
[16] 给 出 了 一 个 基于 势 的 版 本 。 

Tarjan 和 van Leeuwen[ 333] 讨 论 了 各 种 路 径 压缩 启发 式 策略 ， 包 括 “ 一 趟 方法 ”， 这 种 方法 
有 时 在 性 能 上 可 以 给 出 比 两 趟 方法 更 好 的 常数 因子 。 与 Tarjan 早期 对 基本 路 径 压 缩 启 发 式 策略 
的 分 析 一 样 ，Tarjan 和 van Leeuwen 给 出 的 分 析 是 聚合 分 析 。Harfst 和 Reingold[ 161] 后 来 证 明 
了 应 如 何 对 势 函 数 做 一 个 小 的 改动 ， 便 可 将 他 们 的 路 径 压 缩 分 析 方 法 应 用 到 这 些 一 趟 的 方法 中 。 
Gabow 和 Tarjan[121 证 明了 在 某 些 特定 的 应 用 中 ， 不 相交 集合 操作 可 以 做 到 在 On) 时 间 内 
运行 。 

TarjanL329] 证 明了 在 任意 满足 特定 技术 条 件 的 不 相交 集合 数据 结构 上 ， 操 作 所 需要 的 时 间 
下 界 为 QCma(lm,n)) 。 这 个 下 界 后 来 由 Fredman 和 Saks[113] 推 广 ， 他 们 证 明了 在 最 坏 情 况 下 ， 

必须 访问 Cm am, n)) gn) 位 的 内 存 字 。 
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由 于 图 论 问题 沙 透 整个 计算 机 科学 ， 图 算法 对 于 计算 机 学 科 至 关 重 
要 。 成 百 上 干 的 计算 问题 最 后 都 可 以 归 约 为 图 论 问题 。 本 书 的 第 六 部 分 就 
对 图 论 里 面 比较 重要 的 一 些 问题 进行 讨论 。 

第 22 章 讨论 如 何在 计算 机 里 表示 一 张 图， 然后 对 图 的 广度 优先 搜索 
和 深度 优先 搜索 算法 进行 讨论 。 同 时 ， 该 章 还 将 讨论 深度 优先 搜索 的 两 个 
应 用 : 有 向 图 的 拓扑 排序 和 将 有 向 图 分 解 为 强 连 通 子 图 。 

第 23 章 阐述 如 何 计算 图 的 最 小 生成 树 。 最 小 生成 树 要 解决 的 问题 是 
在 一 个 每 条 边 都 有 权重 的 图 里 ， 以 最 小 权重 之 和 来 连接 所 有 的 结 点 。 计 算 
最 小 生成 树 的 算法 很 好 地 展示 了 贪心 算法 (关于 贪心 算法 ， 请 参阅 本 书 第 
16 章 的 内 容 )。 

第 24 章 和 第 25 章 讨论 如 何在 权重 图 里 计算 两 个 结 点 之 间 的 最 短路 
径 。 其 中 ， 第 24 章 描述 如 何 找到 从 给 定 源 结 点 至 所 有 其 他 结 点 的 最 短路 
径 ， 而 第 25 章 则 讨论 所 有 结 点 对 之 间 的 最 短路 径 。 

第 26 章 讨论 如 何在 流 网 络 中 计算 出 最 大 流 。 这 里 的 流 网 络 指 的 是 一 
个 有 向 图 ， 其 中 有 一 个 结 点 为 发 出 流量 的 源 结 点 ,一 个 结 点 为 流量 汇集 的 
汇 点 ， 图 中 每 条 边 上 的 权重 代表 该 条 边 所 人 允许 的 最 大 流量 ， 也 称 为 边 的 容 
量 。 流 网 络 问题 是 一 种 通用 问题 ， 它 的 表现 形式 多 种 多 样 ， 一 个 优秀 的 计 
算 最 大 流 的 算法 可 以 有 效 解决 各 种 相关 的 问题 。 

对 图 算法 进行 讨论 需要 有 一 些 约定 和 表述 。 给 定 图 G = (V,E) ， 当 
对 该 图 上 的 一 个 算法 的 运行 时 间 进 行 表述 时 ， 我 们 通常 以 图 的 结 点 数 |V| 
和 边 的 条 数 |E| 作 为 输入 的 规模 。 也 就 是 说 ,我 们 用 的 是 两 个 参数 ， 而 不 
是 一 个 参数 ， 来 描述 输入 的 规模 。 对 这 些 参数 ， 我 们 采用 通常 的 约定 来 进 
行 表述 。 在 渐 近 记号 (如 大 O 表 示 或 大 @ 表示 ) 中 ， 也 仪 当 在 此 种 表示 法 
E, 符号 V 代 表 |V|, 符号 代表 |E|。 例 如 ,我 们 可 以 说 ,“ 某 算法 运 
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行 的 时 间 为 O(VE) ”， 意 味 着 算法 运行 的 时 间 为 O(1V| |E|)。 这 种 约定 使 运行 时 间 的 表达 式 更 
容易 被 理解 ， 而 又 不 会 产生 模糊 性 。 

本 书 采 用 的 另 一 种 约定 涉及 伪 代 码 。 本 书 用 G. V 来 表示 图 G 的 结 点 集 ， 用 G. ERREG 的 
边 集合 。 也 就 是 说 ， 在 伪 代 码 中 ,我 们 将 结 点 和 边 看 做 是 图 的 属性 。 
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本 章 将 介绍 图 的 表示 和 图 的 搜索 。 图 的 搜索 指 的 是 系统 化 地 跟随 图 中 的 边 来 访问 图 中 的 每 
个 结 点 。 图 搜索 算法 可 以 用 来 发 现 图 的 结构 。 许 多 的 图 算法 在 一 开始 都 会 先 通过 搜索 来 获得 图 
的 结构 ， 其 他 的 一 些 图 算法 则 是 对 基本 的 搜索 加 以 优化 。 可 以 说 ， 图 的 搜索 技巧 是 整个 图 算法 领 
域 的 核心 。 

22. 1 节 对 图 的 两 种 最 常见 的 计算 机 表示 法 进行 讨论 。 这 两 种 表示 法 分 别 是 邻接 链表 和 邻接 
矩阵 。22. 2 节 讲 解 一 种 简单 的 图 搜索 算法 ， 称 为 广度 优先 搜索 ， 并 演示 如 何 创 建 一 棵 广度 优先 
树 。22. 3 节 讲 解 深度 优先 搜索 ， 同 时 对 此 种 搜索 所 访问 的 结 点 之 间 的 次 序 进行 讨论 ， 并 对 这 方 
面 的 一 些 标准 结果 进行 证 明 。22. 4 节 给 出 深度 优先 搜索 的 一 个 实际 应 用 : 有 向 无 环 图 中 的 拓扑 
排序 。22. 5 节 则 讨论 深度 优先 搜索 的 另 一 个 实际 应 用 : 在 有 向 图 中 计算 强 连通 分 量 。 


22. 1 图 的 表示 

XTE G= (V,E) ， 可 以 用 两 种 标准 表示 方法 表示 。 一 种 表示 法 将 图 作为 邻接 链表 的 组 合 ， 
另 一 种 表示 法 则 将 图 作为 邻接 矩阵 来 看 待 。 两 种 表示 方法 都 既 可 以 表示 无 向 图 ， 也 可 以 表示 有 
向 图 。 邻 接 链表 因为 在 表示 稀疏 图 ( 边 的 条 数 | 忆 | 远 远 小 于 |V| 的 图 ) 时 非常 紧凑 而 成 为 通常 的 
选择 。 本 书 给 出 的 多 数 图 算法 都 假定 作为 输入 的 图 是 以 邻接 链表 方式 进行 表示 的 。 不 过 ， 在 稠密 
图 (|E| 接 近 |V1? 的 图 ) 的 情况 下 ， 我 们 可 能 倾向 于 使 用 邻接 矩阵 表示 法 。 另 外 ， 如 果 需 要 快速 
判断 任意 两 个 结 点 之 间 是 否 有 边 相 连 ， 可 能 也 需要 使 用 邻接 和 矩阵 表示 法 。 例 如 ， 第 25 章 将 讨论 
的 最 短路 径 算法 中 的 两 种 算法 都 以 邻接 矩阵 来 表示 图 。 

对 于 图 G=(V,E) 来 说 ， 其 邻接 链表 表示 由 一 个 包含 |1V | 条 链表 的 数组 Adj 所 构成 ， 每 个 
结 点 有 一 条 链表 。 对 于 每 个 结 点 vxEV， 邻 接 链 表 Adj[Luj 包 含 所 有 与 结 点 u 之 间 有 边 相 连 的 结 点 
v, Bl Adj[Luj 包 含 图 G 中 所 有 与 邻接 的 结 点 (也 可 以 说 ， 该 链表 里 包含 指向 这 些 结 点 的 指针 ) 。 
由 于 邻接 链表 代表 的 是 图 的 边 ， 在 伪 代 码 里 ， 我 们 将 数组 Adj 看 做 是 图 的 一 个 属性 ， 就 如 我 们 
KURA EE 看 做 是 图 的 属性 一 样 。 因此， 在 伪 代 码 里 ,我们 将 看 到 G. Adj [zj 这 样 的 表示 。 
图 22-1(a) 给 出 的 是 一 个 无 向 图 ， 图 22-1(b) 给 出 的 是 图 22-1(a) 的 邻接 链表 表示 。 类 似 地 ， 
图 22-2(b) 给 出 的 是 图 22-2(a) 的 有 向 图 的 邻接 链表 表示 。 








aA & WN 





(a) Cb) Cc) 


图 22-1 无 向 图 的 两 种 表示 。(a) 一 个 有 5 个 结 点 和 7 条 边 的 无 向 图 G。(b)G 的 邻接 链表 表示 。 
(OG 的 邻接 矩阵 表示 


如 果 G 是 一 个 有 向 图 ， 则 对 于 边 (u， 双 来 说 ， 结 点 v 将 出 现在 链表 Adj[uj 里 ， 因 此 ， 所 有 
邻接 链表 的 长 度 之 和 等 于 |E| 。 如 果 G 是 一 个 无 向 图 ， 则 对 于 边 (“， 了 来 说 ， 结 点 "将 出 现在 链 
表 Adj[uj] 里 , 结 点 将 出 现在 链表 AdjLv] 里 ， 因 此 ， 所 有 邻接 链表 的 长 度 之 和 等 于 2|E|。 但 
不 管 是 有 向 图 还 是 无 向 图 ， 邻 接 链 表 表 示 法 的 存储 空间 需求 均 为 G6(V 十 E)， 这 正 是 我 们 所 希望 
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的 数量 级 。 

1 o AS 

iloi oi oo 

2G 00 Bio 

GG) (2) (3) 3/0 6 O 0 1 1 
Slo 0 0 O00 

S10 6 0 1 6 6 

(4) GS) (6) > elo 0 0 0 0-1 











(ce) 


图 22-2 有 向 图 的 两 种 表示 。(a) 一 个 有 6 个 结 点 和 8 条 边 的 有 向 图 G。(b)G 的 邻接 链表 表示 。 
COG 的 邻接 矩阵 表示 


对 邻接 链表 稍 加 修改 ， 即 可 以 用 来 表示 权重 图 。 权 重 图 是 图 中 的 每 条 边 都 带 有 一 个 相关 的 
权重 的 图 。 该 权重 值 通常 由 一 个 w: E 一 R 的 权重 函数 给 出 。 例 如 ， 设 G= (V,E) 为 一 个 权重 
图 ， 其 权重 函数 为 w， 我 们 可 以 直接 将 边 (u,v) € EMME w(u.v) 存放 在 结 点 x 的 邻接 链表 
里 。 从 这 种 意义 上 说 ， 和 邻接 链表 表示 法 的 鲁 棒 性 很 高 ， 可 以 对 其 进行 简单 修改 来 支持 许多 其 他 的 
图 变种 。 

邻接 链表 的 一 个 潜在 缺陷 是 无 法 快速 判断 一 条 边 (x， 切 是 否 是 图 中 的 一 条 边 ， 唯 一 的 办 法 是 
在 邻接 链表 Adj[uj 里 面 搜索 结 点 w。 邻 接 矩 阵 表 示 则 克服 了 这 个 缺陷 ， 但 付出 的 代价 是 更 大 的 
存储 空间 消耗 (存储 空间 的 渐 近 数量 级 更 大 )( 关 于 如 何在 邻接 链表 上 进行 快速 边 搜索 的 信息 ， 请 
参阅 练习 22. 1-8) 。 

对 于 邻接 矩阵 表示 来 说 ， 我 们 通常 会 将 图 G 中 的 结 点 编 为 1，2，…，|V| ， 这 种 编号 可 以 
是 任意 的 。 在 进行 此 种 编号 之 后 ， 图 G 的 邻接 矩阵 表示 由 一 个 |V| X |V| 的 矩阵 A = Ca) 予以 
表示 ， 该 矩阵 满足 下 述 条 件 : 

人 #(i,j) EE 
"lo 其 他 
图 22-1(c) 和 图 22-2(c) 分 别 给 出 的 是 图 22-1(a) 的 无 向 图 和 图 22-2(a) 的 有 向 图 的 邻接 矩阵 表示 。 
不 管 一 个 图 有 和 多少 条 边 ， 邻 接 和 矩阵 的 空间 需求 丝 为 BC(W ) 。 

从 图 22-1(c) 可 以 看 到 ， 无 向 图 的 邻接 矩阵 是 一 个 对 称 和 矩阵 。 由 于 在 无 向 图 中 , 边 (x，v) 和 
边 (z，z) 是 同一 条 边 ， 无 向 图 的 邻接 矩阵 A 就 是 自己 的 转 置 ， 即 A 二 A 。 在 某 些 应 用 中 ， 可 能 
只 需要 存放 对 角 线 及 其 以 上 的 这 部 分 邻接 矩阵 ( 即 半 个 矩阵)， 从 而 将 图 存储 空间 需求 减少 几乎 
=É, 

与 邻接 链表 表示 法 一 样 ， 邻 接 和 矩阵 也 可 以 用 来 表示 权重 图 。 例 如 ， 如 果 G= V, E) 为 一 个 
权重 图 ， 其 权重 函数 为 w， 则 我 们 直接 将 边 (u，v) EE HWRE wu, v) 存放 在 邻接 矩阵 中 的 第 u 
行 第 v 列 记录 上 。 对 于 不 存在 的 边 ， 则 在 相应 的 行列 记录 上 存放 值 NIL。 不 过 ， 对 于 许多 问题 来 
说 ， 用 0 或 者 ce 来 表示 一 条 不 存在 的 边 可 能 更 为 便捷 。 

虽然 邻接 链表 表示 法 和 邻接 矩阵 表示 法 在 渐 近 意义 下 至 少 是 一 样 空 间 有 效 的 ， 但 邻接 矩阵 
表示 法 更 为 简单 ， 因 此 在 图 规模 比较 小 时 ， 我 们 可 能 更 倾向 于 使 用 邻接 矩阵 表示 法 。 而 且 ， 对 于 
无 向 图 来 说 ， 邻 接 和 矩阵 还 有 一 个 优势 : 每 个 记录 项 只 需要 1 位 的 空间 。 

表示 图 的 属性 

对 图 进行 操作 的 多 数 算 法 需要 维持 图 中 结 点 或 边 的 某 些 属性 。 这 些 属 性 可 以 使 用 通常 的 表 
述 法 来 进行 表示 ， 如 wv. d 表示 结 点 wv 的 属性 4。 当 使 用 一 对 结 点 来 表示 一 条 边 的 时 候 ， 我 们 也 可 
以 使 用 同样 风格 的 表述 。 例 如 ， 如 果 边 有 一 种 属性 ff， 则 边 (x，z) 的 这 种 属性 可 以 表示 为 
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Cu, v). f。 对 于 表示 和 理解 算法 而 言 ， 这 种 属性 表述 足够 清晰 。 

不 过 ,在 算法 的 实际 程序 里 面 实现 结 点 和 边 的 属性 则 完全 是 另外 一 回 事情 。 没 有 什么 最 好 
的 办 法 来 存放 和 访问 结 点 与 边 的 属性 。 对 于 给 定 的 场景 ， 我 们 所 做 出 的 决定 可 能 依赖 于 诸多 因 
K: 所 使 用 的 程序 设计 语言 、 需 要 实现 的 算法 和 程序 中 使 用 图 的 方式 等 因素 。 如 果 使 用 邻接 链表 
来 表示 图 ， 一 种 可 能 的 方法 是 使 用 额外 的 数组 来 表示 结 点 属性 ， 如 一 个 与 Ad7 数组 相对 应 的 数 
组 4d[1.. |V|]。 如 果 与 邻接 的 结 点 都 在 Adj[uj 中 ， 则 属性 u. d 将 存放 在 数组 项 4d[u] 里 。 还 有 
许多 其 他 方法 可 以 用 来 实现 属性 的 表示 。 例 如 ， 在 面向 对 象 的 程序 设计 语言 里 ， 结 点 属性 可 以 表 
示 为 Vertex 类 下 面 的 一 个 子 类 中 的 实例 变量 。 


练习 


22. 1-1 给 定 有 向 图 的 邻接 链表 ， 需 要 多 长 时 间 才 能 计算 出 每 个 结 点 的 出 度 ( 发 出 的 边 的 条 数 )? 
多 长 时 间 才 能 计算 出 每 个 结 点 的 人 度 ( 进 入 的 边 的 条 数 )? 

22. 1-2 给 定 一 棵 有 7 个 结 点 的 完全 二 又 树 的 邻接 链表 ， 请 给 出 等 价 的 邻接 和 矩阵 表示 。 这 里 假设 
结 点 的 编号 为 从 1 一 7。 

22.1-3 AHR G= (V,E) 的 转 置 是 图 GT 二 (V,ET) , XE E = {人 (vyu) EVXV:(u,v) € E}. 
因此 ， 图 G 就 是 将 有 向 图 C 中 所 有 边 的 方向 反 过 来 而 形成 的 图 。 对 于 邻接 链表 和 邻接 
和 矩阵 两 种 表示 ， 请 给 出 从 图 G 计 算出 GT 的 有 效 算法 ， 并 分 析 算 法 的 运行 时 间 。 

22. 1-4 #eZAG= (VE) 的 邻接 链表 (多 图 是 允许 重复 边 和 自 循环 边 的 图 ) ， 请 给 出 一 个 时 间 
为 O(V 十 E) 的 算法 ， 用 来 计算 该 图 的 “等 价 ” 无 向 图 G = (V,E') 的 邻接 链表 表示 。 这 
里 巨 是 将 玉 中 的 元 余 边 和 自 循环 边 删 除 后 余下 的 边 。 删 除 元 余 边 指 的 是 将 两 个 结 点 之 
间 的 多 条 边 替 换 为 一 条 边 。 

22.15 AHK G= (V,E) 的 平方 图 是 图 G = (V,E), XE, W (xm € E 当 目 仅 当 图 G 包 
含 一 条 最 多 由 两 条 边 构 成 的 从 ww 到 w 的 路 径 。 请 给 出 一 个 有 效 算法 来 计算 图 G 的 平方 图 
G*。 这 里 图 G 既 可 以 以 邻接 链表 表示 ， 也 可 以 以 邻接 矩阵 表示 。 请 分 析 算 法 的 运行 
时 间 。 

22.1-6 多 数 以 邻接 和 矩阵 作为 输入 的 图 算法 的 运行 时 间 为 Q(W) ， 但 也 有 例外 。 给 定 图 G 的 邻 
接 和 矩阵 表示 ， 请 给 出 一 个 OM 时 间 的 算法 来 判断 有 向 图 G 是 否 存 在 一 个 通用 汇 点 
(universal sink) 。 通 用 汇 点 指 的 是 入 度 为 |V| 一 1 但 出 度 为 0 的 结 点 。 

22. 1-7 HEARE G= (V,E) 的 关联 矩阵 (incidence matrix) 是 一 个 满足 下 述 条 件 的 |V| X |E| 
矩阵 B= (6b; ): 


1 如 果 边 7 进入 结 点 i 
0 ”其 他 
请 说 明和 矩阵 乘积 BB 里 的 每 一 个 元 素 代 表 什 么 意思 。 这 里 BT 是 矩阵 B 的 转 置 。 
22. 1-8 假定 数组 Adj[uj 的 每 个 记录 项 不 是 链表 ， 而 是 一 个 散 列 表 ， 里 面包 含 的 是 (u,v) € E 
的 结 点 v。 如 果 每 条 边 被 查询 的 概率 相同 ， 则 判断 一 条 边 是 否 在 图 中 的 期 望 时 间 值 是 多 
少 ? 这 种 表示 方式 的 缺陷 是 什么 ? 请 为 每 条 边 链 表 给 出 一 个 不 同 的 数据 结构 来 解决 这 个 
问题 。 与 散 列表 相 比 较 ， 你 所 给 出 的 新 方法 存在 什么 缺陷 吗 ? 


22.2 广度 优先 搜索 


广度 优先 搜索 是 最 简单 的 图 搜索 算法 之 一 ， 也 是 许多 重要 的 图 算法 的 原型 。Prim 的 最 小 生 
成 树 算法 (请 参见 23. 2 节 ) 和 Dijkstra 的 单 源 最 短路 径 算法 (请 参见 24. 3 节 ) 都 使 用 了 类 似 广 度 优 


如 果 边 7 从 结 点 i 发 出 
bij zg 
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先 搜 索 的 思想 。 

AER G= (V,E) 和 一 个 可 以 识别 的 源 结 点 ss， 广度 优先 搜索 对 图 G 中 的 边 进行 系统 性 的 探 
索 来 发 现 可 以 从 源 结 点 s 到 达 的 所 有 结 点 。 该 算法 能 够 计算 从 源 结 点 s 到 每 个 可 到 达 的 结 点 的 距 
离 ( 最 少 的 边 数 )， 同 时 生成 一 棵 “广度 优先 搜索 树 ”。 该 树 以 源 结 点 * 为 根 结 点 ， 包 含 所 有 可 以 从 
s 到 达 的 结 点 。 对 于 每 个 从 源 结 点 s 可 以 到 达 的 结 点 v， 在 广度 优先 搜索 树 里 从 结 点 s 到 结 点 v 的 
简单 路 径 所 对 应 的 就 是 图 G 中 从 结 点 * 到 结 点 v 的 “最 短路 径 ”， 即 包含 最 少 边 数 的 路 径 。 该 算法 
既 可 以 用 于 有 向 图 ， 也 可 以 用 于 无 向 图 。 

广度 优先 搜索 之 所 以 如 此 得 名 是 因为 该 算法 始终 是 将 已 发 现 结 点 和 未 发 现 结 点 之 间 的 边界 ， 
沿 其 广度 方向 向 外 扩展 。 也 就 是 说 ,算法 需要 在 发 现 所 有 距离 源 结 点 s 为 & 的 所 有 结 点 之 后 ， 才 
会 发 现 距 离 源 结 点 s 为 十 1 的 其 他 结 点 。 

为 了 跟踪 算法 的 进展 ， 广 度 优先 搜索 在 概念 上 将 每 个 结 点 涂 上 白色 、 灰 色 或 黑色 。 所 有 结 
点 在 一 开始 的 时 候 均 涂 上 白色 。 在 算法 推进 过 程 中 ， 这 些 结 点 可 能 会 变 成 灰色 或 者 黑色 。 在 搜 
索 过 程 中 ， 第 一 次 遇 到 一 个 结 点 就 称 该 结 点 被 “发 现 ”， 此 时 该 结 点 的 颜色 将 发 生 改 变 。 因 此 ， 
凡是 灰色 和 黑色 的 结 点 都 是 已 被 发 现 的 结 点 。 但 广度 优先 搜索 对 灰色 和 黑色 结 点 加 以 区 别 ， 以 
确保 搜索 按照 广度 优先 模式 进行 推进 ? 。 如 果 边 (u,v) E EE 且 结 点 是 黑色 ， 则 结 点 v 既 可 能 
是 灰色 也 可 能 是 黑色 。 也 就 是 说 ， 所 有 与 黑色 结 点 邻接 的 结 点 都 已 经 被 发 现 。 对 于 灰色 结 点 来 
说 ， 其 邻接 结 点 中 可 能 存在 未 被 发 现 的 白色 结 点 。 灰 色 结 点 所 代表 的 就 是 已 知 和 未 知 两 个 集合 
之 间 的 边界 。 

在 执行 广度 优先 搜索 的 过 程 中 将 构造 出 一 棵 广度 优先 树 。 一 开始 ， 该 树 仅 含有 根 结 点 ， 就 是 
源 结 点 ;s。 在 扫描 已 发 现 结 点 u 的 邻接 链表 时 ， 每 当 发 现 一 个 白色 结 点 w， 就 将 结 点 A 
(xz， 切 同时 加 入 该 棵 树 中 。 在 广度 优先 树 中 ， 称 结 点 x 是 结 点 的 前 驱 或 者 父 结 点 。 由 于 每 个 结 
点 最 多 被 发 现 一 次 ， 它 最 多 只 有 一 个 父 结 点 。 广 度 优先 树 中 的 祖先 和 后 代 关 系 皆 以 相对 于 根 结 
点 s 的 位 置 来 进行 定义 : WER u ENR s 到 结 点 v 的 简单 路 径 上 的 一 个 结 点 ， 则 结 点 zx 
是 结 点 wv 的 祖先 ， 结 点 v 是 结 点 的 后 代 。 

在 下 面 给 出 的 广度 优先 搜索 过 程 BFS 中 ， 假 定 输入 图 G 二 (V，E) 是 以 邻接 链表 所 表示 的 。 
该 算法 为 图 中 每 个 结 点 赋予 了 一 些 额外 的 属性 : 我 们 将 每 个 结 点 的 颜色 存放 在 属性 wx. color 里 ， 
将 zx 的 前 驱 结 点 存放 在 属性 x.r 里 。 如 果 “ 没有 前 驱 结 点 (例如 ， 如 果 x 一 :或 者 结 点 x 尚未 被 发 
W), W u. x 二 NIL。 属 性 wu. d 记录 的 是 广度 优先 搜索 算法 所 计算 出 的 从 源 结 点 s 到 结 点 x 之 间 的 
距离 。 该 算法 使 用 一 个 先进 先 出 的 队列 QC 请 参见 10. 1 节 ) 来 管理 灰色 结 点 集 。 

BFS(G, s) 

1 for each vertex u E G. V — {s} 
2 u. color = WHITE 
3 u. d = ce 
4 u.x = NIL 
5 s. color = GRAY 
6 sd=0 
7 ga = NIL 
8 Q= Ø 
9 ENQUEUE(Q, s) 
10 while Q Æ Ø 





O 我 们 对 灰色 和 黑色 结 点 加 以 区 分 的 目的 是 帮助 理解 广度 优先 搜索 是 如 何 和 运行 的 。 事 实 上 ， 如 练习 22. 2-3 所 示 ， 
即使 不 对 这 两 种 颜色 的 结 点 进行 区 分 ， 获 得 的 结果 仍然 是 相同 的 。 
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ry u = DEQUEUE(Q) 
12 for each v € G. AdjLu] 


13 if v. color == WHITE 
14 v. color = GRAY 
15 vud=udtl 
16 Um =U 

17 ENQUEUE(Q, v) 


18 u. color = BLACK 


图 22-3 描述 的 是 BFS 在 一 个 样本 图 上 的 推进 过 程 。 





图 22-3 BFS 在 无 向 图 上 的 运行 过 程 。 添 加 了 阴影 的 边 是 被 BFS 发 现 的 边 。 每 个 结 点 u 里 面 记 录 的 是 
u.d 的 值 。 图 中 还 给 出 了 在 算法 第 10 一 18 行 的 while 循环 每 次 开始 时 的 队列 Q@ 的 内 容 。 结 点 距 
离 标记 在 队列 相应 结 点 的 下 方 


过 程 BFS 的 工作 过 程 如 下 。 除 了 源 结 点 以外， 算法 的 第 1 一 4 行将 所 有 结 点 涂 上 白色， 将 
EDEA u Wu. d 属性 设置 为 无 穷 ， 将 每 个 结 点 的 父 结 点 设置 为 NIL。 第 5 行将 源 结 点 ; 涂 上 灰 
色 ， 因 为 该 结 点 在 算法 开始 时 已 被 发 现 。 第 6 行将 s d 初始 化 为 0， 第 7 行将 源 结 点 * 的 前 驱 设 
置 为 NIL。 第 8 一 9 行 对 队列 Q 进行 初始 化 ， 该 队列 的 初始 状态 仅 包 含 源 结 点 s。 

算法 第 10~18 行 的 while 循环 一 直 执 行 到 图 中 不 再 有 灰色 结 点 时 结束 。 如 前 所 示 ， 灰 色 结 点 
指 的 是 已 被 发 现 的 结 点 ， 但 其 邻接 链表 尚未 被 完全 检查 。 该 while 循环 的 不 变 式 如 下 : 

在 算法 第 10 行 的 测试 中 ， 队 列 Q 里 面包 含 的 是 灰色 结 点 集合 。 

虽然 我 们 不 打算 使 用 循环 不 变 式 来 证 明 算法 的 正确 性 ， 但 容易 看 出 ， 该 不 变 式 在 第 1 次 循环 
前 成 立 ， 且 每 次 循环 过 程 都 维持 该 不 变 式 的 成 立 。 在 第 1 次 循环 开始 之 前 ， 唯 一 的 灰色 结 点 ， 也 
是 队列 Q 里 面 的 唯一 结 点 ， 是 源 结 点 s。 算 法 第 11 行 取出 队列 Q 的 队 头 结 点 x， 将 其 从 队列 中 删 
除 。 第 12 一 17 行 的 for 循环 对 结 点 u 的 邻接 链表 中 的 每 个 结 点 " 进行 考察 。 如 果 结 点 v 是 白色 
的 ， 则 该 结 点 尚未 被 发 现 ， 算 法 执行 第 14 一 17 行 的 程序 来 发 现 该 结 点 : 算法 将 结 点 v 涂 上 灰色 ， 
将 其 距离 vd 设置 为 u. d 十 1， 并 且 将 结 点 记录 为 结 点 v 的 父 结 点 v.x， 将 其 插入 队列 Q 的 末 
尾 。 算 法 在 检查 完结 点 u 的 邻接 链表 里 的 所 有 结 点 后 将 4 涂 上 黑色 (第 18 行 )。 由 于 一 个 结 点 在 
涂 上 灰色 (第 14 行 ) 的 同时 被 加 入 队列 Q 中 (第 17 行 )， 而 结 点 在 从 队列 里 删除 (第 11 行 ) 的 同时 
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被 涂 上 黑色 (第 18 行 )， 所 以 我 们 前 面 给 出 的 循环 不 变 式 一 直 得 到 保持 。 

广度 优先 搜索 的 结果 可 能 依赖 于 对 每 个 结 点 的 邻接 结 点 的 访问 顺序 (第 12 行 ): 广度 优先 树 
可 能 会 不 一 样 ， 但 本 算法 所 计算 出 来 的 距离 d 都 是 一 样 的 。( 请 参阅 练习 22. 2-5.) 

分 析 

在 证 明 广度 优先 搜索 算法 的 各 种 性 质 前 ， 我 们 先 来 分 析 该 算法 的 运行 时 间 。 在 这 里 ， 我们 将 
使 用 17. 1 节 介 绍 的 聚合 分 析 。 在 初始 化 操作 结束 后 ， 广 度 优先 搜索 不 会 再 给 任何 结 点 涂 上 白色 ， 
因此 ， 第 13 行 的 测试 可 以 确保 每 个 结 点 的 人 队 次 数 最 多 为 一 次 ， 因 而 出 队 最 多 一 次 。 人 队 和 出 
队 的 时 间 均 为 O(1) ， 因 此 ， 对 队列 进行 操作 的 总 时 间 为 OV) 。 因 为 算法 只 在 一 个 结 点 出 队 的 
时 候 才 对 该 结 点 的 邻接 链表 进行 扫描 ， 所 以 每 个 邻接 链表 最 多 只 扫描 一 次 。 由 于 所 有 邻接 链表 
的 长 度 之 和 是 OCE) ， 用 于 扫描 邻接 链表 的 总 时 间 为 OE) 。 初 始 化 操作 的 成 本 是 OM), Alt 
广度 优先 搜索 的 总 运行 时 间 为 O(V 十 E) 。 因 此 ， 广 度 优先 搜索 的 运行 时 间 是 图 G 的 邻接 链表 大 
小 的 一 个 线性 函数 。 

最 短路 径 

在 本 节 开 始 的 时 候 ， 我 们 曾 说 过 ， 广 度 优先 搜索 能 够 找 出 从 给 定 源 结 点 sSEV 到 所 有 可 以 到 
达 的 结 点 之 间 的 距离 。 我 们 定义 从 源 结 点 到 结 点 的 最 短路 径 距 离 6Cs,v) 为 从 结 点 s 到 结 点 v 
之 间 所 有 路 径 里 面 最 少 的 边 数 。 如 果 从 结 点 s 到 结 点 v 之 间 没 有 路 径 ， 则 6(s,v) =o, RK 

[597] ”从 结 点 s 到 结 点 v 的 长 度 为 6(s,v) 的 路 径 为 ;到 wv 的 最 短路 径 9 。 在 证 明 广 度 优 先 搜索 可 以 正确 

计算 出 最 短路 径 距 离 之 前 ， 我 们 先 来 讨论 最 短路 径 距 离 的 一 个 重要 性 质 。 

引 理 22. 1 #2 G=(V,E), 为 一 个 有 向 图 或 无 向 图 ， 设 ;EV 为 任意 结 点 ， 则 对 于 任意 
边 (u，v)EE, Ms, vs, w) +1. 

证 明 RAR UAT UNA s 到 达 的 结 点 ， 则 wv 也 是 从 s 可 以 到 达 的 结 点 。 在 这 种 情 
况 下 ， 从 源 结 点 s 到 结 点 v 的 最 短路 径 距 离 不 可 能 比 从 s Blu 的 最 短路 径 距 离 加 上 边 (u，wv) 更 长 ， 


因此 ， 上 述 不 等 式 成 立 。 如 果 结 点 不 能 从 s 到 达 ， 则 6(s,w) =o, 不等式 显然 成 立 。 a 
我 们 现在 来 证 明 BFS 能 够 正确 计算 出 每 个 结 点 v€EV W o.d = 6(s,v) 。 首 先 证 明 v d 是 
Cs, v) 的 一 个 上 界 。 


引 理 22.2 KRG=(V,E) 为 一 个 有 向 图 或 无 向 图 ， 假定 BFS 以 给 定 结 点 SEV 作为 源 结 点 在 
图 G 上 运行 。 那 么 在 BFS 终结 时 ， 对 于 每 个 结 点 vEV，BFS 所 计算 出 的 vd iA ovd > 
O(s,v) o 

证 明 ”我 们 通过 对 算法 里 面 ENQUEUE 操作 的 次 数 进行 归纳 来 证 明 本 引 理 。 我 们 的 归纳 假 
BRE: 对 于 所 有 的 结 点 vEV, v.d>Ms,v) 。 

归纳 的 基础 是 BFS 在 第 9 行将 源 结 点 加 入 队列 Q 后 的 场景 。 此 时 ， 因 为 s. d= 二 0 二 6(s，3)， 
并 且 对 于 所 有 的 结 点 wEV 一 {*) , v.d 二 oo 这 6(s,v) ， 所 以 归纳 假设 成 立 。 

对 于 归纳 步 ， 考 虑 从 结 点 u 进行 邻接 链表 搜索 时 所 发 现 的 白色 结 点 v。 根 据 归纳 假设 ， 有 
u.d 宇 6(s,u) 。 从 算法 第 15 行 的 赋值 操作 和 引 理 22. 1 可 知 ， 

vud=udt1>s,u)+1>Hs,v) 

结 点 ， 在 这 之 后 被 加 入 到 队列 Q 里 ， 并 且 因 为 在 人 队 时 涂 上 灰色 而 不 会 再 次 人 队 ， 因 此 ， 第 
14~17 行 的 then 子 句 仅 在 白色 结 点 上 执行 。 所 以 , v. d 的 值 不 再 会 发 生变 化 ， 我 们 的 归纳 假设 
成 立 。 国 

要 证 明 v. d = 6(s,v) ， 首 先 需 要 更 加 精确 地 研究 队列 Q 在 BFS 过 程 中 是 如 何 操作 的 。 下 面 

[598] 的 引 理 将 证 明 在 任意 时 刻 ， 队 列 里 面 最 多 包含 两 个 不 同 的 d 值 。 ; 





O 在 第 24 章 和 第 25 章 中 ,我 们 将 把 对 最 短路 径 的 研究 推广 到 权重 图 上 。 在 权重 图 里 ， 每 条 边 都 有 一 个 实数 权重 ， 
一 条 路 径 的 权重 是 组 成 该 路 径 的 所 有 边 的 权重 之 和 。 本 章 所 讨论 的 图 为 无 权重 图 ， 即 所 有 边 的 权重 为 单位 权重 。 
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引 理 22.3 Me BFSEAG=(V,E) 上 运行 的 过 程 中 ， 队 列 Q 包 含 的 结 点 为 (V1，vs，…， 
v), ZE u 是 队列 Q 的 头 ， 是 队列 Q 的 尾 。 那 么 v,.d<yu.dt+l, HANFi=1, 2, 1, 
rl, ty. dE v de 

证 明 ”我 们 仍然 通过 对 算法 里 面 人 队 操作 的 次 数 进行 归纳 来 证 明 本 引 理 。 在 初始 情况 下 ， 
队列 Q 里 仅 包 含 源 结 点 *， 引 理 直 接 成 立 。 

对 于 归纳 步 ， 我 们 必须 证 明 在 人 队 和 出 队 操作 时 ， 引 理 都 成 立 。 如 果 头 结 点 嫉 被 删除 ， 也 
将 变 为 队列 里 新 的 头 结 点 (如 果 队 列 在 删除 头 结 点 后 为 空 ， 则 引 理 直接 成 立 ) 。 根 据 归 纳 假设 ， 我 
们 有 vw.d 二 w. 4d。 但 是 我 们 有 v.du. 4d 十 1 二. d 十 1， 且 余下 的 不 等 式 不 受 影 响 。 因 此 ,在 
v 为 头 结 点 时 引 理 依然 成 立 。 

为 了 理解 在 将 一 个 结 点 加 入 队列 时 发 生 了 什么 事情 ， 我 们 需要 对 算法 进行 更 加 细致 的 检 
查 。 在 算法 的 第 17 行将 结 点 v 加 入 队列 Q@ 时 ， 该 结 点 成 为 结 点 wii 。 在 这 个 时 候 ， 我 们 已 经 删 
除了 结 点 vx， 并 正在 对 该 结 点 的 邻接 链表 进行 检查 。 根 据 归 纳 假设 ， 新 的 头 结 点 mm 满足 wi. d> 
ud, Ak, v4i..d=v.d=u.dtl<vu.dt+l., REAMER, RRA v.du. dtl, AL. 
v. du. d+1=v. d 二 vn.d， 余 下 的 不 等 式 不 受 影响 。 因 此 ， 当 结 点 v 加 入 队列 时 引 理 仍然 
成 立 。 m 

下 面 的 推论 表明 ， 在 结 点 加 入 到 队列 时 ，& 值 随时 间 推 移 单调 增长 。 

推论 22.4 假定 在 执行 BFS 时 ， 结 点 v 和 结 点 v; 都 加 入 到 队列 Q 里 ， 并 且 也 在 了 HHA 
K, MEYAN, 我们 有 v. dv. qd。 

证 明 根据 引 理 22.3， 以 及 每 个 结 点 获得 的 4 值 都 是 有 限 的 且 BFS 过 程 中 最 多 只 取 一 次 d 
值 的 性 质 ， 可 以 立即 得 到 推论 22. 4。 = 

我 们 现在 可 以 来 证 明 广 度 优先 搜索 算法 能 够 正确 计算 出 最 短路 径 距 离 。 

定理 22. 5( 广 度 优先 搜索 的 正确 性 ) 设 G= (V,E) 为 一 个 有 向 图 或 无 向 图 ， 又 假设 BFS 以 
5 为 源 结 点 在 图 G 上 运行 。 那 么 在 算法 执行 过 程 中 ，BFS 将 发 现 从 源 结 点 s 可 以 到 达 的 所 有 结 
点 vEV， 并 在 算法 终止 时 ， 对 于 所 有 的 VEV vd 二 6(s,v) 。 而 且 ， 对 于 任意 可 以 从 到 达 的 
结 点 v 关 3， 从 源 结 点 5 到 结 点 v 的 其 中 一 条 最 短路 径 为 从 结 点 s 到 结 点 v x 的 最 短路 径 再 加 上 
Cuns v). 

证 明 我 们 使 用 反 证 法 来 证 明 本 定理 ,假定 某 些 结 点 获取 的 4 值 并 不 等 于 其 最 短路 径 距 离 。 
设 v 为 这 样 一 个 结 点 ， 则 其 最 短路 径 距 离 为 6(s,v) ， 而 其 所 取得 的 d 值 不 等 于 该 数值 ， 显 然 
v 隆 s。 根 据 引 理 22. 2, vd > 6(s,v) ， 因 此 有 v.d 之 6(s,v) 。 另 外 ， 结 点 vv 必定 是 从 s 可 以 到 达 
的 ， 因 为 如 果 不 是 这 样 ， 则 将 出 现 8(s,v) = co 宇 v.d 。 设 为 从 源 结 点 ; 到 结 点 v 的 最 短路 径 上 
结 点 v 的 直接 前 驱 结 点 ， 则 6Cs,v) = 6Cs,w) 十 1 。 因 为 6Cs,w) <ds.v) ， 并 且 因 为 我 们 对 结 点 wv 
的 选择 ， 所 以 有 u. 4d 二 6(s，w) 。 将 这 些 分 析 合并 起 来 有 : 

vd > (sd) = Ms, +l=ud+l1 (22.1) 
我 们 现在 来 考虑 BFS 选择 将 结 点 v 从 队列 Q@ 里 取出 的 时 间 ( 第 11 行 )。 在 这 个 时 候 ， 结 点 v 可 以 
是 任何 颜色 。 而 我 们 将 证 明 ， 在 每 种 情况 下 ( 即 不 管 v 是 何 种 颜色 的 结 点 )， 我 们 都 将 导出 与 不 等 
式 (22.1) 矛 盾 的 情形 。 如 果 wv 是 白色 结 点 ， 则 算法 的 第 15 行将 设置 v. d5u. d 十 1， 这 与 不 等 式 
22. DFH. WR v 是 黑色 ， 则 该 结 点 已 经 从 队列 里 删除 ， 根 据 推论 22. 4， 我 们 有 vdu. d, 
再 次 与 不 等 式 (22. 1) 矛 盾 。 如 果 v 是 灰色 ， 则 wv 是 在 某 个 结 点 w 出 队 时 被 涂 上 灰色 的 ， 而 结 点 w 
在 结 点 & 之 前 出 队 ， 并 且 vw.d 王 w. d 十 1。 根 据 推论 22.4，w. du.d， 因 此 有 ud=wdtl< 
u. d 十 1， 这 再 次 与 不 等 式 (22. 1) 相 矛盾 。 

因此 ， 我 们 得 出 结论 ， 对 于 所 有 的 vEV, vd = 6Cs,v) 。 所 有 从 ;可 以 到 达 的 结 点 w 都 必定 
被 发 现 ， 否 则 将 有 ce 王 习 4d>6Gs,u) 。 而 要 获得 最 终 的 结论 ， 只 要 注意 到 如 果 v. x 一 w， 则 vw. d= 
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u d 十 1。 因 此 ， 通 过 将 从 源 结 点 s 到 结 点 v. x 的 最 短路 径 加 上 边 (v. x，v)， 我 们 即 可 以 获得 从 源 
结 点 s 到 结 点 wv 的 最 短路 径 。 m 

广度 优先 树 。 

过 程 BFS 在 对 图 进行 搜索 的 过 程 中 将 创建 一 棵 广度 优先 树 ， 如 图 22-3 所 示 。 该 棵 树 对 应 的 
是 x 属性 。 更 形式 化 地 说 ,对 于 图 G= VD MRAR *， 我 们 定义 图 G 的 前 驱 子 图 为 C. 一 
(V,, E), 其 中 V.=={vEV: v.xANIL} U {s}, E={(v.x, v): vEV.—(s}}。 

如 果 V 由 从 源 结 点 s 可 以 到 达 的 结 点 组 成 ， 并 且 对 于 所 有 的 vEV.， 子 图 G 包含 一 条 从 源 
结 点 s 到 结 点 的 唯一 简单 路 径 ， 且 该 路 径 也 是 图 G 里 面 从 源 结 点 s 到 结 点 之 间 的 一 条 最 短路 
径 ， 则 前 驱 子 图 G 是 一 棵 广度 优先 树 。 广 度 优先 树 实际 上 就 是 一 棵 树 ， 因 为 它 是 连通 的 ， 并 且 
|E, | =|V,| 一 1( 请 参阅 本 书 的 定理 B. 2) 。 我 们 称 E. 中 的 边 为 树 边 。 

下 面 的 引 理 表 明 BFS 过 程 所 生成 的 前 驱 子 图 是 一 棵 广度 优先 树 。 

引 理 22.6 当 运 行 在 一 个 有 向 或 无 向 图 G 王 (V, 下 ) 上 时 ，BFS 过 程 所 建造 出 来 的 x 属性 使 
得 前 驱 子 图 G, 二 (V.，EE.) 成 为 一 棵 广度 优先 树 。 

证 明 ”BFS 在 第 16 行 设置 v. r=u 当 目 仅 当 (wu，wv) EE 并 且 6(s,v) 二 ce ， 即 如 果 结 点 v 可 
以 从 源 结 点 s 到 达 ，V 由 从 源 结 点 * 可 以 到 达 的 V 集 合 里 面 的 结 点 所 组 成 。 由 于 G, 形成 一 棵 树 ， 
根据 定理 B. 2， 该 树 包 含 从 源 结 点 s BV, 集合 里 每 个 结 点 的 一 条 唯一 简单 路 径 。 通 过 递归 应 用 
定理 22.5， 我 们 可 以 获得 每 条 这 样 的 路 径 也 是 图 C 里 面 的 一 条 最 短路 径 。 = 

下 面 的 伪 代 码 将 打印 出 从 源 结 点 * 到 结 点 的 一 条 最 短路 径 上 的 所 有 结 点 ， 这 里 假定 BFS E 
经 计算 出 一 棵 广度 优先 树 。 : 

PRINT-PATH(G, s,v) 

1 ifv=—s 

2 print s 

3 elseif v. c== NIL 

4 print “no path from” s “to” v “exists” 

5 else PRINT-PATH(G, s, v. x) 
6 


print v 


因为 每 次 递归 调用 时 的 路 径 都 比 前 一 次 调用 中 的 路 径 少 一 个 结 点 ， 所 以 该 过 程 的 运行 时 间 
是 关于 所 输出 路 径 上 项 点 数 的 一 个 线性 函数 。 


练习 

22. 2-1 请 计算 出 在 有 向 图 22-2(a) 上 运行 广度 优先 搜索 算法 后 的 d 值 和 x 值 。 这 里 假定 结 点 3 
为 算法 所 用 的 源 结 点 。 

22.2-2 请 计算 出 在 图 22-3 所 示 无 向 图 上 运行 广度 优先 搜索 算法 后 的 4d 值 和 x 值 。 这 里 假定 结 点 
u 为 算法 所 用 的 源 结 点 。 


22. 2-3 证 明 : 使 用 单个 位 来 存放 每 个 结 点 的 颜色 即 可 。 这 个 论点 可 以 通过 证 明 将 算法 第 18 行 
的 伪 代 码 删除 后 ，BFS 过 程 生成 的 结果 不 变 来 得 到 。 

22. 2-4 ”如 果 将 输入 的 图 用 邻接 和 矩阵 来 表示 ， 并 修改 算法 来 应 对 此 种 形式 的 输入 ， 请 问 BFS 的 运 
行 时 间 将 是 多 少 ? 

22.2-5 WEH: 在 广度 优先 搜索 算法 里 ， 赋 给 结 点 4 的 u. d 值 与 结 点 在 邻接 链表 里 出 现 的 次 序 无 
关 。 使 用 图 22-3 作为 例子 , 证明: BFS 所 计算 出 的 广度 优先 树 可 以 因 邻 接 链表 中 的 次 
序 不 同 而 不 同 。 

22.26 举 出 一 个 有 向 图 G 二 (V，E) 的 例子 ， 对 于 源 结 点 sEV AAR ECE, ERF 
个 结 点 vEV， 图 (V，E) 中 从 源 结 点 * 到 结 点 wv 的 唯一 简单 路 径 也 是 图 G 中 的 一 条 最 短 
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路 径 ， 但 是 ， 不 管 邻接 链表 里 结 点 之 间 的 次 序 如 何 ， 边 集 E, 都 不 能 通过 在 图 G 上 运行 
BFS 来 获得 。 

22.2-7 ”职业 摔跤 手 可 以 分 为 两 种 类 型 :“ 娃 娃 脸 ”“ 好 人 ”) 型 和 “高 跟 鞋 ”*(“ 坏 人 ”) 型 。 在 任意 一 
对 职业 摔跤 手 之 间 都 有 可 能 存在 竞争 关系 。 假 定 有 ?个 职业 摔跤 手 ， 并 且 有 一 个 给 出 竞 
争 关系 的 > 对 摔跤 手 的 链表 。 请 给 出 一 个 时 间 为 O(n 十 7) 的 算法 来 判断 是 否 可 以 将 某 些 
摔跤 手 划分 为 “娃娃 脸 ” 型 ， 而 剩 下 的 划分 为 “高 跟 鞋 ”型 ， 使 得 所 有 的 竞争 关系 均 只 存在 
于 娃娃 脸型 和 高 跟 鞋 型 选手 之 间 。 如 果 可 以 进行 这 种 划分 ， 则 算法 还 应 当 生 成 一 种 这 样 
的 划分 。 

*22. 2-8 ”我 们 将 一 棵 树 T= 二 (V，E) 的 直径 定义 为 maxvev6(u，v)， 也 就 是 说 ， 树 中 所 有 最 短路 
径 距 离 的 最 大 值 即 为 树 的 直径 。 请 给 出 一 个 有 效 算法 来 计算 树 的 直径 ， 并 分 析 算 法 的 运 
行 时间 。 

22.2-9 G= (V,E) 为 一 个 连通 无 向 图 。 请 给 出 一 个 O(V 十 E) 时 间 的 算法 来 计算 图 G 中 的 一 
条 这 样 的 路 径 : 该 路 径 正 反 向 通过 中 每 条 边 恰 好 一 次 (该 路 径 通 过 每 条 边 两 次 ,但 这 
两 次 的 方向 相反 )。 如 果 给 你 大 量 的 分 币 作为 奖励 ， 请 描述 如 何在 迷宫 中 找 出 一 条 路 。 


22.3 深度 优先 搜索 


深度 优先 搜索 所 使 用 的 策略 就 像 其 名 字 所 隐 含 的 : 只 要 可 能 ， 就 在 图 中 尽量 “深入 ”。 深 度 优 
先 搜索 总 是 对 最 近 才 发 现 的 结 点 vv 的 出 发 边 进 行 探索 ， 直 到 该 结 点 的 所 有 出 发 边 都 被 发 现 为 止 。 
一 旦 结 点 v 的 所 有 出 发 边 都 被 发 现 ， 搜 索 则 “ 回 滴 ” 到 v 的 前 驱 结 点 (wv 是 经 过 该 结 点 才 被 发 现 
的 )， 来 搜索 该 前 驱 结 点 的 出 发 边 。 该 过 程 一 直 持 续 到 从 源 结 点 可 以 达到 的 所 有 结 点 都 被 发 现 为 
止 。 如 果 还 存在 尚未 发 现 的 结 点 ， 则 深度 优先 搜索 将 从 这 些 未 被 发 现 的 结 点 中 任 选 一 个 作为 新 
的 源 结 点 ， 并 重复 同样 的 搜索 过 程 。 该 算法 重复 整个 过 程 ， 直 到 图 中 的 所 有 结 点 都 被 发 现 
ES. 

像 广度 优先 搜索 一 样 ， 在 对 已 被 发 现 的 结 点 4 的 邻接 链表 进行 扫描 时 ， 每 当 发 现 一 个 结 点 v 
时 ， 深 度 优先 搜索 算法 将 对 这 个 事件 进行 记录 ， 将 v 的 前 驱 属 性 v.x 设 置 为 w。 不 过 ， 与 广度 优 
先 搜索 不 同 的 是 ， 广 度 优先 搜索 的 前 驱 子 图 形成 一 棵 树 ， 而 深度 优先 搜索 的 前 驱 子 图 可 能 由 多 
棵 树 组 成 ， 因 为 搜索 可 能 从 多 个 源 结 点 重复 进行 。 因 此 ， 我 们 给 深度 优先 搜索 的 前 驱 子 图 所 下 的 
定义 与 对 广度 优先 搜索 前 驱 子 图 所 下 的 定义 略 有 不 同 : 设 图 GSV, E), 其 中 E, = {0 m, 
v): vEV Hv. x 了 NIL)。 深 度 优先 搜索 的 前 驱 子 图 形成 一 个 由 多 棵 深度 优先 树 构 成 的 深度 优先 
森林 。 和 森林 E, 中 的 边 仍然 称 为 树 边 。 

像 广度 优先 搜索 算法 一 样 ， 深 度 优先 搜索 算法 在 搜索 过 程 中 也 是 对 结 点 进行 涂 色 来 指明 结 
点 的 状态 。 每 个 结 点 的 初始 颜色 都 是 白色 ， 在 结 点 被 发 现 后 变 为 灰色 ， 在 其 邻接 链表 被 扫描 完成 
后 变 为 黑色 。 该 方法 可 以 保证 每 个 结 点 仅 在 一 棵 深度 优先 树 中 出 现 ， 因 此 ， 所 有 的 深度 优先 树 是 
不 相交 的 (disjoint) 。 

除了 创建 一 个 深度 优先 搜索 森林 外 ， 深 度 优先 搜索 算法 还 在 每 个 结 点 盖 上 一 个 时 间 惟 。 每 
SER vA AT TA: 第 一 个 时 间 截 v 4 记录 结 点 v 第 一 次 被 发 现 的 时 间 ( 涂 上 灰色 的 时 候 )， 
BARER v f 记录 的 是 搜索 完成 对 wv 的 邻接 链表 扫描 的 时 间 ( 涂 上 黑色 的 时 候 ) 。 这 些 时 间 戳 


O 也 许 看 上 去 有 点 随意 ， 在 讨论 广度 优先 搜索 算法 时 ， 我 们 将 源 结 点 的 数量 限制 为 一 个 ， 而 深度 优先 搜索 则 可 以 
有 多 个 源 结 点 。 虽 然 从 概念 上 看 ， 广 度 优先 搜索 可 以 从 多 个 源 结 点 开始 搜索 ， 深 度 优先 搜索 也 可 以 限制 为 从 一 
个 源 结 点 开始 ， 但 本 书 所 采取 的 方法 所 反映 的 是 这 些 搜索 结果 是 如 何 被 使 用 的 。 广 度 优先 搜索 通常 用 来 寻找 从 
特定 源 结 点 出 发 的 最 短路 径 距 离 ( 及 其 相关 的 前 驱 子 图 )， 而 深度 优先 搜索 则 常常 作为 男 一 个 算法 里 的 一 个 子 程 
FR, 我 们 将 在 本 章 后 面 的 时 候 看 到 这 点 。 
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提供 了 图 结构 的 重要 信息 ， 通 常 能 够 帮助 推断 深度 优先 搜索 算法 的 行为 。 

下 面 的 深度 优先 搜索 算法 的 伪 代 码 将 其 发 现 结 点 的 时 刻 记录 在 属性 u. a 中 ， 将 其 完成 对 结 
点 处理 的 时 刻 记录 在 属性 u. f 中 。 因 为 |V| 个 结 点 中 每 个 结 点 只 能 有 一 个 发 现 事 件 和 一 个 完成 
事件 ， 所 以 这 些 时 间 惟 都 是 处 于 1 和 21V | 之 间 的 整数 。 很 显然 ， 对 于 每 个 结 点 w， 我 们 有 : 

ud<u. f (22: 2) 
结 点 x 在 时 刻 x.& 之 前 为 白色 ， 在 时 刻 u. 4 Mu. 了 之 间 为 灰色 ， 在 时 刻 u f 之 后 为 黑色 。 

下 面 的 伪 代 码 给 出 的 是 基本 的 深度 优先 搜索 算法 。 输 入 图 G 既 可 以 是 无 向 图 ， 也 可 以 是 有 
向 图 。 变 量 time 是 一 个 全 局 变量 ， 用 来 计算 时 间 戳 。 

DFS(G) 

1 for each vertex u E€ G. V 

2 u. color = WHITE 

u. x = NIL 
time = 0 
for each vertex u € G. V 

if u. color == WHITE 

DFS-VISIT(G, u) 


Nao Nn A wU 


DFS-VISIT(G, u) 


l time = time + 1 // white vertex u has just been discovered 
2 u.d = time 

3 u.color = GRAY 

4 for each v € G;AdjLu] // explore edge (u, v) 

5 if v. color == WHITE 

6 防 开 一 大 

7 DFS-VISIT(G, v) 

8 u.color = BLACK // blacken u; it is finished 

9 time = time + 1 


10 u. f = time 


图 22-4 描述 的 是 深度 优先 搜索 算法 在 图 22-2 上 运行 的 过 程 。 

DFS 的 运行 过 程 如 下 。 第 1 一 3 行将 所 有 的 结 点 涂 成 白色 ， 将 所 有 结 点 的 天 属 性 设置 为 NIL。 
第 4 行将 全 局 时 间 计 数 器 进行 复位 。 第 5 一 7 行 依次 对 每 个 结 点 进行 检查 。 当 一 个 白色 结 点 被 发 
现时 ， 则 使 用 DFS-VISIT 对 结 点 进行 访问 。 每 次 在 算法 第 7 行 调用 DFS-VISIT(G， tw) 时 ， 结 点 u 
便 成 为 深度 优先 森林 中 一 棵 新 的 深度 优先 树 的 根 结 点 。 当 DFS 算 法 返回 时 ， 每 个 结 点 都 已 经 
被 赋予 一 个 发 现时 间 u. d 和 一 个 完成 时 间 . fo 

在 每 次 对 DFS-VISIT(G，z 的 调用 中 ， 结 点 u 的 初始 颜色 都 是 白色 。 算 法 的 第 1 行将 全 局 
变量 time 的 值 进行 递增 ， 第 2 行将 time 的 新 值 记 录 为 发 现时 间 u. 4， 第 3 行将 结 点 zx 涂 上 灰色 。 
第 4 一 7 行 对 结 点 2 的 每 个 邻接 结 点 "进行 检查 ， 并 在 "是 白色 的 情况 下 递归 访问 结 点 六 。 随 着 每 
个 结 点 v€ Adj _ul FER 4 行 被 考虑 ， 我 们 说 深度 优先 搜索 算法 已 经 探索 了 边 (“，z) 。 最 后 ， 在 从 
结 点 “发 出 的 每 条 边 都 被 探索 后 ， 算 法 的 第 8 一 10 THAR u 涂 上 黑色 ， 对 变量 time 的 值 进行 
递增 ， 并 将 完成 时 间 记 录 在 属性 x. f 中 。 

注意 ， 深 度 优先 搜索 的 结果 可 能 依赖 于 算法 DFS 中 第 5 行 对 结 点 进行 检查 的 次 序 和 算法 
DFS-VISIT 的 第 4 行 对 一 个 结 点 的 邻接 结 点 进行 访问 的 次 序 。 不 过 ， 这 些 不 同 的 访问 次 序 在 实际 
中 并 不 会 导致 问题 ， 因 为 我 们 通常 可 以 对 任意 的 深度 优先 搜索 结果 加 以 有 效 利用 ， 并 获得 等 价 
WAR. 
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图 22-4 深度 优先 搜索 算法 DFS 在 有 向 图 上 的 运行 过 程 。 随 着 算法 对 边 的 探索 的 推进 ， 这 些 边 或 者 变 

成 有 阴影 的 边 ( 如 果 它 们 是 树 边 ) ， 或 者 变 为 虚线 边 ( 其 他 情况 ) 。 非 树 边 则 根据 其 为 后 向 (back) 

边 、 横 向 (cross) 边 或 前 向 (forward) 边 而 分 别 标记 为 B、C 或 F。 结 点 中 的 时 间 惟 表明 该 结 点 的 

发 现时 间 和 完成 时 间 

DFS 的 运行 时 间 是 多 少 ? 如 果 排 除 调用 DFS-VISIT 的 时 间 ， 第 1 一 3 行 的 循环 和 第 5 一 7 行 的 
a Ae @(V) 。 就 像 对 待 广度 优先 搜索 算法 一 样 ， 我 们 在 这 里 也 使 用 聚合 分 析 。 对 每 
结 点 vEY 来 说 ，DFS-VISIT 被 调用 的 次 数 刚好 为 一 次 ， 这 是 因为 在 对 一 个 结 点 调用 DFS- 
cate. 该 结 点 u 必须 是 白色 ， 而 DFS-VISIT 所 做 的 第 一 件 事情 就 是 将 结 点 涂 上 灰色 。 在 
Ht DFS-VISIT(G, v 的 过 程 中 ， 算 法 第 4 一 7 行 的 循环 所 执行 的 次 数 为 | Adj[v]|。 由 于 


>, |Adj[v]| = @CE) , Hif DFS-VISIT $% 4~7 行 操作 的 总 成 本 是 BCE) 。 因 此 ， 深 度 优先 搜索 


算法 的 运行 时 间 为 OVE). 

深度 优先 搜索 的 性 质 

深度 优先 搜索 提供 的 是 关于 图 结构 的 价值 很 高 的 信息 。 也 许 深 度 优先 搜索 最 基本 的 性 质 是 ， 
其 生成 的 前 驱 子 图 G 形成 一 个 由 多 棵 树 所 构成 的 森林 ， 这 是 因为 深度 优先 树 的 结构 与 DFS- 
VISIT 的 递归 调用 结构 完全 对 应 。 也 就 是 说 ，x 一 立 当 且 仅 当 DFS-VISIT(C， 了 在 算法 对 结 点 zx 
的 邻接 链表 进行 搜索 时 被 调用 。 此 外 ， 结 点 vv 是 深度 优先 森林 里 结 点 的 后 代 当 上 且 仅 当 结 点 wv 在 
结 点 为 灰色 的 时 间 段 里 被 发 现 。 

深度 优先 搜索 的 另 一 个 重要 性 质 是 ， 结 点 的 发 现时 间 和 完成 时 间 具 有 所 谓 的 括号 化 结构 
(parenthesis structure) 。 如 果 以 左 括号 “(wu” 来 表示 结 点 u 的 发 现 ， 以 右 括号 “zx)” 来 表示 结 点 vw 的 
完成 ， 则 发 现 和 完成 的 历史 记载 形成 一 个 规整 的 表达 式 ， 这 里 “规整 ”的 意思 是 所 有 的 括号 都 适当 
地 购 套 在 一 起 。 例 如 ， 对 图 22-5(a) 进 行 深度 优先 搜索 所 对 应 的 括号 化 结构 如 图 22-5(b) 所 示 。 下 
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面 的 定理 提供 了 另 一 种 对 括号 化 结构 进行 描述 的 方法 。 
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图 22-5 ”深度 优先 搜索 的 性 质 。(a) 有 向 图 上 的 深度 优先 搜索 结果 。 与 图 22-4 一 样 ， 每 个 结 点 都 
有 自己 的 时 间 惟 ， 边 的 类 型 也 在 图 中 了 予以 注 明 。(b) 每 个 结 点 的 发 现时 间 和 完成 时 间 所 
构成 的 区 间 对 应 图 中 所 示 的 括号 化 结构 。 每 个 矩形 区 域 横 跨 由 相应 结 点 的 发 现 和 完成 时 
间 所 给 出 的 时 间 区 间 。 图 中 给 出 的 边 都 是 树 边 ( 非 树 边 被 略 去 了 )。 如 果 两 个 时 间 区 间 存 
在 重 又 ， 则 其 中 一 个 区 间 必 定 完全 于 括 在 男 一 个 区 间 内 部 ， 而 对 应 较 小 区 间 的 结 点 是 对 
应 较 大 区 间 的 结 点 的 后 代 。(c) 对 图 (a) 所 进行 的 重 画 ， 该 图 给 出 了 深度 优先 树 中 所 有 的 
树 边 、 往 下 的 从 祖先 指向 后 代 的 前 向 边 和 往 上 的 从 后 代 指 向 祖先 的 后 向 边 


定理 22.7( 括 号 化 定理 ) ”在 对 有 向 或 无 向 图 G 二 (V,EE) 进行 的 任意 深度 优先 搜索 中 ， 对 于 
任意 两 个 结 点 和 wvw 来 说 ,下面 三 种 情况 只 有 一 种 成 立 : 
。 Ridlud, u. 用 和 区 间 [v. d，wv. 用 完全 分 离 ， 在 深度 优先 森林 中 ， 结 点 不 是 结 点 v0 的 
后 代 ， 结 点 v 也 不 是 结 点 的 后 代 。 
。 区 间 [u. d，u. 用 完全 包含 在 区 间 [v.d，w. 内， 在 深度 优先 树 中 ， 结 点 是 结 点 v 的 
后 代 。 
。 区 间 [v. d，w. 用 完全 包含 在 区 间 [u.d，u. 门 内 ， 在 深度 优先 树 中 ， 结 点 也 是 结 点 的 
后 代 。 
证 明 我 们 从 u. d=w. d 的 情况 开始 。 在 该 情况 下 ， 根 据 不 等 式 vdu. f 是 否 成 立 又 可 以 
分 为 两 种 子 情况 。 第 一 种 子 情况 是 在 v d<u. f 成 立时 ， 结 点 v 在 结 点 仍然 是 灰色 的 时 候 被 发 
现 ， 这 意味 着 结 点 v 是 结 点 的 后 代 。 而 且 ， 因 为 结 点 v 在 结 点 的 后 面 被 发 现 ， 其 所 有 的 出 发 
边 都 已 经 被 探索 完 ， 在 搜索 算法 返回 来 继续 处 理 结 点 时， 结 点 v 的 处 理 已 经 完成 。 在 这 种 情况 
F, KELo. d, v. 用 完全 包含 在 区 间 [Lu. d, u. 了 | 内。 在 第 二 种 子 情况 下 ，u. f 二 wv. d， 根 据 不 等 
式 (22. 2), 我们 有 u. d<u. f<v.d<v. f， 因 此 ， 区 间 [u. d, u. IMKE. d, v 由 是 完全 分 离 
的 ， 没 有 一 个 结 点 是 在 另 一 个 结 点 为 灰色 的 时 候 被 发 现 的 ， 因 此 ， 没 有 一 个 结 点 是 另 一 个 结 点 的 
后 代 。 
对 于 v. d<u. dz 的 情况 ， 证 明 过 程 类 似 ， 只 不 过 将 上 述 证 明 中 的 x 和 w 进行 对 调 即 可 。 a 
推论 22.80GKKAMKE) AAMRADAGCHRERKARKY, SAVABAUHR 
BRS BS u. dv. du. fu. f 成立 。 
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证 明 从 定理 22.7 立即 可 得 。 国 

下 面 的 定理 给 出 的 是 在 深度 优先 森林 中 ， 当 一 个 结 点 是 另 一 个 结 点 的 后 代 时 的 另 一 个 重要 
特征 。 
定理 22. 9( 白 色 路 径 定理 ) ”在 有 向 或 无 向 图 G 二 (V,E) 的 深度 优先 森林 中 ， 结 点 v 是 结 点 丸 
的 后 代 当 且 仅 当 在 发 现 结 点 的 时 间 u.d， 存 在 一 条 从 结 点 到 结 点 的 全 部 由 和 白色 结 点 所 构成 
的 路 径 。 

证 明 >: WR vsu, MAAA DAA 的 路 径 仪 包含 结 点 ww， 而 该 结 点 在 算法 设置 u.d 
的 值 时 仍然 是 白色 的 。 现 在 ,假定 在 深度 优先 森林 中 ， 结 点 v 是 结 点 的 真 后 代 。 根 据 推论 
22.8， 我 们 有 u. 4 二 v. 4， 因 此 结 点 v ÆRA u.d 时 为 白色 。 由 于 结 点 v 可 以 是 w 的 任意 后 代 ， 
在 深度 优先 森林 中 ， 从 结 点 到 结 点 wv 的 唯一 简单 路 径 上 的 所 有 结 点 在 时 刻 x. d 时 都 是 白色 的 。 

<=; 假定 在 时 刻 u. d 时 存在 一 条 从 结 点 到 结 点 v 的 全 部 由 白色 结 点 组 成 的 路 径 ， 但 结 点 v 
在 深度 优先 树 中 却 不 是 结 点 的 后 代 。 不 失 一 般 性 ， 假 定 从 结 点 x 到 结 点 wv 的 路 径 上 除 结 点 v 以 
外 的 每 个 结 点 都 成 为 zx 的 后 代 ( 否 则 ， 可 设 v 为 路 径 上 离 结 点 w 最 近 的 没有 成 为 结 点 的 后 代 的 
结 点 ) 。 设 结 点 也 为 路 径 上 结 点 "的 前 驱 ， 使 得 记 是 zx 的 一 个 后 代 ( 事 实 上 w 和 可 能 是 同一 个 
结 点 )。 根 据 推论 22.8, RIA w Su. fo AAA v 必须 在 结 点 被 发 现 之 后 但 在 结 点 ww 的 


处 理 完成 之 前 被 发 现 ， 所 以 u. dv. d 二 w. fxu. f。 根 据 定理 22.7， 区 间 [v. d, v 用 完全 包含 在 
Klal[ud, u. 几 中 。 根 据 推论 22. 8， 结 点 v 最 后 必然 成 为 结 点 的 后 代 。 a 
边 的 分 类 


深度 优先 搜索 的 另 一 个 有 趣 的 性 质 是 ， 可 以 通过 搜索 来 对 输入 图 G= (V, E 的 边 进行 分 类 。 
每 条 边 的 类 型 可 以 提供 关于 图 的 重要 信息 。 例如， 在 下 一 节 的 讨论 中 ， 我 们 将 看 到 有 向 图 是 无 环 
图 当 且 仅 当 深度 优先 搜索 不 产生 “后 向 ” 边 ( 引 理 22. 11)。 

对 于 在 图 C 上 运行 深度 优先 搜索 算法 所 生成 的 深度 优先 森林 G.， 我 们 可 以 定义 4 种 边 的 
类 型 : 

1. 树 边 : 为 深度 优先 森林 G 中 的 边 。 如 果 结 点 v 是 因 算法 对 边 (u，wv) 的 探索 而 首先 被 发 
现 ， 则 (xx， 切 是 一 条 树 边 。 

2. 后 向 边 : 后 向 边 (x， 妇 是 将 结 点 “连接 到 其 在 深度 优先 树 中 (一 个 ) 祖 先 结 点 过 的 边 。 由 
于 有 向 图 中 可 以 有 自 循环 ， 自 循环 也 被 认为 是 后 向 边 。 

3. 前 向 边 : 是 将 结 点 v 连 接 到 其 在 深度 优先 树 中 一 个 后 代 结 点 的 边 (u，wv)。 

4. 横向 边 : 指 其 他 所 有 的 边 。 这 些 边 可 以 连接 同一 棵 深度 优先 树 中 的 结 点 ， 只 要 其 中 一 个 
结 点 不 是 另外 一 个 结 点 的 祖先 ， 也 可 以 连接 不 同 深度 优先 树 中 的 两 个 结 点 。 

在 图 22-4 和 图 22-5 中 ， 每 条 边 上 的 标签 标明 了 该 条 边 的 类 型 。 图 22-5(c) 同 时 还 描述 了 如 何 
对 图 22-5(a) 进 行 重 画 ， 以 便 让 所 有 的 树 边 和 前 向 边 都 朝 下 指 ， 而 所 有 的 后 向 边 都 朝 上 指 。 事 实 
上 ， 我 们 可 以 将 任何 图 都 重 画 成 这 种 模式 。 

在 遇 到 某 些 边 时 ，DFS 有 足够 的 信息 来 对 这 些 边 进 行 分 类 。 这 里 的 关键 是 ， 当 第 一 次 探索 
Wu, Vit, HA v 的 颜色 能 够 告诉 我 们 关于 该 条 边 的 一 些 信息 。 

1. 结 点 v 为 白色 表明 该 条 边 (4， 履 是 一 条 树 边 。 

2. BA “为 灰色 表明 该 条 边 (x， 妇 是 一 条 后 向 边 。 

3. 结 点 v 为 黑色 表明 该 条 边 (u， 必 是 一 条 前 向 边 或 横向 边 。 
第 一 种 情况 可 以 从 算法 的 规范 中 立即 推 知 。 对 于 第 二 种 情况 ， 只 要 注意 到 ， 灰 色 结 点 总 是 形成 一 
条 线性 的 后 代 链 ， 这 条 链 对 应 当前 活跃 的 DFS-VISIT HAR; 灰色 结 点 的 数量 总 是 比 深度 优先 
森林 中 最 近 被 发 现 的 结 点 的 深度 多 1。 而 算法 对 图 的 探索 总 是 从 深度 最 深 的 灰色 结 点 往 前 推进 ， 
因此 ，( 从 当前 灰色 结 点 ) 通 向 另 一 个 灰色 结 点 的 边 所 到 达 的 是 当前 灰色 结 点 的 祖先 。 第 三 种 情况 
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处 理 的 是 剩 下 的 可 能 性 。 练 习 22. 3-5 将 要 求 读者 证 明 这 种 情况 下 的 边 (u，) 在 u.d 二 v. d 时 为 前 
id, Æ u d>v. d 时 为 横向 边 。 

在 对 边 进行 分 类 时 ， 无 向 图 可 能 给 我 们 带 来 一 些 模糊 性 ， 因 为 边 (u，v) 和 边 (vw，w) 实 际 上 是 
同一 条 边 。 在 这 种 情况 下 ， 我们 将 边 (u，v) 划 分 为 分 类 列表 中 第 一 种 适合 该 边 的 类 型 。 等 价 地 
(请 参阅 练习 22. 3-6)， 我 们 也 可 以 根据 搜索 时 算法 是 先 探 索 到 边 (u，wv) 还 是 边 (w，w) 来 进行 
分 类 。 

我 们 现在 来 证 明 ， 在 对 无 向 图 的 深度 优先 搜索 中 ， 从 来 不 会 出 现 前 向 边 和 横向 边 。 

定理 22. 10 在 对 无 向 图 G 进 行 深度 优先 搜索 时 ， 每 条 边 要 么 是 树 边 ， 要 么 是 后 向 边 。 

证 明 设 (u, 是 G 的 任意 一 条 边 。 不 失 一 般 性 ， 假 定 u. dv 4。 那 么 因为 结 点 v 在 结 点 4 
的 邻接 链表 中 ， 搜 索 算法 将 在 完成 结 点 u 的 处 理 之 前 ( 即 在 结 点 是 灰色 的 时 间 段 里 ) 必 定 发 现 和 
完成 对 结 点 v 的 处 理 。 如 果 在 搜索 算法 第 一 次 探索 边 (4u，) 时 ， 其 方向 是 从 结 点 u 到 结 点 w， 则 结 
点 v 在 该 时 刻 之 前 没有 被 发 现 ( 颜 色 为 白色 )， 否 则 ， 搜 索 算法 将 已 经 从 反方 向 探索 了 这 条 边 。 因 
此 ， 在 这 种 情况 下 ，(x， 世 成 为 一 条 树 边 。 如 果 搜 索 算 法 第 一 次 探索 边 (x， 卫 时 是 从 结 点 立 到 结 点 
的 方向 ， 则 (wu， 功 是 一 条 后 向 边 ， 因 为 在 边 (u， 必 被 第 一 次 探索 时 ， 结 点 仍然 是 灰色 的 。 © 

在 本 章 后 面 的 小 节 中 ， 我们 将 看 到 这 些 定理 的 几 种 应 用 。 


练习 

22.3-1 画 一 个 3X3 的 网 格 ， 行 和 列 的 抬头 分 别 标记 为 白色 、 灰 色 和 黑色 。 对 于 每 个 表单 元 
(i，7)， 请 指出 在 对 有 向 图 进行 深度 优先 搜索 的 过 程 中 ， 是 否 可 能 存在 一 条 边 ， 连 接 一 
个 颜色 为 i 的 结 点 和 一 个 颜色 为 7 的 结 
点 。 对 于 每 种 可 能 的 边 ， 指 明 该 种 边 的 
类 型 。 另外， 请 针对 无 向 图 的 深度 优先 
搜索 再 制作 一 张 这 样 的 网 格 。 

22.3-2 ”给 出 深度 优先 搜索 算法 在 图 22-6 上 的 运 
行 过 程 。 假 定 深 度 优 先 搜 索 算 法 的 第 
5 一 7 行 的 for 循环 是 以 字母 表 顺 序 依次 ”图 22-6 用 于 练习 22. 3-2 和 22. 5-2 的 有 向 图 
处 理 每 个 结 点 ， 并 假定 每 条 邻接 链表 皆 以 字母 表 顺 序 对 里 面 的 结 点 进行 了 排序 。 请 给 出 
每 个 结 点 的 发 现时 间 和 完成 时 间 ， 并 给 出 每 条 边 的 分 类 。 

22.3-3 给 出 图 22-4 的 深度 优先 搜索 的 括号 化 结构 。 

22.3-4 证明: 使 用 单个 位 来 存放 每 个 结 点 的 颜色 已 经 足够 。 这 一 点 可 以 通过 证 明 如 下 事实 来 得 
到 : 如 果 将 DFS-VISIT 的 第 2 行 删除 ，DFS 给 出 的 结果 相同 。 

22.3-5 WEH Cu, vÆ: 
a. 树 边 或 前 向 边 当 且 仅 当 u. dv. dv. fu. fo 
b. 后 向 边 当 且 仅 当 v. du. d<u. fKv. fo 
c. 横向 边 当 且 仅 当 v. 4 过 v. fxu.d<u. fo 

22.3-6 证明: 在 无 向 图 中 ,根据 深度 优先 搜索 算法 是 先 探索 (u，w) 还 是 先 探 索 (v， u) RW 
(u， 马 分 类 为 树 边 或 者 后 向 边 ， 与 根据 分 类 列表 中 的 4 种 类 型 的 次 序 进行 分 类 是 等 价 的 。 

22.3-7 WES DFS 算法 的 伪 代 码 ， 以 便 使 用 栈 来 消除 递归 调用 。 

22.3-8 ”请 给 出 如 下 猜想 的 一 个 反例 : 如 果 有 向 图 G 包 含 一 条 从 结 点 到 结 点 v 的 路 径 ， 并 且 在 对 图 
G 进行 深度 优先 搜索 时 有 ud 二 wv. 4， 则 结 点 v 是 结 点 “在 深度 优先 森林 中 的 一 个 后 代 。 

22.3-9 ”请 给 出 如 下 猜想 的 一 个 反例 : 如 果 有 向 图 G 包 含 一 条 从 结 点 到 结 点 v 的 路 径 ， 则 任何 
对 图 G 的 深度 优先 搜索 都 将 导致 v. 4<u. f. 
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22. 3-10 ”修改 深度 优先 搜索 的 伪 代 码 ， 让 其 打印 出 有 向 图 G 的 每 条 边 及 其 分 类 。 并 指出 ， 如 果 
图 G 是 无 向 图 ， 要 进行 何 种 修改 才能 达到 相同 的 效果 。 

22.3-11 请 解释 有 向 图 的 一 个 结 点 怎样 才能 成 为 深度 优先 树 中 的 唯一 结 点 ， 即 使 结 点 w 同时 
有 入 边 和 出 边 。 

22.3-12 证明: 我 们 可 以 在 无 向 图 G 上 使 用 深度 优先 搜索 来 获得 图 G 的 连通 分 量 ， 并 且 深 度 优 
先 森林 所 包含 的 树 的 棵 数 与 G 的 连通 分 量 数量 相同 。 更 准确 地 说 ， 请 给 出 如 何 修 改 深 
度 优先 搜索 来 让 其 给 每 个 结 点 赋予 一 个 介 于 1 和 之 间 的 整数 值 v.cc， KBR BG 的 
连通 分 量 数 ， 使 得 u. cc 二 v. cc SAM MAR u 和 结 点 v 处 于 同一 个 连通 分 量 中 。 

*22. 3-13 X TAHKE G= (V,E) KH, WR uv 意味 着 图 G 至 多 包含 一 条 从 u 到 的 简单 路 
径 ， 则 图 G 是 单 连 通 图 (singly connected)。 请 给 出 一 个 有 效 算法 来 判断 一 个 有 向 图 是 
否 是 单 连通 图 。 


22.4 拓扑 排序 


本 节 阅 述 如 何 使 用 深度 优先 搜索 来 对 有 向 无 环 图 进行 拓扑 排序 。 对 于 一 个 有 向 无 环 图 G = 
(VE) 来 说 ， 其 拓扑 排序 是 G 中 所 有 结 点 的 一 种 线性 次 序 ， 该 次 序 满足 如 下 条 件 : 如 果 图 G 包 
FA, v), MAR “在 拓扑 排序 中 处 于 结 点 v 的 前 面 (如 果 图 G 包含 环 路 ， 则 不 可 能 排出 一 个 
线性 次 序 )。 可 以 将 图 的 拓扑 排序 看 做 是 将 图 的 所 有 结 点 在 一 条 水 平 线 上 排 开 ， 图 的 所 有 有 向 边 
都 从 左 指向 右 。 因 此 ， 拓 扑 排 序 与 本 书 第 二 部 分 所 讨论 的 通常 意义 上 的 “排序 ”是 不 同 的 。 

许多 实际 应 用 都 需要 使 用 有 向 无 环 图 来 指明 事件 的 优先 次 序 。 图 22-7 描述 的 是 Bumstead 教 
授 每 天 早上 起 床 穿 衣 所 发 生 的 事件 的 次 序 图 。 教 授 必 须 先 穿 某 些 衣服 ， 才 能 再 穿 其 他 衣服 (如 先 
穿 福子 后 才能 再 穿 鞋 )。 有 些 服饰 则 可 以 以 任意 顺序 穿 上 (如 袜子 和 裤子 之 间 可 以 以 任意 次 序 进 
行 穿戴 )。 在 图 22-7(a) 所 示 的 有 向 无 环 图 中 ， 有 向 边 (u，v) 表 明 服 装 x 必须 在 服装 v 之 前 穿 上 。 
对 该 有 向 无 环 图 进行 拓扑 排序 所 获得 的 就 是 一 种 合理 穿 衣 的 次 序 。 图 22-7(b) 将 拓扑 排序 后 的 有 
向 无 环 图 在 一 条 水 平 线 上 展示 出 来 ， 在 该 水 平 线 上 ， 所 有 的 有 向 边 都 从 左 指向 右 。 


@# ) ono 











17/18 11/16 12/15 13/14 9/10 1/8 6/7 25 3/4 
(b) 


图 22-7 (a)Bumstead 教授 对 自己 每 天 早上 的 穿 衣 进 行 的 拓扑 排序 。 每 条 有 向 边 (u，w) 表 明 服 
装 必须 在 服装 wv 之 前 穿 上 。 深 度 优先 搜索 的 发 现时 间 和 完成 时 间 注 明 在 每 个 结 点 旁 
边 。(b) 以 拓扑 排序 展示 的 同一 个 图 ， 所 有 的 结 点 按照 其 完成 时 间 的 逆序 被 排 成 从 左 
至 右 的 一 条 水 平 线 。 所 有 的 有 向 边 都 从 左 指向 右 
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下 面 的 简单 算法 可 以 对 一 个 有 向 无 环 图 进行 拓扑 排序 : 


TOPOLOGICAL-SORT(G) 
1 call DFS(G) to compute finishing times v. f for each vertex v 
2 as each vertex is finished, insert it onto the front of a linked list 


3 return the linked list of vertices 


图 22-7(b) 描 述 的 是 经 过 拓扑 排序 后 的 结 点 次 序 ， 这 个 次 序 与 结 点 的 完成 时 间 恰 好 相反 。 

我 们 可 以 在 OCV +E) 的 时 间 内 完成 拓扑 排序 ， 因 为 深度 优先 搜索 算法 的 运行 时 间 为 
@(V 十 E) ， 将 结 点 插入 到 链表 最 前 端 所 需 的 时 间 为 0(1) ， 而 一 共 只 有 |V | 个 结 点 需要 插入 。 

我 们 将 使 用 下 面 的 引 理 来 证 明 拓 扑 排序 算法 的 正确 性 ， 该 引 理 描述 的 是 有 向 无 环 图 的 特征 。 

引 理 22. 11 一 个 有 向 图 G 二 (V，EE) 是 无 环 的 当 且 仅 当 对 其 进行 的 深度 优先 搜索 不 产生 后 
向 边 。 

证 明 >: 假定 对 图 G 进行 的 深度 优先 搜索 产生 了 一 条 后 癌 边 (xu，w)， 则 在 深度 优先 森林 
中 ， 结 点 "是 结 点 v 的 祖先 。 因 此 ， 图 G 包 含 一 条 从 v Bu 的 路 径 ， 该 路 径 与 后 向 边 (4，wv) 一 起 
形成 一 个 环 路 。 

=; 假定 G 包 含 一 个 环 路 c。。 我 们 下 面 来 证 明 深 度 优先 搜索 将 产生 一 条 后 向 边 。 设 结 点 v 是 
环 路 c 上 第 一 个 被 发 现 的 结 点 ， 设 (u，v) 是 环 路 c 中 结 点 v 前面 的 一 条 边 。 在 时 刻 od, IMEE c 
中 的 结 点 形成 一 条 从 结 点 v 到 结 点 的 全 白色 结 点 路 径 。 根 据 白 色 路 径 定理 ， 结 点 “将 在 深度 优 
先 森 林 中 成 为 结 点 v 的 后 代 。 因 此 ，(u，) 是 一 条 后 向 边 。 国 

定理 22. 12 拓扑 排序 算法 TOPOLOGICAL-SORT 生成 的 是 有 向 无 环 图 的 拓扑 排序 。 

证 明 ”假定 在 有 向 无 环 图 G 二 (V,E) 上 运行 DFS 来 计算 结 点 的 完成 时 间 。 我 们 只 需要 证 明 ， 
对 于 任意 一 对 不 同 的 结 点 u,v EV, WRR G 包 含 一 条 从 结 点 到 结 点 wv 的 边 ， 则 v. f=u. fe 
考虑 算法 DFSCG) 所 探索 的 任意 一 条 边 (u，v)。 当 这 条 边 被 探索 时 ， 结 点 v 不 可 能 是 灰色 ， 因 为 
那样 的 话 ， 结 点 v 将 是 结 点 的 祖先 ， 这 样 (w，w) 将 是 一 条 后 向 边 ， 与 引 理 22. 11 矛盾 。 因 此 ， 
结 点 vu 要么 是 白色 ,要么 是 黑色 。 如 果 结 点 v 是 白色 ， 它 将 成 为 结 点 UMAR, Alb v. f<u. fo 
如 果 结 点 v 是 黑色 ， 则 对 其 全 部 的 处 理 都 已 经 完成 ， 因 此 v f 已 经 被 设置 。 因 为 我 们 还 需要 对 结 
点 进行 探索 ，u. f 尚 需要 设 定 。 但 一 旦 我 们 对 u f 进行 设 定 ， 则 其 数值 必定 比 v. 了 大 ， 即 
v. f<u f。 因 此 ， 对 于 任意 一 条 边 (u，v)， 我 们 有 v <u. f。 a 


练习 

22.4-1 给 出 算法 TOPOLOGICAL-SORT 运行 于 图 22-8 上 时 所 生成 的 结 点 次 序 。 这 里 的 所 有 假 
设 与 练习 22. 3-2 一 样 。 

22.4-2 请 给 出 一 个 线性 时 间 的 算法 ,算法 的 输入 为 一 
个 有 向 无 环 图 G = 二 (VE) 以 及 两 个 结 点 s Mt, 
算法 的 输出 是 从 结 点 ;到 结 点 t 之 间 的 简单 路 径 
的 数量 。 例 如 ， 对 于 图 22-8 所 示 的 有 向 无 环 
图 ， 从 结 点 p 到 结 点 v 一 共有 4 条 简单 路 径 ， 
分 别 是 pov、poryv、posryv 和 psryv。( 本 题 仅 < 
要 求 计数 简单 路 径 的 条 数 ， 而 不 要 求 将 简单 路 ”图 22-8 一 个 用 于 拓扑 排序 的 有 向 无 环 图 
径 本 身 列 举 出 来 。) 

22. 4-3 ”给 出 一 个 算法 来 判断 给 定 无 向 图 G= (V,E) 是 否 包含 一 个 环 路 。 算 法 运行 时 间 应 该 在 
O(WV) 数 量 级 ， 且 与 |E| 无 关 。 

22.4-4 ”证 明 或 反 证 下 述 论断 : 如 果 有 向 图 G 包含 环 路 ， 则 在 算法 TOPOLOGICAL-SORT(G) fit 
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生成 的 结 点 序列 里 ， 图 G 中 与 所 生成 序列 不 一 致 的“ 坏 ” 边 的 条 数 最 少 。 

22.4-5 在 有 向 无 环 图 G 一 (V,E) 上 执行 拓扑 排序 还 有 一 种 办 法 ， 就 是 重复 寻找 人 度 为 0 的 结 
点 ， 输 出 该 结 点 ， 将 该 结 点 及 从 其 发 出 的 边 从 图 中 删除 。 请 解释 如 何在 OC(V 十 EE) 的 时 
间 内 实现 这 种 思想 。 如 果 图 G 包 含 环 路 ， 将 会 发 生 什么 情况 ? 


22.5 强 连 通 分 量 

我 们 现在 来 考虑 深度 优先 搜索 的 一 个 经 典 应 用 : 将 有 向 图 分 解 为 强 连通 分 量 。 本 节 将 阐述 
如 何 使 用 深度 优先 搜索 来 做 到 这 一 点 。 许 多 针对 有 向 图 的 算法 都 以 此 种 分 解 操作 开始 。 在 将 图 
分 解 为 强 连通 分 量 后 ， 这 些 算 法 将 分 别 运 行 在 每 个 连通 分 量 上 ， 然 后 根据 连通 分 量 之 间 的 连接 
结构 将 各 个 结果 组 合 起 来 ， 从 而 获得 最 终 所 需 的 结果 。 

从 本 书 附录 也 的 讨论 可 知 ， 有 向 图 G= (V,E) 的 强 连通 分 量 是 一 个 最 大 结 点 集合 CCV， 对 
于 该 集合 中 的 任意 一 对 结 点 和 w 来 说 ， 路 径 u~3v 和 路 径 v~2u 同时 存在 ; 也 就 是 说 ， 结 点 z 
和 结 点 v 可 以 互相 到 达 。 图 22-9 描述 的 是 强 连通 分 量 的 一 个 例子 。 





Cc) 


图 22-9 (a) 有 向 图 G。 每 个 加 了 阴影 的 区 域 是 G 的 一 个 强 连通 分 量 。 每 个 结 点 上 注 明 了 其 在 深 
度 优先 搜索 中 的 发 现时 间 和 完成 时 间 ， 所 有 的 树 边 都 加 了 额外 的 阴影 。(b) 图 G 的 转 
BAG’, 图 中 注 明 了 由 算法 STRONGLY-CONNECTED-COMPONENTS 第 3 行 所 计 
算出 来 的 深度 优先 森林 ， 所 有 树 边 都 加 上 了 额外 的 阴影 。 每 个 强 连 通 分 量 对 应 一 棵 深 
度 优先 树 。 加 了 深 阴 影 的 结 点 5、c、g MA 全 部 是 深度 优先 树 的 根 结 点 。 这 些 深度 优 
JOM ERE G 上 运行 深度 优先 搜索 算法 所 获得 的 。(c) 无 环 分 量 图 GCS, AYA 
G 的 强 连通 分 量 进行 收缩 而 成 ， 这 种 收缩 将 每 个 强 连通 分 量 收缩 为 一 个 结 点 ， 即 由 一 
个 结 点 来 替换 整个 连通 分 量 
我 们 用 于 寻找 强 连 通 分 量 的 算法 需要 用 到 图 G 二 (V，E) 的 转 置 ， 在 练习 22. 1-3 中 将 其 定义 
为 G'==(V，ET), XBE™=((u, vw):(v，t) EE)。 也 就 是 说 ，ET 由 对 图 G 中 的 边 进行 反 向 而 
获得 。 给 定 图 G 的 邻接 链表 ,创建 G 的 时 间 为 OC(V 十 E)。 有 趣 的 是 ， 图 G 和 图 GT 的 强 连通 分 
量 完全 相同 : u 和 w 在 图 G 中 可 以 相互 到 达 当 且 仅 当 它 们 在 图 G7 中 可 以 相互 到 达 。 图 22-9(b) 描 
述 的 就 是 图 22-9(a) 的 转 置 ， 我 们 在 其 强 连 通 分 量 上 加 了 阴影 。 
下 面 的 线性 时 间 ( 即 @CV + ED 时 间 ) 算 法 使 用 两 次 深度 优先 搜索 来 计算 有 向 图 G 王 (V, 尼 ) 的 
强 连通 分 量 。 这 两 次 深度 优先 搜索 一 次 运行 在 图 G 上 ， 一 次 运行 在 转 置 图 GT E. 
STRONGLY-CONNECTED-COMPONENTS(G) 
1 call DFS (G) to compute finishing times u. f for each vertex u 
2 compute GT 
3 call DFS(G"), but in the main loop of DFS, consider the vertices 


in order of decreasing u. f (as computed in line 1) 
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4 output the vertices of each tree in the depth-first forest formed in line 3 as a 


separate strongly connected component 


上 述 算法 背后 的 思想 来 自 于 分 量 图 GY 二 (V3 ，FEsc ) 的 一 个 关键 性 质 ， 这 个 关键 性 质 的 定 
XLF: 假定 图 G 有 强 连 通 分 量 Ci， Gis ks Cys 结 点 集 Vs 为 {w， We 有 Up} 对 于 图 G 的 
每 个 强 连通 分 量 G 来 说 ， 该 集合 包含 代表 该 分 量 的 结 点 vw;。 如 果 对 于 某 个 xEC; MyEG, KG 
包含 一 条 有 向 边 (x，y)， 则 边 (v， wv)E EX*。 从 另 一 个 角度 来 看 ， 通 过 收缩 所 有 相 令 结 点 都 在 
同一 个 强 连通 分 量 中 的 边 ， 剩 下 的 图 就 是 GX*。 图 22-9(c) 描 述 的 就 是 图 22-9(a) 的 分 量 图 。 

分 量 图 的 关键 性 质 就 是 : 分 量 图 是 一 个 有 向 无 环 图 。 该 事实 可 由 下 面 的 引 理 所 推出 。 

引 理 22. 13 设 C 和 C' 为 有 向 图 G 二 (VE) 的 两 个 不 同 的 强 连 通 分 量 ， 设 结 点 WU，vEC， 结 
点 Uw ，v'EC ,假定 图 G 包含 一 条 从 结 点 刀 到 结 点 ' 的 路 径 u~+u 。 那 么 图 G 不 可 能 包含 一 条 从 
结 点 v 到 结 点 v 的 路 径 v' 人 7 v。 

证 明 WRAL G 包 含 一 条 从 结 点 v' 到 结 点 vv 的 路 径 v~v， 则 G 也 将 包含 路 径 u ~u~ oA 
v~3v~2u。 因 此 , ww 和 w' 可 以 互相 到 达 ， 从 而 与 C 和 C' 是 不 同 的 强 连 通 分 量 的 假设 矛盾 。 m 

在 后 面 我 们 将 看 到 ， 在 进行 第 二 次 深度 优先 搜索 时 ， 以 第 一 次 深度 优先 搜索 所 计算 出 的 结 
点 完成 时 间 的 递减 顺序 来 对 结 点 进行 考察 ， 我 们 实际 上 是 在 以 拓扑 排序 的 次 序 来 访问 分 量 图 中 
的 结 点 (每 个 结 点 对 应 图 G 的 一 个 强 连通 分 量 )。 

因为 算法 STRONGLY-CONNECTED-COMPONENTS 执行 两 次 深度 优先 搜索 ， 在 讨论 u. d 
或 u. 了 时 可 能 存在 潜在 的 模糊 性 。 在 本 节 的 讨论 中 ， 这 些 值 指 的 都 是 第 一 次 深度 优先 搜索 (算法 
第 1 行 ) 所 计算 出 的 发 现时 间 和 完成 时 间 。 

下 面 我 们 将 结 点 的 发 现时 间 和 完成 时 间 的 概念 推广 到 结 点 集合 上 : 如 果 结 点 集合 USCSV， 则 
定义 dU) =min{u. d} Fil fU) =max({u. fi. EREK, dA CCD 分别 是 结 点 集合 U 中 所 有 
结 点 里 最 早 的 发 现时 间 和 最 晚 的 完成 时 间 。 

下 面 的 引 理 及 其 推论 给 出 的 是 一 个 关键 性 质 ， 该 性 质 将 图 G 的 强 连通 分 量 与 第 一 次 深度 优 
先 搜索 所 计算 出 的 完成 时 间 关 联 起 来 。 

引 理 22.14 CHC ARAAG=(V, 万 ) 的 两 个 不 同 的 强 连 通 分 量 。 假 如 存在 一 条 边 
(us VEE, RE uEC, vEC', M f(O>f(C). 

证 明 ”根据 深度 优先 搜索 算法 中 最 早 发 现 的 结 点 在 哪个 强 连 通 分 量 里 而 分 为 两 种 情况 进行 考虑 。 

第 一 种 情况 : WR d(C) 二 d(C'), . 设 工 为 连通 分 量 C 中 最 早 被 发 现 的 结 点 ， 那 么 在 时 刻 
z.d, WA CAC 中 的 结 点 都 是 白色 的 。 在 该 时 刻 ， 图 G 包含 一 条 从 结 点 x 到 C 中 每 个 结 点 的 仅 
包含 白色 结 点 的 路 径 。 因 为 (u，v) EE， 对 于 任意 结 点 wEC ， 在 时 刻 x.d 时 ，G 中 也 存在 一 条 
从 结 点 xz 到 结 点 ww 的 仅 包含 白色 结 点 的 路 径 x ~ 一 v~2>w。 根 据 白色 路 径 定理 ， 连 通 分 量 C 和 
C 中 的 所 有 结 点 都 成 为 深度 优先 树 里 结 点 工 的 后 代 。 根 据 推论 22. 8， 结 点 z 的 完成 时 间 比 其 所 
有 的 后 代 都 晚 ， 因 此 zx. f=f(O>f(C). 

第 二 种 情况 : WROC), Ry AC 中 最 早 被 发 现 的 结 点 ， 那 么 在 时 刻 y 4， 所 有 C 
中 的 结 点 都 是 白色 的 ， 且 图 G 包 含 一 条 从 结 点 y 到 C 中 每 个 结 点 的 仅 包 含 白 色 结 点 的 路 径 。 根 
据 白 色 路 径 定 理 ， 连 通 分 量 C 中 的 所 有 结 点 都 将 成 为 深度 优先 树 里 结 点 y 的 后 代 。 根 据 推论 
22.8，y. f=f(C). ENZAly 4 时 ， 连 通 分 量 C 中 的 所 有 结 点 都 是 白色 的 。 由 于 存在 边 (u，w) 
将 C 连 接 到 C ， 引 理 22. 13 告诉 我 们 ， 不 可 能 存在 一 条 从 C 到 C 的 路 径 。 因 此 ，C 中 的 结 点 不 
可 能 从 y 到达。 在 时 刻 y f 时 ， 所 有 C 中 的 结 点 仍然 是 白色 。 因 此 ， 对 于 任意 结 点 wEC 来 说 ， 
RIE w >y. f， 这 就 意味 着 [CO>f(C). m 

下 面 的 推论 告诉 我 们 ， 转 置 图 G 中 连接 不 同 强 连通 分 量 的 每 条 边 都 是 从 完成 时 间 较 早 ( 第 
一 次 深度 优先 搜索 所 计算 出 的 完成 时 间 ) 的 分 量 指向 完成 时 间 较 迟 的 分 量 。 


$226 基本 的 图 算法 。 359 


推论 22.15 CHC 为 有 向 图 G 二 (V，E) 的 两 个 不 同 的 强 连 通 分 量 ,， 假如 存在 一 条 边 
(u, EE", 28 uEC, vEC'， 则 f(O<f(C). 

证 明 HFA, DEE, RIA, WEE. K GARG 的 强 连通 分 量 相 同 ， 引 理 
22. 14 EWR., O<. E 

推论 22. 15 是 我 们 理解 为 什么 强 连通 分 量 算 法 能 够 正确 工作 的 关键 。 我 们 来 看 一 下 在 进行 第 
二 次 深度 优先 搜索 时 到 底 发 生 了 什么 。 第 二 次 深度 优先 搜索 运行 在 图 G 的 转 置 图 G” 上。 我 们 从 
完成 时 间 最 晚 的 强 连通 分 量 C 开始 。 搜 索 算法 从 C 中 的 某 个 结 点 开始 ， 访 问 C 中 的 所 有 结 点 。 
根据 推论 22. 15，GT 不 可 能 包含 从 C 到 任何 其 他 强 连 通 分 量 的 边 ， 因 此 ， 从 结 点 z 开始 的 搜索 
不 会 访问 任何 其 他 分 量 中 的 结 点 。 因 此 ， 以 z 为 根 结 点 的 树 仅 包含 C 的 所 有 结 点 。 在 完成 对 C 
中 所 有 结 点 的 访问 后 ， 算 法 第 3 行 从 另 一 个 强 连通 分 量 C 选择 一 个 结 点 作为 根 结 点 来 继续 进行 
深度 优先 搜索 ， 这 里 f(C') 的 取 值 在 除 C 以 外 的 所 有 强 连通 分 量 里 面 为 最 大 。 再 一 次 ， 搜 索 算 法 
将 访问 C' 中 的 所 有 结 点 ， 但 是 根据 推论 22.15, 图 G 中 从 C 到 任何 其 他 连通 分 量 的 边 必 定 是 从 
C'A C 的 边 ， 而 这 些 边 我 们 已 经 访问 过 。 一 般 来 说 ， 当 算法 第 3 行 对 G 的 深度 优先 搜索 访问 任 
意 一 个 强 连 通 分 量 时 ， 从 该 连通 分 量 发 出 的 所 有 边 只 能 是 通 向 已 经 被 访问 过 的 强 连通 分 量 。 因 
此 ， 每 棵 深度 优先 树 恰恰 是 一 个 强 连通 分 量 。 下 面 的 定理 对 该 论点 进行 了 正式 表述 。 

定理 22.16 算法 STRONGLY-CONNECTED-COMPONENTS 能 够 正确 计算 出 有 向 图 G 的 
强 连通 分 量 。 

证 明 我们 以 算法 第 3 行 对 图 GT 进行 深度 优先 搜索 时 所 发 现 的 深度 优先 树 的 棵 数 来 进行 归 
纳 。 我 们 的 归纳 假设 是 , 算法 第 3 行 所 生成 的 前 面 & 棵 树 都 是 强 连 通 分 量 。 归 纳 证 明 的 初始 情况 
是 R=O 时 ， 归 纳 假设 显然 成 立 。 

在 归纳 步 ， 假 定 算法 第 3 行 所 生成 的 前 下 棵 树 都 是 强 连通 分 量 ， 现 在 需要 考虑 第 (& 十 1) 棵 
树 。 设 该 树 的 根 结 点 为 w， 结 点 处 于 强 连通 分 量 C 中 。 根 据 我 们 在 算法 第 3 行 选择 深度 优先 搜 
索 的 根 结 点 的 方式 ， 对 于 任意 除 C 以 外 且 尚 未 被 访问 的 强 连通 分 量 C' 来 说 ， 有 .f==f(O) 二 
f(C')。 根 据 归纳 假设 ， 在 搜索 算法 访问 结 点 u 的 时 刻 ，C 中 的 所 有 结 点 都 是 白色 的 。 根 据 白色 
路 径 定理 ，C 中 的 其 他 所 有 结 点 都 是 结 点 在 深度 优先 树 中 的 后 代 。 而 且 ， 根据 归 纳 假设 和 推论 
22.15， 转 置 图 G 中 所 有 从 C 发 出 的 边 只 能 是 指向 已 经 访问 过 的 强 连通 分 量 。 因 此 ， 除 C 以 外 
的 强 连通 分 量 中 的 结 点 不 可 能 在 对 G" 进行 深度 优先 搜索 时 成 为 结 点 u 的 后 代 。 因 此 ， 转 置 图 G 
里 根 结 点 为 结 点 x 的 深度 优先 树 中 的 所 有 结 点 恰好 形成 一 个 强 连 通 分 量 。 a 

我 们 也 可 以 从 另 一 个 角度 来 看 第 二 次 深度 优先 搜索 的 运行 过 程 。 考 虑 转 置 图 GC 的 分 量 图 
(G”)*Y。 如 果 将 第 二 次 深度 优先 搜索 所 访问 的 每 个 强 连 通 分 量 映射 到 (G7)Y 的 一 个 结 点 上 ， 则 
第 二 次 深度 优先 搜索 将 以 拓扑 排序 次 序 的 逆序 来 访问 (G”)™Y 中 的 结 点 。 如 果 将 (G7)Y 中 的 边 翻 
转 过 来 ， 我 们 将 获得 图 ((GT)sc)T。 因 为 ((GT)s)T 王 GCC (请 参阅 练习 22. 5-4) ， 所 以 第 二 次 深度 
优先 搜索 是 以 拓扑 排序 次 序 访问 GY 中 的 结 点 的 。 


练习 

22.5-1 如 果 在 图 G 中 加 入 一 条 新 的 边 ，G 中 的 强 连通 分 量 的 数量 会 发 生 怎样 的 变化 ? 

22.5-2 给 出 算法 STRONGLY-CONNECTED-COMPONENTS 在 图 22-6 上 的 运行 过 程 。 具 体 要 
求 是 ,给 出 算法 第 1 行 所 计算 出 的 完成 时 间 和 第 3 行 所 生成 的 森林 。 假 定 DFS 的 第 
5 一 7 行 的 循环 是 以 字母 表 顺 序 来 对 结 点 进行 处 理 ， 并 且 连 接 链表 中 的 结 点 也 是 以 字母 表 
顺序 排列 好 的 。 

22.5-3 Bacon 教授 声称 ， 如 果 在 第 二 次 深度 优先 搜索 时 使 用 原始 图 G 而 不 是 图 G 的 转 置 图 GT， 
并 且 以 完成 时 间 的 递增 次 序 来 扫描 结 点 ， 则 计算 强 连 通 分 量 的 算法 将 会 更 加 简单 。 这 个 
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22. 5-4 


22. 5-5 


22. 5-6 


22. 5-7 


第 六 部 分 图 算 法 


更 加 简单 的 算法 总 是 能 计算 出 正确 的 结果 吗 ? 

证 明 ， 对 于 任意 有 向 图 G 来 说 ，((GT)scc)T 一 GSC 。 也 就 是 说 ， 转 置 图 GC 的 分 量 图 的 转 
置 与 图 G 的 分 量 图 相同 。 

给 出 一 个 时 间 复 杂 度 为 OC(V 十 E) 的 算法 来 计算 有 向 图 G 二 (V，E) 的 分 量 图 。 请 确保 在 
算法 所 生成 的 分 量 图 中 ， 任 意 两 个 结 点 之 间 至 多 存在 一 条 边 。 

给 定 有 向 图 G==(V，E)， 请 说 明 如 何 创建 男 一 个 图 G'=(V, E), 使 得 :(a)G 的 强 连 
通 分 量 与 G 的 相同 ，(b)G 的 分 量 图 与 G 的 相同 ， 以 及 (c)EF' 所 包含 的 边 尽 可 能 少 。 请 
给 出 一 个 计算 图 G' 的 快速 算法 。 

给 定 有 向 图 G 一 (V，E)， 如 果 对 于 所 有 结 点 对 uw，vEV，, 我 人 有 wu~2v 或 ~2u， 则 GG 
是 半 连 通 的 。 请 给 出 一 个 有 效 的 算法 来 判断 图 G 是 否 是 半 连 通 的 。 证 明 算 法 的 正确 性 
并 分 析 其 运行 时 间 。 


思考 题 


22-1 ( 


以 广度 优先 搜索 来 对 图 的 边 进行 分 类 ) ”深度 优先 搜索 将 图 中 的 边 分 类 为 树 边 、 后 向 边 、 


前 向 边 和 横向 边 。 广 度 优先 搜索 也 可 以 用 来 进行 这 种 分 类 。 具 体 来 说 ， 广 度 优先 搜索 将 从 
源 结 点 可 以 到 达 的 边 划分 为 同样 的 4 种 类 型 。 
a. 证 明 在 对 无 向 图 进行 的 广度 优先 搜索 中 ， 下 面 的 性 质 成 立 : 


= 


1. 不 存在 后 向 边 ， 也 不 存在 前 向 边 。 

2. 对 于 每 条 树 边 (u，v)， 我 们 有 v.d=u.d+1. 

3. 对 于 每 条 横向 边 (u，v)， RTA v. d=u. 4 或 v.d 二 u. qd 十 1。 
证 明 在 对 有 向 图 进行 广度 优先 搜索 时 ， 下 面 的 性 质 成 立 : 

1. 不 存在 前 向 边 。 

2. 对 于 每 条 树 边 (u，v)， RA v. d=u.d+1, 

3. 对 于 每 条 横向 边 (w，wv) ， 我 们 有 v.d<u.d+1, 

4. 对 于 每 条 后 向 边 (u，wv)， 我 们 有 0v. dv d. 


22-2 (衔接 点 、 桥 和 双 连 通 分 量 ) ” 设 G 二 (V，E) 为 一 个 连通 无 向 图 。 图 G 的 衔接 点 是 指 图 G 
中 的 一 个 结 点 ， 删 除 该 结 点 将 导致 图 不 连通 。 图 G 的 桥 是 指 图 中 的 一 条 边 ， 删 除 该 条 边 ， 
图 就 不 再 连通 。 图 G 的 双 连 通 分 量 是 指 一 个 最 大 的 边 集合 ， 里 面 的 任意 两 条 边 都 处 于 同一 
条 简单 环 路 中 。 图 22-10 描述 的 就 是 这 些 概念 的 定义 。 我 们 可 以 使 用 深度 优先 搜索 算法 来 
判断 图 G 的 衔接 点 、 桥 和 双 连 通 分 量 。 设 G.=(V, ED AR G 的 深度 优先 树 。 


a. 





图 22-10 思考 题 22-2 中 所 用 到 的 连通 无 向 图 的 衔接 点 、 桥 和 双 连 通 分 量 。 图 中 深 阴 影 的 
结 点 为 衔接 点 ， 深 阴影 的 边 为 桥 ， 图 中 阴影 履 盖 的 区 域 中 的 边 ( 旁 边 示 出 了 一 
个 bee 编号 ) 表 示 双 连通 分 量 


证 明 : G, 的 根 结 点 是 图 G 的 衔接 点 当 且 仅 当 它 在 G. 中 至 少 有 两 个 子 结 点 。 


b. 设 结 点 v 为 G 的 一 个 非 根 结 点 。 证 明 : "是 G 的 衔接 点 当 且 仅 当 结 点 v 有 一 个 子 结 点 


s， 且 没有 任何 从 结 点 s 或 任何 s 的 后 代 结 点 指向 v 的 真 祖先 的 后 向 边 。 
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ce 定义 


v.d 
wd: (u, WEEK VAR ERA Ru 的 一 条 后 向 边 
请 说 明 如 何在 OC(E) 的 时 间 内 为 所 有 结 点 v 计 算出 v. low 的 值 。 
d. 说明 如 何在 OCE) 时 间 内 计算 出 图 G 的 所 有 衔接 点 。 
e WH: 图 G 的 一 条 边 是 桥 当 且 仅 当 该 边 不 属于 G 中 的 任何 简单 环 路 。 
f. 说 明 如 何在 O(E) 时 间 内 计算 出 图 G 的 所 有 桥 。 
g 证 明 : G 的 双 连 通 分 量 是 G 的 非 桥 边 的 一 个 划分 。 
h 给 出 一 个 O(E) 时 间 复 杂 度 的 算法 来 给 图 G 的 每 条 边 e 做 出 标记 。 这 个 标记 是 一 个 正 整 
数 e. bec 且 满 足 e. bcc 二 e'. bec 当 且 仅 当 边 e 和 边 e 在 同一 个 双 连 通 分 量 中 。 

22-3 (KEW) 强 连通 有 向 图 G 二 (V，E) 中 的 一 个 欧 拉 回 路 是 指 一 条 遍历 图 G 中 每 条 边 恰 
好 一 次 的 环 路 。 不 过 ， 这 条 环 路 可 以 多 次 访问 同一 个 结 点 。 

a. 证 明 : 图 G 有 一 条 欧 拉 回 路 当 且 仅 当 对 于 图 中 的 每 个 结 点 v， 有 in-degree(v) = out- 
degree(v). 

b 给 出 一 个 复杂 度 为 O(E) 的 算法 来 找 出 图 G 的 一 条 欧 拉 回 路 。( 提 示 : 对 边 不 相交 环 路 
进行 归并 。) 

22-4 (可 到 达 性 ) 设 G 二 (V，E) 为 一 个 有 向 图 ， 且 每 个 结 点 wEV 都 标 有 一 个 唯一 的 整数 值 标 
记 L(u)，L(w) 的 取 值 为 集合 {1，2，…，|V|1}。 对 于 每 个 结 点 uwEV, HR Ru) 一 {vEV: 
u~2v} 为 从 结 点 4 可 以 到 达 的 所 有 结 点 的 集合 。 定 义 min(w) 为 RCwu) 中 标记 为 最 小 的 结 
点 ， 即 mna H v, 满足 L(Vv)= 二 min{L(w): wER(wu)}。 请 给 出 一 个 时 间 复 杂 度 为 
OV 十 E) 的 算法 来 计算 所 有 结 点 wEV 的 minu). 


本 章 注 记 

EvenL103] 和 TarjanL330] 是 非常 好 的 关于 图 算法 方面 的 参考 资料 。 

广度 优先 搜索 算法 由 MooreL260] 在 研究 迷 富 路 径 问 题 时 所 发 现 。LeeL226 在 研究 电子 线路 
板 的 排 线 问 题 时 独立 地 发 现 了 同一 个 算法 。 

Hopcroft 和 TarjanL178] 提 倡 使 用 邻接 链表 而 不 是 邻接 抢 阵 来 表示 稀 玻 图 ， 并 最 先 认识 到 深 
度 优先 搜索 算法 的 重要 性 。 深 度 优先 搜索 在 20 世纪 50 年 代 晚 期 获得 广泛 使 用 ， 尤 其 是 在 人 工 智 
能 方面 。 

TarjanL327] 给 出 了 一 个 找 出 强 连 通 分 量 的 线性 时 间 算 法 。22. 5 节 所 讨论 的 找 出 强 连通 分 量 
的 算法 摘自 于 Aho, Hopcroft 和 Ullman[6]， 而 该 文 的 作者 则 将 功劳 归于 S. R. Kosaraju( 未 发 表 ) 
和 M. SharirL314]。GabowL119] 也 提出 了 一 个 计算 强 连 通 分 量 的 算法 ， 它 的 做 法 是 收缩 环 路 ， 并 
使 用 两 个 栈 结构 来 保证 算法 以 线性 时 间 运 行 。Knuth[ 209] 第 一 个 给 出 了 计算 图 的 拓扑 排序 的 线 
性 时 间 算 法 。 


v. low=min 
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最 小 生成 树 


在 电子 电路 设计 中 ， 我 们 常常 需要 将 多 个 组 件 的 针脚 连接 在 一 起 。 要 连接 ”个 针脚 ， 我 们 可 
以 使 用 n 一 1 根 连 线 ， 每 根 连 线 连接 两 个 针脚 。 很 显然 ， 我 们 希望 所 使 用 的 连 线 长 度 最 短 。 

我 们 可 以 将 上 述 的 布线 问题 用 一 个 连通 无 向 图 G 一 (V，E) 来 予以 表示 ， 这 里 的 V 是 针脚 的 
集合 , 是 针脚 之 间 的 可 能 连接 ， 并 且 对 于 每 条 边 (u，v) EE， 我 们 为 其 赋予 权重 wu, VEX 
连接 针脚 和 针脚 v 的 代价 (也 就 是 连 线 的 长 度 )。 我 们 希望 找到 一 个 无 环 子 集 TCE， 既 能 够 将 


所 有 的 结 点 (针脚 ) 连 接 起 来 ,又 具有 最 小 的 权重 ， 即 wT) = Du, wher 0 HELE. HFT 
是 无 环 的 ， 并 且 连 通 所 有 的 结 点 ， 因 此 ， 工 必然 是 一 棵 树 。 我 们 称 这 样 的 树 为 (图 G 的 ) 生 成 树 ， 


因为 它 是 由 图 G 所 生成 的 。 我 们 称 求 取 该 生成 树 的 问题 为 最 小 生成 树 问题 >。 图 23-1 描 述 的 是 一 
个 连通 图 及 其 最 小 生成 树 的 例子 。 








图 23-1 连通 图 的 最 小 生成 树 。 每 条 边 上 标记 的 数值 为 该 条 边 的 权重 。 在 图 中 ， 属 于 最 小 生成 树 的 
边 都 加 上 了 阴影 。 图 中 所 示 的 生成 树 的 总 权重 为 37。 不 过 ， 该 最 小 生成 树 并 不 是 唯一 的 : 
删除 边 (56，c)， 然 后 加 入 边 (a， 有 加 ， 将 形成 男 一 棵 权重 也 是 37 的 最 小 生成 树 


在 本 章 中 ,我们 将 详细 讨论 解决 最 小 生成 树 问题 的 两 种 算法 : Kruskal 算法 和 Prim 算法 。 如 
果 使 用 普通 的 二 又 堆 ， 那 么 可 以 很 容易 地 将 这 两 个 算法 的 时 间 复 杂 度 限 制 在 OCElgV) 的 数量 级 
内 。 但 如 果 使 用 斐 波 那 契 堆 ，Prim 算法 的 运行 时 间 将 改善 为 O(E 十 VlgV)。 此 运行 时 间 在 |V| 
远 远 小 于 | 互 | 的 情况 下 较 二 叉 堆 有 很 大 改进 。 

我 们 讨论 的 两 种 最 小 生成 树 算法 都 是 贪心 算法 。 如 本 书 第 16 章 所 讨论 的 ， 贪 心算 法 的 每 一 步 
必须 在 多 个 可 能 的 选择 中 选择 一 种 。 贪 心算 法 推荐 选择 在 当前 看 来 最 好 的 选择 。 这 种 策略 一 般 并 
不 能 保证 找到 一 个 全 局 最 优 的 解决 方案 。 但 是 ， 对 于 最 小 生成 树 问题 来 说 ,我 们 可 以 证 明 ， 某 些 
贪心 策略 确实 能 够 找到 一 棵 权重 最 小 的 生成 树 。 虽 然 读者 可 能 在 阅读 本 章 的 内 容 时 并 没有 将 其 与 第 
16 章 的 内 容 关 联 起 来 ， 但 这 里 所 阐述 的 贪心 策略 正 是 第 16 章 所 介绍 的 理论 思想 的 一 种 经 典 应 用 。 

因为 树 是 图 的 一 种 ， 为 了 精确 起 见 ， 我 们 在 定义 树 时 不 仅 要 用 到 边 ， 还 必须 用 到 结 点 。 虽 然 
本 章 在 讨论 树 的 时 候 关注 的 是 它 的 边 ， 但 我 们 必须 留意 的 是 ， 树 工 中 的 结 点 是 指 由 了 工 中 的 边 所 
连接 的 结 点 。 


23.1 最 小 生成 树 的 形成 
假定 有 一 个 连通 无 向 图 G=(V， 思 和 权重 函数 w: 已 >R， 我 们 希望 找 出 图 G 的 一 棵 最 小 生成 树 。 
本 章 所 讨论 的 两 种 算法 都 使 用 贪心 策略 来 解决 这 个 问题 ， 但 它们 使 用 贪心 策略 的 方式 却 有 所 不 同 。 





O 术语 “最 小 生成 树 ”是 术语 “最 小 权重 生成 树 ” 的 简称 。 例 如 ， 我 们 并 不 打算 将 工 中 的 边 的 条 数 减 到 最 少 ， 因 为 根 
据 定理 B. 2， 生 成 树 必须 恰好 有 | V | 一 1 条 边 。 
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这 个 贪心 策略 可 以 由 下 面 的 通用 方法 来 表述 。 该 通用 方法 在 每 个 时 刻 生长 最 小 生成 树 的 一 
条 边 ， 并 在 整个 策略 的 实施 过 程 中 ， 管 理 一 个 遵守 下 述 循环 不 变 式 的 边 集合 A: 

在 每 遍 循 环 之 前 ，A 是 某 棵 最 小 生成 树 的 一 个 子 集 。 

在 每 一 步 ， 我 们 要 做 的 事情 是 选择 一 条 边 (u，v)， 将 其 加 入 到 集合 A 中 ， 使 得 A 不 违反 循 
KERER, MAU, V } 也 是 某 棵 最 小 生成 树 的 子 集 。 由 于 我 们 可 以 安全 地 将 这 种 边 加 入 到 集 
合 A 而 不 会 破坏 A 的 循环 不 变 式 ， 因 此 称 这 样 的 边 为 集合 A 的 安全 边 。 

GENERIC-MST(G,w) 

1 A= 


while A does not form a spanning tree 


A=AU {(u,v)} 


2 
3 find an edge(u,v)that is safe for A 
4 
5 return A 


我 们 使 用 循环 不 变 式 的 方式 如 下 : 

初始 化 : 在 算法 第 1 行 之 后 ， 集 合 A 直接 满足 循环 不 变 式 。 

保持 : 算法 第 24 行 的 循环 通过 只 加 入 安全 边 来 维持 循环 不 变 式 。 

终止 所 有 加 入 到 集合 A 中 的 边 都 属于 某 棵 最 小 生成 树 ， 因 此 ， 算 法 第 5 行 所 返回 的 集合 A 
必然 是 一 棵 最 小 生成 树 。 

当然 ， 这 里 的 奥妙 是 算法 的 第 3 行 : 找到 一 条 安全 边 。 这 条 安全 边 必 然 存 在 ， 因 为 在 执行 算 
法 第 3 行 时 ， 循 环 不 变 式 告诉 我 们 存在 一 棵 生成 树 T， 满 足 AST。 在 第 2~4 行 的 while 循环 体 
内 ,集合 4 一定 是 TT 的 真子 集 ， 因 此 ， 必 然 存在 一 条 边 (u，v) ET， 使 得 (x，Z EA, IFA 
u, VITRA A 是 安全 的 。 

在 本 节 剩 下 的 篇 幅 里 ， 我 们 将 介绍 辨认 安全 边 的 规则 (定理 23. 1) 。 下 一 节 则 讨论 使 用 这 条 
规则 来 快速 找到 安全 边 的 两 个 算法 。 

我 们 首先 需要 一 些 定 义 。 无 向 图 G 二 (V，E) 的 一 个 切割 (S,，V 一 S) 是 集合 V 的 一 个 划分 ， 如 
图 23-2 所 示 。 如 果 一 条 边 (x，zZ EE 的 一 个 端点 位 于 集合 S， 另 一 个 端点 位 于 集合 V 一 S， 则 称 该 
PURER, VS). WERA A 中 不 存在 横 跨 该 切割 的 边 ， 则 称 该 切割 尊重 集合 A。 在 横 跨 
一 个 切割 的 所 有 边 中 ， 权 重 最 小 的 边 称 为 轻 量 级 边 。 注 意 ， 轻 量 级 边 可 能 不 是 唯一 的 。 一 般 ， 如 








图 23-2 图 23-1 所 示 的 图 的 切割 (S，V 一 S)， 这 里 给 出 了 两 个 视角 。(a) 黑 色 结 点 位 于 集合 S 中 ， 白 色 结 
点 位 于 集合 V 一 S 中 。 横 跨 该 切割 的 边 是 那些 连接 白色 结 点 和 黑色 结 点 的 边 。 边 (&，c) 是 横 跨 该 
切割 的 唯一 一 条 轻 量 级 边 。 加 了 阴影 的 边 属于 子 集 A: 注意 切割 (S，V 一 S) 尊 重 集合 A， 因 为 集 
合 A 中 没有 横 跨 该 切割 的 边 。(b) 同一 个 图 ， 只 不 过 将 集合 S 中 的 结 点 画 在 左边 ， 集 合 V 一 S 中 
的 结 点 画 在 右面 。 横 跨 切 割 的 边 所 连接 的 一 端 是 左面 的 结 点 ， 另 一 端 是 右面 的 结 点 
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用 来 辨认 安全 边 的 规则 由 下 面 的 定理 给 出 。 

定理 23.1 设 G=(V, EE) 是 一 个 在 边 忆 上 定义 了 实数 值 权重 函数 忆 的 连通 无 向 图 。 设 集合 
A 为 巨 的 一 个 子 集 ， 且 A 包括 在 图 G 的 某 棵 最 小 生成 树 中 ， 设 (S，V 一 S) 是 图 G 中 尊重 集合 A 
的 任意 一 个 切割 ， 又 设 (u， 功 是 模 跨 切割 (S,，V 一 9) 的 一 条 轻 量 级 边 。 那 么 边 (u，v) 对 于 集合 A 
是 安全 的 。 

证 明 设 工 是 一 棵 包括 A 的 最 小 生成 树 ， 并 假定 不 包含 轻 量 级 边 (u，wv); BW, 我们 已 
经 证 明 完 毕 。 现 在 来 构建 另 一 棵 最 小 生成 树 下 ， 我 们 通过 前 切 和 粘贴 来 将 AU{(x，z)} 包 括 在 
WTH, MAMER U, VITRE A 来 说 是 安全 的 。 

边 (u， 与 工 中 从 结 点 到 结 点 vv 的 简单 路 径 p 形 成 一 个 环 路 ， 如 图 23-3 所 示 。 由 于 结 点 
u 和 结 点 ”分 别处 在 切割 (S，V 一 S) 的 两 端 ， 工 中 至 少 有 一 条 边 属 于 简单 路 径 p 并且 横 跨 该 切 
割 。 设 (zx，y) 为 这 样 的 一 条 边 。 因 为 切割 (S，V 一 S) 尊 重 集合 A， 边 (x，y) 不 在 集合 A 中。 由 于 
Wiz, 位 于 本 中 从 丸 到 wv 的 唯一 简单 路 径 上 ， 将 该 条 边 删除 会 导致 全 被 分 解 为 两 个 连通 分 量 。 
将 (wu， 苞 加 上 去 可 将 这 两 个 连通 分 量 连接 起 来 形成 一 棵 新 的 生成 树 T' 二 T 一 {(z，)}U{lu, vd}. 





图 23-3 定理 23. 1 的 证 明 。 黑 色 结 点 位 于 集合 S 里 ， 白 色 结 点 位 于 集合 V 一 S 里。 图 中 仅 
描述 了 最 小 生成 树 工 中 的 边 ， 而 没有 绘 出 图 G 中 的 其 他 边 。 集 合 A 中 的 边 都 加 了 
阴影 ， 边 (x， 了 是 横 跨 切割 (S，V 一 S) 的 一 条 轻 量 级 边 。 边 (z，y) 是 树 工 里 面 从 
结 点 x 到 结 点 v 的 唯一 简单 路 径 上 的 一 条 边 。 要 形成 一 棵 包含 (u，v) 的 最 小 生成 
WT, RERE 荆 中 删除 边 (x，y)， 然 后 加 上 边 (u， 功 即 可 


下 面 证 明 TT' 是 一 棵 最 小 生成 树 。 由 于 边 (u，wv) 是 横 跨 切割 (S,，V 一 S) 的 一 条 轻 量 级 边 并 且 

边 (x，y) 也 横 跨 该 切割 ， RIA wu, Kwa, y). A, 
wT) = WT) — wlr, y) + wu,v) < w(T) 

但 是 , 是 一 棵 最 小 生成 树 , RIA w(T) 志 wT'); 因此 ，T 一 定 也 是 一 棵 最 小 生成 树 。 

下 面 还 需要 证 明 边 (xu，wv) 对 于 和 集合 A 来 说 是 一 条 安全 边 。 因 为 ACT 并 且 (x，y) 儿 A， 所 以 
有 ACT'; 因此 AU{(u, 外 } 己 T'。 由 于 TT' 是 最 小 生成 树 ，(u，v) 对 于 集合 A 是 安全 的 。 E 

定理 23. 1 能 够 帮助 我 们 更 好 地 理解 连通 图 G=(V, E) Ey GENERIC-MST 的 工作 原理 。 
随 着 该 算法 的 推进 ,集合 A 总 是 保持 在 无 环 状态 ; 否则， 包含 A 的 最 小 生成 树 将 包含 一 个 环 路 ， 
这 将 与 树 的 定义 相 矛 盾 。 在 算法 执行 的 任意 时 刻 ， 图 G4 二 (V，A) 是 一 个 森林 ，Ga 中 的 每 个 连 
通 分 量 则 是 一 棵 树 ( 某 些 树 可 能 仅 包 含 一 个 结 点， 如 在 算法 开始 时 ， 集 合 A 为 空 ， 而 森林 中 包含 
1V| 棵 树 ， 每 棵 树 中 只 有 一 个 结 点 ) 。 而 且 ， 由 于 AU{(u，wv)} 必 须 是 无 环 的 ， 所 有 对 于 集合 A 
为 安全 的 边 (u，v) 所 连接 的 是 G 中 不 同 的 连通 分 量 。 

GENERIC-MST 算法 的 第 2 一 4 行 的 while 循环 执行 的 总 次 数 为 |V| 一 1 次 ， 因 为 该 循环 的 每 
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遍 循环 都 找 出 最 小 生成 树 所 需 |V| 一 1 条 边 中 的 一 条 。 在 初始 时 ， 当 A= Ø, Ga HA |V |R 
树 ， 每 遍 循 环 将 树 的 数量 减少 1 棵 。 当 整个 森林 仅 包含 一 棵 树 时 ， 该 算法 就 终止 。 

23. 2 节 中 的 两 个 算法 将 使 用 定理 23. 1 的 下 列 推论 。 

推论 23.2 设 G 王 (V， 瓦 ) 是 一 个 连通 无 向 图 ， 并 有 定义 在 边 集 合 瓦 上 的 实数 值 权 重 函 数 岂 。 
设 集合 A 为 已 的 一 个 子 集 ， 且 该 子 集 包 括 在 G 的 某 襟 最 小 生成 树 里 ， 并 设 C=(Ve, Ec) A&I 
Gs 二 (VV，A) 中 的 一 个 连通 分 量 ( 树 )。 如 果 边 (u，v) 是 连接 C 和 Ga 中 某 个 其 他 连通 分 量 的 一 条 
轻 量 级 边 ， 则 边 (u，wv) 对 于 集合 A 是 安全 的 。 


证 明 切割 (Ve, V 一 Ve) 尊重 集合 A， 边 (u，) 是 横 跨 该 切割 的 一 条 轻 量 级 边 ， 因 此 ， 边 
(u，v) 对 于 集合 A 是 安全 的 。 a 
练习 


23. 


23. 


23. 


23. 


23. 


23. 


23. 


23. 


23. 


23. 


1-1 


1-2 


1-3 


1-4 


1-5 


1-6 


1-7 


1-8 


1-9 


1-10 


Ru, v 2A G 中 的 一 条 权重 最 小 的 边 ， 证 明 : Wu, VAR G 的 某 棵 最 小 生成 
树 中 的 一 条 边 。 
Sabatier 教授 猜想 出 了 定理 23.1 的 一 个 逆 定 理 如 下 : 设 G 一 (V， 瑟 ) 是 一 个 连通 无 向 图 ， 
并 有 定义 在 边 集 合 玉 上 的 实数 值 权 重 函 数 w。 设 集合 A 为 E 的 一 个 子 集 ， 该 子 集 包 含 
在 图 G 的 某 个 最 小 生成 树 中 。 又 设 (S，V 一 S) 为 G 中 任意 尊重 集合 A 的 一 个 切割 ， 边 
(u，) 是 一 条 横 跨 切割 (S，V 一 S) 且 对 于 集合 A 安全 的 边 。 那 么 边 (u，wv) 是 该 切割 的 一 
条 轻 量 级 边 。 请 通过 举 出 反例 来 证 明 Sabatier 教授 的 猜想 是 不 正确 的 。 
证 明 : 如 果 图 G 的 一 条 边 (u，) 包 含 在 图 G 的 某 棵 最 小 生成 树 中 ， 则 该 条 边 是 横 跨 图 G 
的 某 个 切割 的 一 条 轻 量 级 边 。 
给 出 一 个 连通 图 的 例子 ， 使 得 边 集合 {(u，wv): 存在 一 个 切割 (S,，V 一 S), 使 得 (u，wv) 
是 横 跨 该 切割 的 一 条 轻 量 级 边 } 不 形成 一 棵 最 小 生成 树 。 
设 e 为 连通 图 G 一 (V， 瓦 ) 的 某 条 环 路 上 权重 最 大 的 边 。 证 明 : AG =V, E— {ep pE 
在 一 棵 最 小 生成 树 ， 它 也 同时 是 G 的 最 小 生成 树 。 也 就 是 说 ， 图 G 中 存在 一 棵 不 包含 
边 e 的 最 小 生成 树 。 
TER: 如 果 对 于 图 的 每 个 切割 ， 都 存在 一 条 横 跨 该 切割 的 唯一 的 轻 量 级 边 ， 则 该 图 存在 
一 棵 唯一 的 最 小 生成 树 。 并 通过 举 出 反例 来 证 明 其 逆 论 断 不 成 立 。 
证 明 : 如 果 一 个 图 的 所 有 边 的 权重 都 是 正 值 ， 则 任意 一 个 连接 所 有 结 点 且 总 权重 最 小 的 
一 个 边 集 合 必然 形成 一 棵 树 。 另 外 ， 请 举 出 例子 来 证 明 : 如 果 人 允许 某 些 边 的 权重 为 负 
值 ， 则 该 论断 不 成 立 。 
te 了 为 图 G 的 一 棵 最 小 生成 树 ， 设 工 为 树 工 中 一 个 边 权 重 的 有 序列 表 。 证 明 : 对 于 图 
G 的 任何 其 他 最 小 生成 树 T'， 列 表 工 也 是 T' 中 一 个 边 权重 的 有 序列 表 。 
设 工 为 G=(V， 巨 ) 的 一 棵 最 小 生成 树 ， 设 V A V 的 一 个 子 集 。 设 T' 为 由 V' 所 诱导 的 
全 的 子 图 , 设 G' 为 由 VV 诱导 的 G 的 子 图 。 证明 : WRT RN. W T E G HR 
最 小 生成 树 。 
给 定 图 C 和 G 的 一 棵 最 小 生成 树 T， 假 设 减 小 了 本 中 一 条 边 的 权重 。 证 明 : TRE G H 
一 棵 最 小 生成 树 。 更 形式 化 地 , te 了 为 G 的 一 棵 最 小 生成 树 ，C 的 边 权 重 由 权重 函数 ww 给 
出 。 选 择 一 条 边 (x，y) ET 和 一 个 正 数 有 ， 并 定义 下 述 的 权重 函数 w: 
w(u,v) # (u,v) Æ (x,y) 
wlr,y)—-k (u,v) = (xy) 
证 明 : 工 仍然 是 G 的 一 棵 最 小 生成 树 ， 这 里 G 的 边 权重 由 函数 w' 给 出 。 


w (u,v) = 


629 
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*23.1-11 给 定 图 G 和 一 棵 最 小 生成 树 工 ， 假 设 减 小 了 位 于 工 之 外 的 某 条 边 的 权重 。 请 给 出 一 个 
在 修改 后 的 图 中 寻找 最 小 生成 树 的 算法 。 


23.2 Kruskal 算法 和 Prim 算法 
本 节 对 最 小 生成 树 问题 的 两 个 经 典 算法 进行 讨论 。 这 两 种 算法 都 是 前 一 节 所 讨论 的 通用 算 
法 的 细 化 ， 每 种 算法 都 使 用 一 条 具体 的 规则 来 确定 GENERIC-MST 算法 第 3 行 所 描述 的 安全 边 。 
在 Kruskal 算 法 中 ,集合 A 是 一 个 森林 ， 其 结 点 就 是 给 定 图 的 结 点 。 每 次 加 入 到 集合 A 中 的 安 
全 边 永远 是 权重 最 小 的 连接 两 个 不 同 分 量 的 边 。 在 Prim 算法 里 ,集合 A 则 是 一 棵 树 。 每 次 加 入 
到 A 中 的 安全 边 永远 是 连接 A 和 A 之 外 某 个 结 点 的 边 中 权重 最 小 的 边 。 
Kruskal 算法 
Kruskal 算法 找到 安全 边 的 办 法 是 ， 在 所 有 连接 森林 中 两 棵 不 同 树 的 边 里 面 ， 找 到 权重 最 小 
HHU, v). RO 和 CG; 为 边 (u，v) 所 连接 的 两 棵 树 。 由 于 边 (u，vw) 一 定 是 连接 C MAHER 
树 的 一 条 轻 量 级 边 ， 推 论 23. 2 隐 伟 告诉 我 们 ， 边 (u，v) 是 Ci 的 一 条 安全 边 。 很 显然 ，Kruskal 
算法 属于 贪心 算法 ， 因 为 它 每 次 都 选择 一 条 权重 最 小 的 边 加 入 到 森林 。 
Kruskal 算 法 的 实现 与 21. 1 节 所 讨论 的 计算 连通 分 量 的 算法 类 似 。 我 们 使 用 一 个 不 相交 集 
合 数据 结构 来 维护 几 个 互 不 相交 的 元 素 集合 。 每 个 集合 代表 当前 森林 中 的 一 棵 树 。 操 作 FIND- 
SET(w) 用 来 返回 包含 元 素 u 的 集合 的 代表 元 素 。 我 们 可 以 通过 测试 FIND-SET(w) 是 否 等 于 
FIND-SET(v) 来 判断 结 点 u 和 结 点 wv 是 否 属于 同一 棵 树 。Kruskal 算法 使 用 UNION 过 程 来 对 两 
棵 树 进行 合并 。 
MST-KRUSKAL(G,w) 
A=@ 
for each vertex v€G. V 
MAKE-SET(v) 
sort the edges of G. E into nondecreasing order by weight w 
for each edge(u,v) EG. E, taken in nondecreasing order by weight 
if FIND-SET(v) 4FIND-SET (v) 
A=AU {(u,v)} 
UNION(u, v) 
return A 


图 23-4 描述 的 是 Kruskal 算法 的 工作 过 程 。 算 法 的 第 1 一 3 行将 集合 A 初始 化 为 一 个 空 集 
合 ， 并 创建 |V| 棵 树 ， 每 棵 树 仅 包含 一 个 结 点 。 算 法 第 5 一 8 行 的 for 循环 按照 权重 从 低 到 高 的 次 
序 对 每 条 边 逐 一 进行 检查 。 对 于 每 条 边 (u，v) 来 说 ， 该 循环 将 检查 端点 u 和 端点 v 是 否 属于 同一 
棵 树 。 如 果 是 ， 该 条 边 不 能 加 入 到 森林 里 (否则 将 形成 环 路 )。 如 果 不 是 ， 则 两 个 端点 分 别 属于 不 
同 的 树 ， 算 法 第 7 行将 把 这 条 边 加 入 到 集合 A 中 ,第 8 行 则 将 两 棵 树 中 的 结 点 进行 合并 。 

XtFAIG=(V, E), Kruskal 算法 的 运行 时 间 依 赖 于 不 相交 集合 数据 结构 的 实现 方式 。 假 定 
使 用 21. 3 节 所 讨论 的 不 相交 和 集合 森林 实现 ， 并 增加 按 秩 合并 和 路 径 压缩 的 功能 ， 因 为 这 是 目前 
已 知 的 渐 近 时 间 最 快 的 实现 方式 。 在 这 种 实现 模式 下 ， 算 法 第 1 行 对 集合 A 的 初始 化 时 间 为 
OQ), 3 4 行 对 边 进行 排序 的 时 间 为 O(ElgE)( 稍 后 将 会 讨论 算法 第 2~3 行 for 循环 中 的 | 六 | 个 
MAKE-SET 操作 的 代价 ) 。 算 法 第 5 一 8 FW for 循环 执行 OCEA FIND-SET 和 UNION 操作 。 
与 1V| 个 MAKE-SET 操作 一 起 ， 这 些 操作 的 总 运行 时 间 为 O((V 十 E)a(V)),， XH a Æ 21.4 
所 定义 的 一 个 增长 非常 缓慢 的 函数 。 由 于 假定 图 G 是 连通 的 ， 因 此 有 |E| 宇 |V| 一 1， 所 以 不 相 
交集 合 操作 的 时 间 代 价 为 OC(Ea(V))。 而 且 ， HF a(|V|)=OUgV)=OUgE), Kruskal 算法 的 
总 运行 时 间 为 OC(E lgE)。 如 果 再 注意 到 |E| 二 |V|:, 则 有 lg|E|= 二 OUgV)， 因 此 ， 我 们 可 以 将 
Kruskal 算法 的 时 间 重 新 表示 为 O(ElgV)。 
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图 23-4 在 图 23-1 上 执行 Kruskal 算法 的 过 程 。 加 了 阴影 的 边 属 于 不 断 增长 的 森林 A。 该 算法 按 
照 边 的 权重 大 小 依次 进行 考虑 。 箭 头 指向 的 边 是 算法 每 一 步 所 考察 的 边 。 如 果 该 条 边 1 


将 两 棵 不 同 的 树 连 接 起 来 ， 它 就 被 加 入 到 森林 里 ， 从 而 完成 对 两 棵 树 的 合并 633 
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Prim 算法 

与 Kruskal 算法 类 似 ，Prim 算法 也 是 23. 1 节 所 讨论 的 通用 最 小 生成 树 算法 的 一 个 特例 。 
Prim 算法 的 工作 原理 与 Dijkstra 的 最 短路 径 算法 相似 (该 算法 将 在 24. 3 节 中 讨论 ) Prim 算法 所 
具有 的 一 个 性 质 是 集合 A 中 的 边 总 是 构成 一 棵 树 。 如 图 23-5 所 示 ， 这 棵 树 从 一 个 任意 的 根 结 点 
r 开始， 一 直 长 大 到 覆盖 V 中 的 所 有 结 点 时 为 止 。 算 法 每 一 步 在 连接 集合 A 和 A 之 外 的 结 点 的 
所 有 边 中 ， 选 择 一 条 轻 量 级 边 加 入 到 A 中 。 根 据 推论 23. 2， 这 条 规则 所 加 入 的 边 都 是 对 A 安全 
的 边 。 因 此 ， 当 算法 终止 时 ，A 中 的 边 形成 一 棵 最 小 生成 树 。 本 策略 也 属于 贪心 策略 ， 因 为 每 一 
步 所 加 入 的 边 都 必须 是 使 树 的 总 权重 增加 量 最 小 的 边 。 




















图 23-5 在 图 23-1 上 执行 Prim 算法 的 过 程 。 初 始 的 根 结 点 为 <。 加 阴影 的 边 和 黑色 的 结 点 都 属于 树 
4。 在 算法 每 一 步 ， 树 中 的 结 点 就 决定 了 图 的 一 个 切割 ， 横 跨 该 切割 的 一 条 轻 量 级 边 被 加 入 
到 树 中 。 例 如 ， 在 图 中 的 第 2 步 ， 该 算法 可 以 选择 将 边 (56，c) 加 入 到 树 中 ， 也 可 以 选择 将 边 
la， 有) 加 入 到 树 中 ， 因 为 这 两 条 边 都 是 横 跨 该 切割 的 轻 量 级 边 
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为 了 有 效 地 实现 Prim 算法 ,需要 一 种 快速 的 方法 来 选择 一 条 新 的 边 ， 以 便 加 入 到 由 集合 A 
中 的 边 所 构成 的 树 里 。 在 下 面 的 伪 代 码 中 ， 连 通 图 G 和 最 小 生成 树 的 根 结 点 7 将 作为 算法 的 输 
入 。 在 算法 的 执行 过 程 中 ， 所 有 不 在 树 A 中 的 结 点 都 存放 在 一 个 基于 key 属性 的 最 小 优先 队列 Q 
中 。 对 于 每 个 结 点 w， 属 性 v key 保存 的 是 连接 v 和 树 中 结 点 的 所 有 边 中 最 小 边 的 权重 。 我 们 约 
定 ， 如 果 不 存 在 这 样 的 边 ， 则 v. Rey=oo, APE v.x 给 出 的 是 结 点 v 在 树 中 的 父 结 点 。Prim 算法 
将 GENERIC-MST 中 的 集合 A 维持 在 A 二 {(v，w. 7): v€EV 一 {7) 一 Q} 的 状态 下 。 
当 Prim 算法 终止 时 ， 最 小 优先 队列 Q 将 为 空 ， 而 G 的 最 小 生成 树 A 则 是 ， 
A= {(v,v.2):0 E V—{r}} 
MST-PRIM(G,w,r) 
1 for each w€G.V 
2 u:key=co 
3 u:x—=NIL 
4 r:key=0 
5 Q=G.V 
6 while Q4@ 
7 u=EXTRACT-MIN(Q) 
8 for each v€G. Adj[u] 
9 if ve Q and wlu,v)<v. key 
10 v. A=u 


ll v. key=wlu, v) 


图 23-5 描述 的 是 Prim 算法 的 工作 过 程 。 算 法 第 1 一 5 行将 每 个 结 点 的 key 值 设置 为 ce( 除 根 
结 点 7 以 外 ， 根 结 点 7 的 key 值 设 置 为 0， 以 便 使 该 结 点 成 为 第 一 个 被 处 理 的 结 点 ) ， 将 每 个 结 点 
的 父 结 点 设置 为 NIL， 并 对 最 小 优先 队列 Q 进行 初始 化 ， 使 其 包含 图 中 所 有 的 结 点 。 该 算法 维 
持 的 循环 不 变 式 由 3 个 部 分 组 成 ， 具 体 阐述 如 下 。 

在 算法 第 6 一 11 行 的 while 循环 的 每 遍 循环 之 前 ， 我 们 有 : 

1.A={(v, vm): vEV—{r}—Q}. 

2. 已 经 加 入 到 最 小 生成 树 的 结 点 为 集合 V 一 Q。 

3. 对 于 所 有 的 结 点 EQ, WR v. cANIL, W v. &ey<ce 并 且 v. key 是 连接 结 点 v 和 最 小 生 
成 树 中 某 个 结 点 的 轻 量 级 边 (vw，wv. x) 的 权重 。 

算法 第 7 行将 找 出 结 点 xEQ， 该 结 点 是 某 条 横 跨 切割 (V 一 Q，Q) 的 轻 量 级 边 的 一 个 端点 
(第 1 次 循环 时 例外 ， 此 时 因为 算法 的 第 4 行 ， 所 以 有 zw 二 r)。 接 着 将 结 点 从 队列 Q 中 删除 ， 
并 将 其 加 入 到 集合 V 一 Q@ p, REKA CU, u xz) 加 入 到 集合 A 中 。 算 法 第 8 一 11 行 的 for 循 
环 将 每 个 与 邻接 但 却 不 在 树 中 的 结 点 v 的 key 和 zx 属性 进行 更 新 ， 从 而 维持 循环 不 变 式 的 第 3 
部 分 成 立 。 

Prim 算法 的 运行 时 间 取 决 于 最 小 优先 队列 Q 的 实现 方式 。 如 果 将 Q 实现 为 一 个 二 又 最 小 优 
先 队 列 ( 请 参阅 第 6 章 的 内 容 )， 我 们 可 以 使 用 BUILD-MIN-HEAP 来 执行 算法 的 第 1 一 5 行 ， 时 
间 成 本 为 OC(V) while 循环 中 的 语句 一 共 要 执行 |1V | 次 ， 由 于 每 个 EXTRACT-MIN 操作 需要 的 
时 间 成 本 为 O(lgV) ，EXTRACT-MIN 操作 的 总 时 间 为 OC(VlgV)。 由 于 所 有 邻接 链表 的 长 度 之 和 
为 21E| ,算法 第 8 一 11 行 的 for 循环 的 总 执行 次 数 为 OC(E)。 在 for 循环 里 面 ， 我 们 可 以 在 常数 
时 间 内 完成 对 一 个 结 点 是 否 属于 队列 Q 的 判断 ， 方 法 就 是 对 每 个 结 点 维护 一 个 标志 位 来 指明 该 
结 点 是 否 属于 Q， 并 在 将 结 点 从 Q 中 删除 的 时 候 对 该 标志 位 进行 更 新 。 算 法 第 11 行 的 赋值 操作 
涉及 一 个 隐 含 的 DECREASE-KEY 操作 ， 该 操作 在 二 又 最 小 堆 上 执行 的 时 间 成 本 为 O(lgV) 。 因 
此 ，Prim 算法 的 总 时 间 代 价 为 OOVlgV 十 ElgV)=O(GE1lgV)。 从 渐 近 意义 上 来 说 ， 它 与 Kruskal 
算法 的 运行 时 间 相同 。 
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如 果 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 Q, Prim 算法 的 渐 近 运行 时 间 可 以 得 到 进一步 改 
善 。 第 19 章 的 内 容 告诉 我 们 ， 如 果 斐 波 那 契 堆 中 有 |V| 个 元 素 ， 则 EXTRACT-MIN 操作 的 时 间 
摊 还 代价 为 OQlgV) mi DECREASE-KEY 操作 (用 于 实现 算法 第 11 行 的 操作 ) 的 摊 还 时 间 代 价 为 
O(G1) 。 因 此 ， 如 果 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 Q， 则 Prim 算法 的 运行 时 间 将 改进 
BIOCE+V IgV). 


练习 
23. 2-1 
23. 2-2 


23. 2-3 


23. 2-4 
23: 2-5 
*23. 2-6 
*23. 2-7 
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(次 优 最 小 生成 树 ) RGCHV, DI-AER, 其 权重 函数 为 w: E>R, 假定 
|E| 宇 |V| 并 且 所 有 的 权重 都 互 不 相同 。 我 们 定义 一 棵 次 优 最 小 生成 树 如 下 : RTA G H 


23-1 





对 于 同一 个 输入 图 ，Kruskal 算法 返回 的 最 小 生成 树 可 以 不 同 。 这 种 不 同 来 源 于 对 边 进 
行 排序 时 ， 对 权重 相同 的 边 进行 的 不 同 处 理 。 证 明 : 对 于 图 G 的 每 棵 最 小 生成 树 工 ， 都 
存在 一 种 办 法 来 对 G 的 边 进行 排序 ， 使 得 Kruskal 算法 所 返回 的 最 小 生成 树 就 是 T。 
假定 我 们 用 邻接 和 矩阵 来 表示 图 G 二 (V，E)。 请 给 出 Prim 算法 的 一 种 简单 实现 ， 使 其 运 
行 时 间 为 OCV). 

PRB G=(V, E), X|E|=OV), ， 使 用 斐 波 那 契 堆 实现 的 Prim 算法 是 否 比 使 
用 二 叉 堆 实 现 的 算法 更 快 ? 对 于 稠密 图 又 如 何 呢 ?|E| 和 |V| 必须 具备 何 种 关系 才能 使 
斐 波 那 契 堆 的 实现 在 渐 近 级 别 上 比 二 又 堆 的 实现 更 快 ? 

假定 图 中 的 边 权 重 全 部 为 整数 ， 且 在 范围 1 一 |V| 内 。 在 此 种 情况 下 ，Kruskal 算法 最 
快 能 多 快 ? 如 果 边 的 权重 取 值 范围 在 1 到 某 个 常数 W 之 间 呢 ? 

假定 图 中 边 的 权重 取 值 全 部 为 整数 ， 且 在 范围 1 一 |V| 内 。Prim 算法 最 快 能 多 快 ? 如 果 
边 的 权重 取 值 范围 在 1 BES RW 之 间 呢 ? 

假定 一 个 图 中 所 有 的 边 权 重 均匀 分 布 在 半 开 区 间 L0，1) 内 。Prim 算法 和 Kruskal 算法 哪 
一 个 可 以 运行 得 更 快 ? 

假定 图 G 的 一 棵 最 小 生成 树 已 经 被 计算 出 来 。 如 果 在 图 中 加 入 一 个 新 结 点 及 其 相关 的 
新 边 ， 我 们 需要 多 少时 间 来 对 最 小 生成 树 进行 更 新 ? 

Borden 教授 提出 了 一 个 新 的 分 治 算法 来 计算 最 小 生成 树 。 该 算法 的 原理 如 下 : 给 定 图 
G=(V, E), 将 V 划分 为 两 个 集合 Vi 和 Vz» 使 得 | Vi |7 |V: | 的 差 最 多 为 i i E 为 
端点 全 部 在 Vi 中 的 边 的 集合 ，E; 为 端点 全 部 在 V。 中 的 边 的 集合 。 我 们 递归 地 解决 两 
SFAG=V,, 巨 ) 和 Gz 一 (V，E;) 的 最 小 生成 树 问题 。 最 后 ， 在 边 集合 EE 中 选择 横 
BH V 和 V: 的 最 小 权重 的 边 来 将 求 出 的 两 棵 最 小 生成 树 连接 起 来 ， 从 而 形成 一 棵 
最 后 的 最 小 生成 树 。 

请 证 明 该 算法 能 正确 计算 出 一 棵 最 小 生成 树 ， 或 者 举 出 反例 来 明说 该 算法 不 正确 。 


所 有 生成 树 的 集合 ，T 为 G 的 一 棵 最 小 生成 树 。 那 么 次 优 最 小 生成 树 是 生成 树 T， 其 满 


是 wT)= min {w(T")}., 
TETIT’) 


. 证 明 : 最 小 生成 树 是 唯一 的 ， 但 次 优 最 小 生成 树 则 不 一 定 是 唯一 的 。 
b. 


BwTAG 的 一 棵 最 小 生成 树 。 证 明 : E GAEAU, VETA, WET, 使 得 
TI 一 (xx，Z)U(Cz，y)} 是 G 的 一 棵 次 优 最 小 生成 树 。 


. 设 工 为 G 的 一 棵 最 小 生成 树 ， 对 于 任意 两 个 结 点 4，vEV， 设 maxLu，wvj] 表 示 树 工 中 


从 结 点 & 到 结 点 v 的 简单 路 径 上 最 大 权重 的 边 ， 请 给 出 一 个 OC(V?) 时 间 复 杂 度 的 算法 来 
计算 maxlu, vl. 
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d. 给 出 一 个 有 效 算法 来 计算 图 G 的 次 优 最 小 生成 树 。 
( 稀 朴 图 的 最 小 生成 树 ) ”对 于 非常 稀疏 的 图 G 二 (V，E) 来 说 ,我们 可 以 对 Prim 算法 进行 
进一步 改善 ， 改 善后 的 时 间 将 优 于 使 用 斐 波 那 契 堆 时 的 OCE+V lgV) 的 运行 时 间 。 改 善 所 
用 的 方法 就 是 对 图 G 进行 预 处 理 来 减少 结 点 的 数量 ， 然 后 在 减少 结 点 数量 后 的 图 G 上 运 
ÍT Prim 算法 。 具 体 来 说 ， 对 于 每 个 结 点 w， 我 们 选择 与 结 点 u 邻接 的 边 中 最 小 权重 的 边 
(xz，z， 将 其 加 入 到 正在 构建 的 最 小 生成 树 里 。 然 后 对 所 有 选择 的 边 进 行 收缩 (请 参阅 
B.4 节 的 内 容 )。 不 过 ， 我 们 不 是 一 条 一 条 地 收缩 每 条 边 ， 而 是 首先 找 出 连接 到 同一 个 新 
结 点 的 结 点 集合 。 然 后 创建 一 个 新 的 图 ， 这 个 新 的 图 就 如 每 次 收缩 这 样 一 条 边 所 得 出 的 一 
样 ， 但 我 们 是 通过 “重新 命名 ”来 实现 。 重 新 命名 是 根据 每 条 边 的 端点 所 在 的 结 点 集合 来 进 
行 。 原始 图 中 的 多 条 边 可 能 被 重 命名 为 同样 的 名 。 在 这 种 情况 下 ， 重 名 的 边 中 只 有 一 条 边 
留 下 ， 这 条 边 对 应 原始 边 中 最 小 权重 的 边 。 

在 初始 时 ， 我 们 把 将 要 构建 的 最 小 生成 树 芽 设 为 空 ， 对 于 每 条 边 (u，v) EE， 对 其 属 
性 进行 如 下 的 初始 化 操作 :(u，v).orig 二 (wu，v)，(u，vw).c 王 wlu，v)。 我 们 使 用 orig 
属性 来 引用 原始 图 中 与 收缩 后 的 图 的 边 相 关 的 边 。 属 性 < 记录 边 的 权重 ， 随 着 边 的 收缩 ， 
我 们 根据 上 面 选择 边 权 重 的 方法 来 更 新 这 个 属性 。 下 面 的 MST-REDUCE 算法 以 图 G 和 
树 工 作为 输入 ， 返 回 一 个 收缩 后 的 图 G' 和 更 新 后 的 属性 orig 与 c。 该 算法 同时 选 出 图 G 
中 的 边 来 构成 最 小 生成 树 T 
MST-REDUCE(G, T) 

1 for each v EG.V 

2 v. mark= FALSE 
3 MAKE-SET(v) 
4 for eachu € G.V 
5 if u. mark= =FALSE 
6 choose v €G. Adj[u Jsuch that(u. v). c is minimized 
T UNION (u,v) 
8 T=TU {(u,v)}. orig} 
9 u. mark=v. mark = TRUE 
10 G'.V=({FIND-SET(v) :v€G. V} 
ll G'. E=Ø 
12 for each(z,y)€ G.E 
13 u=FIND-SET(x) 
14 v=FIND-SET(y) 


15 if(u. v) ¢G'. E 

16 G'. E=G'. EU { (u,v) } 

17 (u,v). orig'=(x,y). orig 
18 (u,v). c'=(2,y).€ 

19 else if (zx,y). c<(u,v).c' 

20 (u,v). orig’ =(x,y). orig 
21 (u,v). c'=(a,y).€ 


22 construct adjacency lists G’: Adj for G' 
23 return G’ and T 


a. i T ABR MST-REDUCE 所 返回 的 边 的 集合 ， 设 A 为 调用 MST-Prim(G’, c’, 7) 所 
生成 的 图 G 的 最 小 生成 树 ， 这 里 cÆ G' .已 中 边 的 权重 属性 ，> 是 G'. 六 中 的 任意 结 点 。 
WH: TU{(2, y). orig’: (<, y) EAER G 的 一 棵 最 小 生成 树 。 

. HEAR: |G'.V| 过 |V|/2。 
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c. 请 说 明 要 如 何 实现 算法 MST-REDUCE， 才 能 让 其 运行 时 间 为 OE). (提示 : 使 用 简单 
的 数据 结构 。) 

d. 假定 运行 MST-REDUCE 算法 次 ,使 用 前 一 次 输出 的 图 G 作为 下 一 次 的 输入 图 C， 
并 在 工 中 将 边 累积 起 来 。 证 明 : 算法 运行 次 的 总 时 间 为 O(kE)。 

e 假定 在 运行 MST-REDUCE 算法 次 后 ， 就 如 在 本 题 的 (d) 部 分 那样 ,我 们 通过 调用 算 
法 MST-Prim(G', c', 7) 来 运行 Prim 算法， 这 里 图 G 是 最 后 一 个 阶段 所 返回 的 图 ， 其 
权重 属性 为 a。，r 是 G'.V 中 的 任意 结 点 。 请 说 明 应 当 如 何 选 择 &， 才 能 使 得 整体 的 运行 
时 间 为 OCElglgV)。 并 证 明 你 所 选择 的 使 得 总 体 的 渐 近 运行 时 间 为 最 短 。 

£. 对 于 |EE| 的 何 种 取 值 (以 |V | 为 单位 来 度量 )， 这 种 带 预 处 理 的 Prim 算法 的 时 间 在 渐 近 
意义 上 要 优 于 没有 预 处 理 的 Prim 算 法 的 运行 时 间 ? 

(瓶颈 生成 树 ) 无 向 图 G 的 瓶颈 生成 树 工 是 G 的 一 棵 生成 树 ， 其 最 大 边 的 权重 是 G 的 所 

有 生成 树 中 最 小 的 。 我 们 称 瓶颈 生成 树 荆 的 值 是 T 中 最 大 权重 边 的 权重 。 

a. 证 明 : 最 小 生成 树 是 瓶颈 生成 树 。 

本 题 的 (a) 部 分 显示 ， 找 出 一 棵 瓶颈 生成 树 并 不 比 找 出 一 棵 最 小 生成 树 更 难 。 在 本 题 
余下 的 部 分 ， 我 们 就 来 演示 如 何在 线性 时 间 内 找到 一 棵 瓶颈 生成 树 。 

b. 请 给 出 一 个 线性 时 间 的 算法 ， 在 给 定 图 C 和 整数 2 的 情况 下 ， 能 够 判断 瓶颈 生成 树 的 
值 是 否 最 大 不 超过 b. 

c. 使 用 本 题 (b) 部 分 的 算法 ， 设 计 一 个 瓶颈 生成 树 问 题 的 线性 时 间 算 法 ， 该 算法 将 以 (b) 
部 分 的 算法 作为 子 程序 。( 提 示 : 考虑 使 用 一 个 子 程序 来 对 边 的 集合 进行 收缩 ， 就 如 思 
考题 23-2 中 所 描述 的 MST-REDUCE 算法 一 样 。) 

(第 三 种 最 小 生成 树 算法 ) 在 本 题 中 ， 我 们 给 出 三 种 不 同 算法 的 伪 代 码 。 每 种 算法 的 输入 

都 是 一 个 连通 图 和 一 个 权重 函数 ， 返 回 值 都 是 一 个 边 的 集合 T。 对 于 每 种 算法 ， 要 么 证 明 

工 是 一 棵 最 小 生成 树 ， 要 么 证 明 工 不 是 一 棵 最 小 生成 树 。 同 时 给 出 每 种 算法 的 最 有 效 的 实 

现 (不 管 该 算法 是 否 能 够 计算 出 最 小 生成 树 ) 。 

a. MAYBE-MST-A(G, w) 

1 sort the edges into nonincreasing order of edge weights w 
T=E 


for each edge e, taken in nonincreasing order by weight 


T=T— {e} 


2 
3 
4 if T— {e}is a connected graph 
5 
6 return T 


b. MAYBE-MST-B(G, w) 
1 T=Ø 

2 for each edge e,taken in arbitrary order 
3 if TU {e}has no cycles 

4 T=TU({e} 

5 


return T 


c. MAYBE-MST-C(G, w) 
1 T=0 

2 for each edge e, taken in arbitrary order 

3 T=TU {e} 

4 if T has a cycle c 

5 let e’ be a maximum-weight edge on c 
6 T=T-—{e’} 

7 


return T 
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本 章 注 记 

Tarjan[330] 对 最 小 生成 树 问 题 进行 了 综述 并 提供 了 非常 好 的 参考 资料 。Graham 和 Hell 
[151] 编 扎 了 最 小 生成 树 问 题 的 历史 。 

Tarjan 将 第 一 个 最 小 生成 树 算法 归功 于 O. Boravka 于 1926 年 所 撰写 的 一 篇 论文 。Boravka 算 
法 由 运行 O(lgV) 遍 MST-REDUCE 算法 组 成 (该 算法 在 思考 题 23-2 中 有 详细 描述 )。Kruskal 算 
法 由 Kruskal[222] 在 1956 年 发 表 。 众 所 周知 的 Prim 算法 的 确 由 Prim[L285] 所 发 明 ， 但 该 算法 在 
1930 年 就 由 V. Jarnik 发 明 过 。 

在 寻找 最 小 生成 树 时 ， 贪 心算 法 非常 有 效 的 原因 是 图 的 森林 集合 形成 一 个 图 拟 阵 (请 参阅 
16.4 7). 

当 | 殖 |=QCVlgV) 时 ， 以 斐 波 那 契 堆 实现 的 Prim RAMS MA OE). MF Rw AK 
说 ， 如 果 组 合 使 用 Prim 算法 、Kruskal 算法 和 Boruvka 算法 的 思想 ， 加 上 高 级 的 数据 结构 ， 
Fredman 和 Tarjan[ 114] 描 述 了 一 个 运行 时 间 为 OCE lg *V) 的 最 小 生成 树 算法 。Gabow、Galil、 
Spencer 和 Tarjan[ 120] 将 该 算法 进行 了 改进 ， 改 进 后 的 运行 时 间 为 OCElglg* V) 。ChazelleL 60 给 
出 了 一 个 运行 时 间 为 OCEa(E,，V)) 的 最 小 生成 树 算法 ， 这 里 CE, V) Se Ackermann pa BCH JZ PAI 
数 。( 关 于 Ackermann 函数 及 其 反 函 数 的 信息 ， 请 参阅 第 21 章 的 注 记 。) 与 以 前 的 最 小 生成 树 算 
法 不 同 的 是 ，Chazelle 算法 并 没有 采用 贪心 策略 。 

一 个 与 最 小 生成 树 相 关 的 问题 是 生成 树 的 验证 问题 。 在 该 问题 中 ， 给 定 图 GSN, EAM 
TSE, 我 们 希望 判断 全 是 否 是 G 的 一 棵 最 小 生成 树 。KingL203] 给 出 了 一 个 线性 时 间 的 验证 算 
法 来 验证 一 棵 生成 树 ， 该 工作 建立 在 KomlosL215] 和 Dixon, Rauch 和 TarjanL90] 的 更 早 的 工作 
基础 之 上 。 

上 述 的 所 有 算法 都 是 确定 性 的 ， 都 属于 第 8 章 所 讨论 的 基于 比较 的 模型 。Karger、Klein 和 
Tarjan[ 195] 给 出 了 一 个 随机 化 的 最 小 生成 树 算法 ， 其 期 望 的 时 间 复 杂 度 为 O(V 十 E)。 该 算法 对 
递归 调用 的 使 用 有 点 类 似 9. 3 节 所 讨论 的 线性 时 间 选 择 算法 : 首先 对 一 个 辅助 问题 进行 递归 调 
用 ， 以 识别 出 不 可 能 属于 任何 最 小 生成 树 的 边 的 子 集 E. RE EURA 下 一 下 上 进行 另 一 个 
递归 调用 ， 以 找 出 最 小 生成 树 。 该 算法 还 使 用 了 生成 树 验 证 的 Bortivka 算法 和 King 算法 中 的 一 
些 思想 。 

Fredman 和 WillardL116 描述 了 一 种 非 比较 的 确定 性 算法 ， 可 以 在 OCV 十 已 ) 时 间 内 找到 一 棵 
最 小 生成 树 。 在 他 们 的 算法 中 ， 需 要 假定 所 有 的 数据 都 是 2 位 的 整数 ， 并 且 计 算 机 的 内 存 是 由 可 
寻 址 的 5 位 字 所 组 成 。 
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Wi ŽA 
单 源 最 短路 径 


Patrick 教授 希望 找到 一 条 从 菲尼克斯 (Phoenix) 到 印第安 纳 波 利 斯 (Indianapolis) 的 最 短路 径 。 
给 定 一 幅 美 国 的 道路 交通 图 ， 上 面 标 有 所 有 相 邻 城市 之 间 的 距离 ，Patrick 教授 怎样 才能 找 出 这 
样 一 条 最 短 的 路 径 呢 ? 

一 种 可 能 的 办 法 当然 是 ， 先 将 从 菲尼克斯 到 印第安 纳 波 利 斯 的 所 有 路 径 都 找 出 来 ， 将 每 条 路 径 上 
的 距离 累加 起 来 ， 然 后 选择 其 中 最 短 的 路 径 。 但 是 ， 即 使 在 不 允许 环 路 的 情况 下 ， 也 可 以 看 得 出 来 ， 
Patrick 教授 需要 检查 无 数 种 可 能 的 路 径 ， 而 其 中 的 大 多 数 路 径 根 本 不 值得 检查 。 例 如 ， 一 条 从 菲 尼 克 
斯 经 过 西雅图 再 到 印第安 纳 波 利 斯 的 路 径 显 然 不 符合 要 求 ， 因 为 西雅图 已 经 偏离 了 目标 方向 好 几 百 英里 。 

在 本 章 以 及 第 25 章 ， 我 们 将 阐述 如 何 高 效 地 解决 这 个 问题 。 在 最 短路 径 问题 中 ， 我 们 给 定 
一 个 带 权重 的 有 向 图 G 二 (V，E) 和 权重 函数 w: E>R， 该 权重 函数 将 每 条 边 映 射 到 实数 值 的 权 
重 上 。 图 中 一 条 路 径 Pp 二 《ww，w1，*…，v) 的 权重 w(p) 是 构成 该 路 径 的 所 有 边 的 权重 之 和 : 

wp) = >) wlm») 
定义 从 结 点 u 到 结 点 v 的 最 短路 径 权 重 8C(x，w) 如 下 : 
minfw(p):uv} ”如 果 存 在 一 条 从 结 点 到 结 点 v 的 路 径 
co 其 他 
从 结 点 u 到 结 点 v 的 最 短路 径 则 定义 为 任何 一 条 权重 为 w(p) 一 8(u， 的 从 ww 到 wv 的 路 径 p。 

在 求 取 从 菲尼克斯 到 印第安 纳 波 利 斯 的 最 短路 径 的 例子 中 ， 我 们 可 以 用 一 幅 图 来 表示 道路 
交通 图 : 结 点 代表 城市 ， 边 代表 城市 之 间 的 道路 ， 边 上 的 权重 代表 道路 的 长 度 。 我 们 的 目标 就 是 
找 出 一 条 从 给 定 城市 菲尼克斯 到 给 定 城市 印第安 纳 波 利 斯 的 最 短路 径 。 

当然 ， 边 上 的 权重 也 可 以 代表 非 距 离 的 度量 单位 ， 如 时 间 、 成 本 、 罚 款 、 损 失 ， 或 者 任何 其 
他 可 以 随 路 径 长 度 的 增加 而 线性 积累 的 数量 以 及 我 们 想 要 最 小 化 的 数量 。 

22. 2 节 讨 论 的 广度 优先 搜索 算法 就 是 一 个 求 取 最 短路 径 的 算法 ， 但 该 算法 只 能 用 于 无 权重 
的 图 ， 即 每 条 边 的 权重 都 是 单位 权重 的 图 。 由 于 许多 广度 优先 搜索 的 概念 来 源 于 对 带 权重 的 图 
的 最 短路 径 的 研究 ， 读 者 可 能 需要 先 复习 22. 2 节 的 内 容 ， 再 继续 本 章 的 学 习 。 

最 短路 径 的 几 个 变 

EAR, 我 们 集中 精力 讨论 单 源 最 短路 径 问 题 ， 给 定 一 个 图 G 二 (V，E)， 我们 希望 找到 从 
给 定 源 结 点 SCV 到 每 个 结 点 vE€V 的 最 短路 径 。 单 源 最 短路 径 问题 可 以 用 来 解决 许多 其 他 问题 ， 
其 中 就 包括 下 面 的 几 个 最 短路 径 的 变 体 问题 。 

单 目 的 地 最 短路 径 问 题 : 找到 从 每 个 结 点 v 到 给 定 目 的 地 结 点 t 的 最 短路 径 。 如 果 将 图 的 每 
条 边 的 方向 翻转 过 来 ， 我 们 就 可 以 将 这 个 问题 转换 为 单 源 最 短路 径 问题 。 

单 结 点 对 最 短路 径 问题 : 找到 从 给 定 结 点 x 到 给 定 结 点 的 最 短路 径 。 如 果 解 决 了 针对 单个 
结 点 的 单 源 最 短路 径 问 题 ， 那 么 也 就 解决 了 这 个 问题 。 而 且 ， 在 该 问题 的 所 有 已 知 算法 中 ， 最 
坏 情况 下 的 渐 近 运行 时 间 都 和 最 好 的 单 源 最 短路 径 算 法 的 运行 时 间 一 样 。 

所 有 结 点 对 最 短路 径 问 题 ， 对 于 每 对 结 点 u 和 v， 找 到 从 结 点 到 结 点 v 的 最 短路 径 。 虽 然 
可 以 针对 每 个 结 点 运行 一 遍 单 源 最 短路 径 算 法 ,但 通常 可 以 更 快 地 解决 这 个 问题 。 此 外 ， 该 问题 
结构 的 本 身 就 很 有 趣 。 第 25 章 将 详细 讨论 所 有 结 点 对 最 短路 径 问题 。 

最 短路 径 的 最 优 子 结构 

最 短路 径 算 法 通常 依赖 最 短路 径 的 一 个 重要 性 质 : 两 个 结 点 之 间 的 一 条 最 短路 径 包 含 着 其 





elu, v) = 
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他 的 最 短路 径 。( 第 26 章 讨论 的 Edmonds-Karp 最 大 流 算法 也 依赖 于 这 个 性 质 。) 回 顾 前 面 介绍 的 
内 容 ， 最 优 子 结构 是 可 以 使 用 动态 规划 (第 15 章 ) 和 贪心 算法 (第 16 章 ) 的 一 个 重要 指标 。 我 们 将 
在 24. 3 节 讨 论 的 Dijkstra 算法 就 是 一 个 贪心 算法 ， 而 Floyd-Warshall 算法 则 是 一 个 动态 规划 算 
法 ， 该 算法 能 够 找 出 所 有 结 点 对 之 间 的 最 短路 径 ( 请 参阅 25. 2 节 )。 下 面 的 引 理 精确 地 叙述 了 最 





短路 径 的 最 优 子 结构 性 质 。 [644] 
引 理 24. 1( 最 短路 径 的 子路 径 也 是 最 短路 径 ) 给 定 带 权重 的 有 向 图 G=V, PDRE AK 

w: E>R, BR p= (ys w, s W) AAH S w 到 结 点 vi 的 一 条 最 短路 径 ， 并 且 对 于 任意 的 1 和 

js ORISA, B Pig S65 Ups o YABB p 中 从 结 点 v; 到 结 点 v 的 子路 径 。 那 么 py % 


从 结 点 v; 到 结 点 v; 的 一 条 最 短路 径 。 
证 明 如 果 将 路 径 P 分 解 为 Vo Su, du, Sv, 9 则 有 wp) =w poi) +w pj) +wl pir )。 现 


在 ,假设 存在 一 条 从 vi 到 vw KE py, H wl ph )<w py). W wv, 0; 地 vi 是 一 条 从 结 
点 vo 到 结 点 wv 的 权重 为 ww(poi) 十 w(py) 十 w(pin) 的 路 径 ， 而 该 权重 小 于 wp), XH pM v 
到 vu. 的 一 条 最 短路 径 这 一 假设 相 矛 盾 。 a 

负 权 重 的 边 

某 些 单 源 最 短路 径 问题 可 能 包括 权重 为 负 值 的 边 。 但 如 果 图 G=V, DAWES NRA s 可 
以 到 达 的 权重 为 负 值 的 环 路 ， 则 对 于 所 有 的 结 点 vEV， 最 短路 径 权 重 6(s，wv) 都 有 精确 定义 ， 即 
使 其 取 值 是 负数 。 如 果 图 GEEA s 可 以 达到 的 权重 为 负 值 的 环 路 ， 则 最 短路 径 权 重 无 定义 。 从 
5 到 该 环 路 上 的 任意 结 点 的 路 径 都 不 可 能 是 最 短路 径 ， 因 为 我 们 只 要 沿 着 任何 “最 短路 径 再 遍历 
一 次 权重 为 负 值 的 环 路 ， 则 总 是 可 以 找到 一 条 权重 更 小 的 路 径 。 如 果 从 结 点 * 到 结 点 wv 的 某 条 路 
径 上 存在 权重 为 负 值 的 环 路 ， 我 们 定义 8(s， 切 三 一 co。 

图 24-1 描述 的 是 负 权 重 和 权重 为 负 值 的 环 路 对 最 短路 径 权重 的 影响 。 因 为 从 结 点 s 到 结 点 a 
只 有 一 条 路 径 ( 路 径 (*，a))， 所 以 有 6(s，a) =wls, a) =3, BW, MA s 到 结 点 6 也 只 有 
一 条 路 径 ， 因 此 SG, b =w, a) twla, 二 3 十 (一 4 二 一 1]。 从 结 点 s AA c 则 有 无 数 条 路 
径 ; (Sy ds 4S) Cy dy co), 48, Cs d, c, ds OF, AIHRC, ds YDHMBYW6+(-32)= 
3 之 0， 从 结 点 到 结 点 c 的 最 短路 径 是 (s，c);， 其 权重 为 6(s，c) 二 w(s，0c) 二 5。 类 似 地 ， 从 结 点 
s 到 结 点 4 的 最 短路 径 为 (;s，c，d);， 其 权重 为 6(s，4d) 二 w(s，c) 十 wlc，d)= 二 11。 类 似 地 ， 从 结 
点 到 结 点 e 也 有 无 数 条 路 径 ; (s; e)a (s, er Jr es (5, €n fr es fr ed, GH, AHHH 
《e，f，e) 的 权重 为 3+(—6)=—3<0, MHA s 到 结 点 e 没有 最 短路 径 。 通 过 遍历 负 权 重 环 路 
4e，f，e) 任 意 次 数 ， 可 以 找到 权重 为 任意 负 值 的 从 结 点 s 到 结 点 e 的 路 径 ， 因 此 6(s，e) 二 一 o0。 
类 似 地 ，6(s， 几 二 一 2。 因为 结 点 g 可 以 从 结 点 f 到 达 ， 我 们 可 以 找到 一 条 权重 为 任意 负 值 的 
从 结 点 :到 结 点 g 的 路 径 ， 因 此 eCG, g= ao, A h i 和 j 也 形成 一 个 权重 为 负 值 的 环 路 ， 
但 它们 不 能 从 结 点 * 到 达 ， 因 此 OCs, A =O(s, 1) =d(s, j=, 645 








图 24-1 有 向 图 中 的 负 权重 边 。 从 源 结 点 s 到 每 个 结 点 之 间 的 最 短路 径 的 权重 标记 在 每 个 结 点 中 。 因 为 结 点 e 
和 结 点 了 形成 一 个 权重 为 负 值 上 且 可 以 从 结 点 * 到 达 的 环 路 ， 它 们 的 最 短路 径 权重 为 一 co。 因 为 结 点 
g 可 以 从 一 个 最 短路 径 权 重 为 一 co 的 结 点 到 达 ， 它 的 最 短路 径 权重 也 是 一 co。 绪 点 h、i 和 j 不 能 
从 源 结 点 ;到达 ， 因此， 它们 的 最 短路 径 权 重 为 2， 即使 它们 也 在 一 条 权重 为 负 值 的 环 路 上 
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某 些 最 短路 径 算法 (如 Dijkstra 算法 ) 假 设 输入 图 的 所 有 的 边 权 重 为 非 负 值 。 例 如 ， 道 路 
交通 图 的 例子 中 所 有 权重 都 为 正 值 。 另 外 一 些 算 法 (如 Bellman-Ford 算法 ) ， 人 允许 输入 图 中 包 
含 负 权 重 的 边 。 但 只 要 没有 可 以 从 源 结 点 到 达 的 权重 为 负 值 的 环 路 ， 就 可 以 生成 正确 的 答 
案 。 在 通常 情况 下 ， 如 果 存 在 一 条 权重 为 负 值 的 环 路 ，Bellman-Ford 算 法 可 以 侦 测 并 报告 其 
存在 。 

环 路 

一 条 最 短路 径 可 以 包含 环 路 吗 ? 正如 我 们 已 经 看 到 的 ， 最 短路 径 不 能 包含 权重 为 负 值 的 环 
路 。 而 事实 上 ， 最 短路 径 也 不 能 包含 权重 为 正 值 的 环 路 ， 因 为 只 要 将 环 路 从 路 径 上 删除 就 可 以 得 到 
一 条 源 结 点 和 终结 点 与 原来 路 径 相同 的 一 条 权重 更 小 的 路 径 。 也 就 是 说 ， 如 果 p=, vs rs u)FE— 
条 路 径 ， E= wa Wars ts v;) 是 该 路 径 上 的 一 条 权重 为 正 值 的 环 路 (因此 ， U; =U; 并 且 Ce) 之 
0)， 则 路 径 p’=(us Us ts Vis Upis Yrs > WAH w(p’)=wlp)—-wle)<w(p), A 
IE, p ATT REEM vo Blu. 的 一 条 最 短路 径 。 

这 样 就 只 剩 下 权重 为 0 的 环 路 。 我 们 可 以 从 任何 路 径 上 删除 权重 为 0 的 环 路 而 得 到 另 一 条 权 
重 相同 的 路 径 。 因 此 ， 如 果 从 源 结 点 s 到 终结 点 wv 存在 一 条 包含 权重 为 0 的 环 路 的 最 短路 径 ， 则 
也 同时 存在 另 一 条 不 包含 该 环 路 的 从 结 点 s 到 结 点 v 的 最 短路 径 。 只 要 一 条 最 短路 径 上 还 有 权重 
为 0 的 环 路 ， 我 们 就 可 以 重复 删除 这 些 环 路 ， 直 到 得 到 一 条 不 包括 环 路 的 最 短路 径 。 因 此 ， 不 失 
一 般 性 , 我 们 可 以 假定 在 找到 的 最 短路 径 中 没有 环 路 ， 即 它们 都 是 简单 路 径 。 由 于 图 
G 二 (V，E) 中 的 任意 无 环 路 径 最 多 包含 1V | 个 不 同 的 结 点 ， 它 也 最 多 包含 |1V| 一 1 条 边 。 因 此 ， 
我 们 可 以 将 注意 力 集中 到 至 多 只 包含 |V| 一 1 条 边 的 最 短路 径 上 。 

最 短路 径 的 表示 

在 通常 情况 下 ， 我 们 不 但 希望 计算 出 最 短路 径 权 重 ， 还 希望 计算 出 最 短路 径 上 的 结 点 。 我 们 
对 最 短路 径 的 表示 与 22. 2 节 中 对 广度 优先 搜索 树 的 表示 类 似 。 给 定 图 G 一 (V，E)， 对 于 每 个 结 
点 上， 我 们 维持 一 个 前 驱 结 点 v. r。 该 前 驱 结 点 可 能 是 另 一 个 结 点 或 者 NIL。 本 章 的 最 短路 径 算 
法 将 对 每 个 结 点 的 x 属性 进行 设置 ， 这样， 将 从 结 点 v 开 始 的 前 驱 结 点 链 反 转 过 来 ， 就 是 从 * 到 
v 的 一 条 最 短路 径 。 因 此 ， 给 定 结 点 v， 且 v. «ANIL, 22.2 节 中 的 程序 PRINT-PATH(G，s, v) 
打印 出 的 就 是 从 结 点 s 到 结 点 v 的 一 条 最 短路 径 。 

但 是 ， 在 运行 最 短路 径 算法 的 过 程 中 ，r 值 并 不 一 定 能 给 出 最 短路 径 。 如 在 广度 优先 搜索 里 
一 样 ， 我 们 感 兴趣 的 是 由 x 值 所 诱导 的 前 驱 子 图 G. 二 (CV;，E)。 在 这 里 ， 我 们 定义 结 点 集 为 
图 G 中 的 前 驱 结 点 不 为 NIL 的 结 点 的 集合 ， 再 加 上 源 结 点 *， 即 

V, = {v E V:v. x Æ NIL} U {s} 
有 向 边 集合 E. 是 由 V 中 的 结 点 的 x 值 所 诱导 的 边 的 集合 ， 即 
E, = {v mv) E E:v E V, — {s}} 

我 们 将 证 明 本 章 的 算法 所 生成 的 x 值 具有 如 下 性 质 : 在 算法 终止 时 ，G, 是 一 棵 “最 短路 径 
树 ”。 非 形式 化 地 说 ， 最 短路 径 树 是 一 棵 有 根 结 点 的 树 ， 该 树 包 括 了 从 源 结 点 s 到 每 个 可 以 从 s 
到 达 的 结 点 的 一 条 最 短路 径 。 一 棵 最 短路 径 树 有 点 类 似 于 22. 2 节 中 的 广度 优先 树 ， 但 它 所 包括 
的 最 短路 径 是 以 边 的 权重 来 定义 的 ， 而 不 是 边 的 条 数 。 更 精确 地 说 ， 设 G 王 (V， 巨 ) 是 一 条 带 权 
重 的 有 向 图 ， 其 权重 函数 为 ww: ER， 假 定 G 不 包含 从 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 因 此 ， 
所 有 的 最 短路 径 都 有 定义 。 一 棵 根 结 点 为 s 的 最 短路 径 树 是 一 个 有 向 子 图 G' 一 (W ， 已 )， 这 里 
VEV: ECE, ME: 

1.V 是 图 G 中 从 源 结 点 s 可 以 到 达 的 所 有 结 点 的 集合 。 

2. G' 形 成 一 棵 根 结 点 为 * 的 树 。 
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3. 对 于 所 有 的 结 点 vEV'， 图 G' 中 从 结 点 s 到 结 点 v 的 唯一 简单 路 径 是 图 G 中 从 结 点 s 到 结 
点 的 一 条 最 短路 径 。 

需要 指出 的 是 ， 最 短路 径 不 一 定 是 唯一 的 ， 最 短路 径 树 也 不 一 定 是 唯一 的 。 例 如 ， 图 24-2 
描述 的 是 一 个 带 权 重 的 有 向 图 和 两 棵 根 结 点 相同 的 最 短路 径 树 。 





A242 (a) 带 权重 的 有 向 图 ， 具有 从 源 结 点 出 发 的 最 短路 径 权 重 。(b) 加 了 阴影 的 边 形成 一 棵 根 结 点 
为 s 的 最 短路 径 树 。(c) 根 结 点 相同 的 另 一 棵 最 短路 径 树 


松弛 操作 

本 章 的 算法 需要 使 用 松弛 (relaxation) 技 术 。 对 于 每 个 结 点 v 来 说 ,我 们 维持 一 个 属性 v d, 
用 来 记录 从 源 结 点 s 到 结 点 v 的 最 短路 径 权 重 的 上 界 。 我 们 称 v d X s 到 wv 的 最 短路 径 估 计 。 我 
们 使 用 下 面 运行 时 间 为 86(V) 的 算法 来 对 最 短路 径 估计 和 前 驱 结 点 进行 初始 化 : 


INITIALIZE-SINGLE-SOURCE(G, s) 
1 foreach vertexv EG.V 


2 vu. d=co 
3 v. n=NIL 
4 s.d=0 


在 初始 化 操作 结束 后 ， 对 于 所 有 的 结 点 v€EV， RIA wv. x 二 NIL，s. 4 二 0， 对 于 所 有 的 结 点 
vEV— {s}, RITA v. d=, 

对 一 条 边 的 (u， 必 的 松弛 过 程 为 : 首先 测试 一 下 是 否 可 以 对 从 s 到 wv 的 最 短路 径 进行 改善 。 
测试 的 方法 是 ， 将 从 结 点 s 到 结 点 之 间 的 最 短路 径 距 离 加 上 绪 点 与 v 之 间 的 边 权 重 ， 并 与 当 
前 的 到 wv 的 最 短路 径 估 计 进 行 比较 ， 如 果 前 者 更 小 ， 则 对 v d 和 w. x 进行 更 新 。 松 弛 步骤 可 
能 降低 最 短路 径 的 估计 值 v. d 并 更 新 v 的 前 驱 属性 v.x。 下 面 的 伪 代 码 执 行 的 就 是 对 边 (u，wv) 在 
OC(1) 时 间 内 进行 的 松弛 操作 : 

RELAX(u,v,w) 

1 if v.d>u.d+wlu,v) 

2 v.d=u.dt+wu,v) 


3 UU 


图 24-3 描述 的 是 对 一 条 边 进行 松弛 的 两 个 例子 。 在 其 中 一 个 例子 中 ， 最 短路 径 估计 因 松 弛 操作 
而 减少 了 ， 在 另 一 个 例子 中 ， 最 短路 径 估计 则 没有 发 生变 化 。 





O ”也许 读者 觉得 使 用 “松弛 ?这 个 词 来 描述 一 种 对 距离 上 界 进行 收 紧 的 操作 有 点 不 可 思议 。 这 个 词 的 使 用 是 有 历史 
渊源 的 。 一 个 松弛 操作 的 结果 可 以 看 做 是 对 限制 条 件 vodu 4d 十 w(u，w) 的 放松 。 根据 三 角 不 等 式 ( 引 理 
24. 10)， 该 不 等 式 在 wu.d 二 6(s，) 和 vd 二 6(s，v) 时 必须 成 立 。 也 就 是 说 ， 如 果 v. d<u. d 十 wlu，wv)， 将 不 存 
在 任何 “压力 ”来 满足 该 限制 条 件 ， 因 此 ， 该 限制 条 件 是 “松弛 ”的 。 
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i RELAX(u,v,w) i RELAX(u,v,w) 


F J 
2 2 POR 





(a) Cb) 


图 24-3 WMH wu, v)=2 的 边 (u，v) 进 行 的 松弛 操作 。 对 每 个 结 点 的 最 短路 径 估计 写 在 结 点 里 
面 。(a) 因 为 在 松弛 操作 前 有 v. d>u.d+wlu, v), Am v. d 的 值 减 小 。(b) 在 对 边 进行 松 
弛 操作 前 有 v du. 4 十 wlu，v)， 因 此 ， 松 弛 步骤 维持 v d 的 取 值 不 变 


本 章 的 每 个 算法 都 将 调用 算法 INITIALIZE-SINGLE-SOURCE， 然 后 重复 对 边 进 行 松弛 。 而 
AL, 松弛 是 唯一 导致 最 短路 径 估计 和 前 驱 结 点 发 生变 化 的 操作 。 本 章 所 讨论 的 所 有 算法 之 间 的 
不 同 之 处 是 对 每 条 边 进行 松弛 的 次 数 和 松弛 边 的 次 序 有 所 不 同 。Dijkstra 算法 和 用 于 有 向 无 环 图 
的 最 短路 径 算法 对 每 条 边 仅 松弛 一 次 。Bellman-Ford 算法 则 对 每 条 边 松 弛 |V| 一 1 次。 

最 短路 径 和 松弛 操作 的 性 质 

为 了 证 明 本 章 所 讨论 算法 的 正确 性 ， 我 们 需要 使 用 最 短路 径 和 松弛 操作 的 一 些 性 质 。 我 们 
下 面 先 陈述 这 些 性 质 ，24. 5 节 再 来 正式 证 明 这 些 性 质 。 为 方便 读者 查阅 ， 这 里 陈述 的 每 条 性 质 
都 给 出 了 24. 5 节 中 对 应 的 引 理 和 推论 。 这 些 性 质 的 后 面 5 条 都 涉及 最 短路 径 估计 或 前 驱 子 图 ， 
它们 成 立 的 前 提 是 必须 调用 INITIALIZE-SINGLE-SOURCE(G，s) 来 对 图 进行 初始 化 ， 并 且 所 有 
对 最 短路 径 估计 和 前 驱 子 图 所 进行 的 改变 都 是 通过 一 系列 的 松弛 步骤 来 实现 的 。 

三 角 不 等 式 性 质 ( 引 理 24.10) ME, DEE, RITA Xs, VKS, Hulu, v). 

上 界 性 质 ( 引 理 24. 11) ”对 于 所 有 的 结 点 vEV， 我 们 总 是 有 v. d 宇 6(s，wv)。 一 旦 v. d 的 取 值 
达到 8(s，v)， 其 值 将 不 再 发 生变 化 。 

非 路 径 性 质 (推论 24.12) ”如 果 从 结 点 s 到 结 点 v 之 间 不 存在 路 径 ， 则 总 是 有 vw. d= 二 6(s, =o, 

收敛 性 质 ( 引 理 24. 14) ”对 于 某 些 结 点 wu，vEV， 如 果 s~2u>v 是 图 G 中 的 一 条 最 短路 径 ， 并 
且 在 对 边 (u，wv) 进 行 松弛 前 的 任意 时 间 有 d= 二 6(s，w) ， 则 在 之 后 的 所 有 时 间 有 v d= 二 6(s，w)。 

路 径 松 弛 性 质 ( 引 理 24. 15) 如 果 p=(w, Dg) O's vw) 是 从 源 结 点 ST w 到 结 点 Up 的 一 条 最 
aR, FFA RT p 中 的 边 所 进行 松弛 的 次 序 为 (ww w), Cs w), ts Cis w), W 
w. d 二 6(s，v)。 该 性 质 的 成 立 与 任何 其 他 的 松弛 操作 无 关 ， 即 使 这 些 松 弛 操作 是 与 对 p 上 的 边 
所 进行 的 松弛 操作 穿插 进行 的 。 

前 驱 子 图 性 质 ( 引 理 24.17) ”对 于 所 有 的 结 点 VEV, 一 旦 v.d 二 6(s，v)， 则 前 驱 子 图 是 一 
棵 根 结 点 为 s 的 最 短路 径 树 。 

本 章 概 要 

24. 1 节 对 Bellman-Ford 算法 进行 讨论 。 该 算法 解决 的 是 一 般 情 况 下 的 单 源 最 短路 径 问 题 。 
在 一 般 情 况 下 ， 边 的 权重 可 以 为 负 值 。Bellman-Ford 算法 非常 的 简单 ， 并 且 还 能 够 侦 测 是 否 存 在 
从 源 结 点 可 以 到 达 的 权重 为 负 值 的 环 路 。24. 2 节 将 给 出 在 有 向 无 环 图 中 计算 单 源 最 短路 径 的 线 
性 时 间 的 算法 。24. 3 节 讨 论 Dijkstra 算法 。 该 算法 的 时 间 复 杂 度 低 于 Bellman-Ford 算法 ， 但 却 
要 求 边 的 权重 为 非 负 值 。24. 4 节 描 述 如 何 使 用 Bellman-Ford 算法 来 解决 线性 规划 中 的 一 种 特殊 
情况 。 最 后 ，24. 5 节 将 对 上 面 陈述 的 最 短路 径 和 松弛 操作 的 性 质 予 以 证 明 。 

在 对 无 穷 量 进行 算术 运算 时 ， 我 们 需要 使 用 一 些 约定 。 假 定 对 于 任意 实数 a 闫 一 eo， 有 a 十 
co 二 00 十 a 二 oo。 同 时 ， 为 了 使 我 们 的 证 明 在 有 权重 为 负 值 的 环 路 时 也 成 立 ， 还 假定 对 于 任意 实 
Bl aco, A at(—cc)=(—co)ta=— oo, i 

本 章 所 讨论 的 所 有 算法 都 假定 有 向 图 G 以 邻接 链表 的 方式 予以 存放 。 此 外 ， 边 的 权重 与 边 
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本 身 存 放 在 一 起 ， 这 样 在 遍历 每 条 邻接 链表 时 ， 我 们 可 以 在 O(1) 时 间 内 获得 边 的 权重 。 


24. 1 Bellman-Ford 算法 


Bellman-Ford 算法 解决 的 是 一 般 情况 下 的 单 源 最 短路 径 问 题 ， 在 这 里 ， 边 的 权重 可 以 为 负 
值 。 给 定 带 权 重 的 有 向 图 G 二 (V，E) 和 权重 函数 w: E>R，Bellman-Ford 算 法 返回 一 个 布尔 值 ， 
以 表明 是 否 存在 一 个 从 源 结 点 可 以 到 达 的 权重 为 负 值 的 环 路 。 如 果 存 在 这 样 一 个 环 上 路， 算法 将 
告诉 我 们 不 存在 解决 方案 。 如 果 没 有 这 种 环 路 存在 ， 算 法 将 给 出 最 短路 径 和 它们 的 权重 。 
Bellman-Ford 算法 通过 对 边 进行 松弛 操作 来 渐 近 地 降低 从 源 结 点 s 到 每 个 结 点 wv 的 最 短路 径 
的 估计 值 v. 4， 直 到 该 估计 值 与 实际 的 最 短路 径 权 重 6(s，wv) 相 同时 为 止 。 该 算法 返回 TRUE fh 
当 且 仅 当 输入 图 不 包含 可 以 从 源 结 点 到 达 的 权重 为 负 值 的 环 路 。 
BELLMAN-FORD(G, w,s) 
1 INITIALIZE-SINGLE-SOURCE(G, s) 
2 for i=lte|G.V|—1 
3 for each edge(u,v) EG. E 
4 RELAX(u,v,w) 
5 for each edge(u,v) EG. E 
6 if v. d>u. d+wu. v) 
7 return FALSE 
8 return TRUE 


图 24-4 描述 的 是 在 有 5 个 结 点 的 图 上 运行 Bellman-Ford 算法 的 过 程 。 在 算法 第 1 行 对 所 有 
结 点 的 4 值 和 zx 值 进行 初始 化 后 ， 算 法 对 图 的 每 条 边 进行 |V| 一 1 次 处 理 。 每 一 次 处 理 对 应 的 是 
算法 第 2 一 4 行 for 循环 的 一 次 循环 ， 该 循环 对 图 的 每 条 边 进行 一 次 松弛 操作 。 图 24-4(b) 一 (e) 描 
述 的 是 对 边 进行 4 次 松弛 操作 时 ， 每 一 次 松弛 后 的 算法 状态 。 在 进行 了 |V| 一 1 次 松弛 操作 后 ， 
算法 第 5 一 8 行 负责 检查 图 中 是 否 存在 权重 为 负 值 的 环 路 并 返回 与 之 相 适应 的 布尔 值 。( 我 们 将 在 
稍 后 的 篇 幅 里 看 到 该 检查 为 什么 是 正确 的 。) 





图 24-4 ”Bellman-Ford 算法 的 执行 过 程 。 源 结 点 为 s， 结 点 中 的 数值 为 该 结 点 的 d 值 ， 加 了 阴影 的 边 表示 
前 驱 值 ,如果 边 (x，v) 加 了 阴影 ， 则 vw. x 一 x。 在 本 图 的 例子 中 ， 每 一 次 的 松弛 操作 对 边 的 处 理 
WIEME: Us ws Gy y), Ch zy Cys ws Coy e)s Cor Ws Ces Ds Ce, Bs. Css Ye 
(a) FESS 1 次 松弛 操作 前 的 场景 。(b) ~~(e) 在 对 边 进行 每 次 松弛 操作 后 的 场景 。 图 (e) 中 的 a 值 
和 x 值 为 最 终 取 值 。 在 本 例 中 ，Bellman-Ford 算法 返回 的 值 为 TRUE 


650 
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由 于 算法 第 1 行 的 初始 化 操作 所 需 时 间 为 B(V) ， 第 2~4 行 循 环 的 运行 时 间 为 BCE)， 且 一 
共 要 进行 |V| 一 1 次 循环 ， 第 5 一 7 行 的 for 循环 所 需 时 间 为 OŒ), Bellman-Ford 算法 的 总 运行 
时 间 为 OCVE). 

要 证 明 Bellman-Ford 算法 的 正确 性 ， 首 先 证 明 在 没有 权重 为 负 值 的 环 路 的 情况 下 ， 该 算法 
正确 计算 出 从 源 结 点 可 以 到 达 的 所 有 结 点 之 间 的 最 短路 径 权 重 。 

引 理 24.2 设 G 二 (V， 忆 ) 为 一 个 带 权重 的 源 结 点 为 s 的 有 向 图 ， 其 权重 函数 为 w: ER. 
假定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 。 那 么 在 算法 BELLMAN-FORD 的 第 
2 一 4 行 的 for 循环 执行 了 |V| 一 1 次 之 后 ， 对 于 所 有 从 源 结 点 5 可 以 到 达 的 结 点 v， 我 们 有 
vd=6(s, V). 

证 明 我们 通过 使 用 路 径 松 弛 性 质 来 证 明 本 引 理 。 考 虑 任意 从 源 结 点 s 可 以 到 达 的 结 点 v， 
设 p=(w, uo WARE s 到 结 点 v 之 间 的 任意 一 条 最 短路 径 ， 这 里 us u=. A 
为 最 短路 径 都 是 简单 路 径 ，p 最 多 包含 1V| 一 1 条 边 ， 因 此 1V| 一 1。 算法 第 2~4 行 的 for 循 
环 每 次 松弛 所 有 的 |E| 条 边 。 在 第 i 次 松弛 操作 时 ， 这 里 ;二 1，2，…，A&， 被 松弛 的 边 中 包含 边 

651| 《v1，wv)。 根 据 路 径 松 弛 性 质 ，w. d 二 vw. d 二 6(s，w) 二 6(s，v)。 图 

ste 推论 24.3 设 G 二 (V，) 是 一 带 权 重 的 源 结 点 为 ;的 有 向 图 ， 其 权重 函数 为 w: E>R。 假 
定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 对 于 所 有 结 点 VEV， 存 在 一 条 从 源 
结 点 5 到 结 点 了 的 路 径 当 且 仅 当 BELLMAN-FORD 算法 终止 时 有 习 d<co, 

证 明 该 证 明 留 给 读者 作为 练习 (请 参阅 练习 24. 1-2) 。 a 

定理 24. 4(Bellman-Ford 算法 的 正确 性 ) 设 BELLMAN-FORD 算法 运行 在 一 带 权重 的 源 结 
点 为 5 的 有 向 图 G 一 (V， 开 ) 上， 该 图 的 权重 函数 为 w: >R。 如 果 图 G 不 包含 从 源 结 点 s 可 以 
到 达 的 权重 为 负 值 的 环 路 ， 则 算法 将 返回 TRUE 值 ， 且 对 于 所 有 结 点 vEV， 前 驱 子 图 G, 是 一 
PIR RAs 的 最 短路 径 树 。 如 果 图 G 包含 一 条 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 算 
法 将 返回 FALSE 44. 

证 明 假定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 。 我 们 首先 证 明 ， 对 于 所 有 
结 点 vEV， 在 算法 BELLMAN-FORD 终止 时 ,我 们 有 v. d= 二 6(s，wv)。 如 果 结 点 vv 是 从 s 可 以 到 
达 的 ， 则 引 理 24.2 证 明了 本 论断 。 如 果 结 点 v 不 能 从 s 到 达 ， 则 该 论断 可 以 从 非 路 径 性 质 获得 。 
因此 ， 该 论断 得 到 证 明 。 综 合 前 驱 子 图 性 质 和 本 论断 可 以 推导 出 G. 是 一 棵 最 短路 径 树 。 现 在 ， 
我 们 使 用 这 个 论断 来 证 明 BELLMAN-FORD 算法 返回 的 是 TRUE 值 。 在 算法 BELLMAN-FORD 
终止 时 ， 对 于 所 有 的 边 (uw，v) EE， 我 们 有 

v. d= 6(s,v) 
之 6(s,w) 十 wlu,v) (根据 三 角 不 等 式 ) 
= u. d+ wlu, v) 
因此 ， 算 法 第 6 行 中 没有 任何 测试 可 以 让 BELLMAN-FORD 算法 返回 FALSE 值 。 因 此 ， 它 一 定 
返回 的 是 TRUE fË. 

HE, BER G 包 含 一 个 权重 为 负 值 的 环 路 ， 并 且 该 环 路 可 以 从 源 结 点 s 到 达 ; 设 该 环 路 为 

c 二 (ww， Us ，V)， 这 里 w= 二 vw， 则 有 


k 
dw sU) <0 (24. 1) 


下 面 使 用 反 证 法 。 假 设 Bellman-Ford 算法 返回 的 是 TRUE 值 ， 则 v..d<v-1.dt+wlu-is v), 
这 里 ;二 1，2，…，&。 将 环 路 < 上 的 所 有 这 种 不 等 式 加 起 来 ， 我 们 有 


k k k k 
Dud J, wn d+ wonu) = D vn. d+ D wonu) 
i=1 i=1 i=l i=l 
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由 于 一 以 ， 环 路 c 上 面 的 每 个 结 点 在 上 述 求 和 表达 式 也 ud ALD) u d 中 刚好 各 出 现 一 
次 ， 因 此 有 

Did Fand 
而 且 ， 根 据 推论 24.3, ud 对 于 ;一 1，2，…, 来 说 取 的 都 是 有 限 值 ， 因 此 有 

0< Muto) 


而 这 与 不 等 式 (24. DIK. 因此， 我 们 得 出 结论 ， 如 果 图 G 不 包含 从 源 结 点 * 可 以 到 达 的 权重 为 
负 值 的 环 路 ， 则 Bellman-Ford 算法 返回 TRUE 值 ， 否 则 返回 FALSE 值 。 m 


练习 

24.1-1 在 图 24-4 上 运行 Bellman-Ford 算法 ,使 用 结 点 z 作为 源 结 点 。 在 每 一 遍 松弛 过 程 中 ， 
以 图 中 相同 的 次 序 对 每 条 边 进 行 松 弛 ， 给 出 每 遍 松 弛 操作 后 的 & 值 和 r 值 。 然 后 ， 把 边 
(Cz，zZ) 的 权重 改 为 4， 再 次 运行 该 算法 ， 这 次 使 用 s 作为 源 结 点 。 

24.1-2 证 明 推 论 24. 3。 

24.1-3 ”给 定 G 二 (V，E) 是 一 带 权重 且 没 有 权重 为 负 值 的 环 路 的 有 向 图 ， 对 于 所 有 结 点 vEV， 
从 源 结 点 s 到 结 点 wv 之 间 的 最 短路 径 中 ， 包 含 边 的 条 数 的 最 大 值 为 m。( 这 里 ， 判 断 最 
短路 径 的 根据 是 权重 ， 不 是 边 的 条 数 。) 请 对 算法 BELLMAN-FORD 进行 简单 修改 ， 可 
以 让 其 在 m 十 1 遍 松弛 操作 之 后 终止 ， 即 使 m 不 是 事先 知道 的 一 个 数值 。 

24.1-4 ”修改 Bellman-Ford 算法， 使 其 对 于 所 有 结 点 v 来 说 ， 如 果 从 源 结 点 s 到 结 点 wv 的 一 条 路 
径 上 存在 权重 为 负 值 的 环 路 ， 则 将 v. a 的 值 设 置 为 一 ce。 

*24.1-5 设 G==(V,，E) 为 一 带 权 重 的 有 向 图 ， 其 权重 函数 为 w: 已 ~R。 请 给 出 一 个 时 间 复 杂 度 
为 OCVE) 的 算法 ， 对 于 每 个 结 点 vEV， 计 算出 数值 6° (vw) 二 min{6Cu,v)}。 

*24.1-6 假定 G 二 (V，E) 为 一 带 权 重 的 有 向 图 ， 并且 图 中 存在 一 个 权重 为 负 值 的 环 路 。 给 出 一 
个 有 效 的 算法 来 列 出 所 有 属于 该 环 路 上 的 结 点 。 请 证 明 算 法 的 正确 性 。 


24.2 有 向 无 环 图 中 的 单 源 最 短路 径 问 题 


根据 结 点 的 拓扑 排序 次 序 来 对 带 权重 的 有 向 无 环 图 G 二 (V，E) 进 行 边 的 松弛 操作 ， 我 们 便 
可 以 在 @(V 十 E) 时 间 内 计算 出 从 单个 源 结 点 到 所 有 结 点 之 间 的 最 短路 径 。 在 有 向 无 环 图 中 ， 即 
使 存在 权重 为 负 值 的 边 ， 但 因为 没有 权重 为 负 值 的 环 路 ， 最 短路 径 都 是 存在 的 。 

我 们 的 算法 先 对 有 向 无 环 图 进行 拓扑 排序 (请 参阅 22. 4 节 )， 以 便 确定 结 点 之 间 的 一 个 线性 
次 序 。 如 果 有 向 无 环 图 包含 从 结 点 u 到 结 点 v 的 一 条 路 径 ， 则 在 拓扑 排序 的 次 序 中 位 于 结 点 v 
的 前 面 。 我 们 只 需要 按照 拓扑 排序 的 次 序 对 结 点 进行 一 遍 处 理 即 可 。 每 次 对 一 个 结 点 进行 处 理 
时 ， 我 们 对 从 该 结 点 发 出 的 所 有 的 边 进 行 松弛 操作 。 


DAG-SHORTEST-PATHS(G, w,s) 

1 topologically sort the vertices of G 

2 INITIALIZE-SINGLE-SOURCE(G, s) 

3 for each vertex u, taken in topologically sorted order 
4 for each vertex v€G. Adj[u] 

5 RELAX(u,v,w) 


图 24-5 描述 的 是 算法 DAG-SHORTEST-PATHS 的 执行 过 程 。 
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图 24-5 “在 有 向 无 环 图 上 执行 最 短路 径 算法 DAG-SHORTEST-PATHS 的 过 程 。 图 中 的 结 点 从 左 至 右 以 
拓扑 排序 的 次 序 排列 。 源 结 点 为 *， 每 个 结 点 中 的 数值 为 4 值 ， 加 了 阴影 的 边 表示 x 值 。(a) 在 
算法 第 3 一 5 FF for 循环 开始 前 的 场景 。(b) 一 (8g) 第 3 一 5 行 for 循环 在 每 次 执行 后 的 场景 。 每 次 
循环 时 新 变 为 黑色 的 结 点 作为 该 次 循环 里 的 x 结 点 。 图 (g) 中 所 显示 的 各 种 值 都 是 最 后 的 取 值 


该 算法 的 运行 时 间 非 常 容易 分 析 。 如 22.4 节 所 描述 的 ， 算 法 第 1 行 的 拓扑 排序 时 间 为 
@(V+E). # 2 行 对 INITIALIZE-SINGLE-SOURCE 的 调用 所 需 时 间 为 9B(V)。 第 3 一 5 行 的 for 
循环 (外 循环 ) 对 于 每 个 结 点 执行 一 遍 ， 因 此 ， 第 4 一 5 行 的 for 循环 (内 循环 ) 对 每 条 边 刚好 松弛 
一 次 。( 注 意 ， 我 们 这 里 使 用 了 聚合 分 析 。) 因 为 内 循环 每 次 的 运行 时 间 为 86(1)， 算 法 的 总 运行 时 
间 为 9(V 十 E)。 对 于 以 邻接 链表 法 表示 的 图 来 说 ， 这 个 时 间 为 线性 级 。 

下 面 的 定理 将 证 明 DAG-SHORTEST-PATHS 过 程 正确 计算 出 所 有 的 最 短路 径 。 

EH 24.5 ”如果 带 权重 无 环 路 的 有 向 图 G 二 (V,，F) 有 一 个 源 结 点 s， 则 在 算法 DAG 
SHORTEST-PATHS 终止 时 ， 对 于 所 有 的 结 点 vEV， RMA v.d 二 6(s，v)， 且 前 驱 子 图 G. 是 
一 棵 最 短路 径 树 。 

证 明 首先 证 明 对 于 所 有 的 结 点 vEV， 在 算法 DAG-SHORTEST-PATHS 终止 时 都 有 
v. d 王 6(s，v)。 如 果 结 点 v 不 能 从 源 结 点 s 到 达 ， 则 根据 非 路 径 性 质 有 v.d=d(s, v=o, ME 
假定 结 点 v 可 以 从 结 点 BGA, A, PARE RRR pS (rs w, os w), KH Ss, 
vi 二 v。 因 为 算法 是 按照 拓扑 排序 的 次 序 来 对 结 点 进行 处 理 ， 所 以 对 路 径 p 上 的 边 的 放松 次 序 为 
(tos w), (Urs 如)，…，(《w-1，V%)。 根 据 路 径 松弛 性 质 ， 对 于 i 二 0，1，…, k, 在 算法 终止 时 
有 vi. d 二 6(s，w;)。 最 后 ， 根 据 前 驱 子 图 性 质 ，G 是 一 棵 最 短路 径 树 。 a 
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算法 DAG-SHORTEST-PATHS 的 一 个 有 趣 的 应 用 是 在 PERT 图 的 分 析 中 进行 关键 路 径 的 
HW. PERT 图 是 一 个 有 向 无 环 图 ， 在 这 种 图 中 ， 每 条 边 代表 需要 进行 的 工作 ， 边 上 的 权重 代表 
执行 该 工作 所 需要 的 时 间 。 如 果 边 (x，v) 进 入 结 点 w， 边 (z，z) 离 开 结 点 v( 从 结 点 v 发 出 )， 则 
工作 (4， 马 必须 在 工作 (vw，z) 前 完成 。PERT 图 中 的 一 条 路 径 代表 的 是 一 个 工作 执行 序列 。 关 键 
路 径 则 是 该 有 向 无 环 图 中 一 条 最 长 的 路 径 ， 该 条 路 径 代表 执行 任何 工作 序列 所 需要 的 最 长 时 间 。 
因此 ， 关 键 路 径 上 的 权重 提供 的 是 执行 所 有 工作 所 需 时 间 的 下 界 。 我 们 可 以 使 用 下 面 两 种 办 法 
中 的 任意 一 种 来 找到 PERT 图 中 的 关键 路 径 : 

。 将 所 有 权重 变 为 负数 ， 然 后 运行 DAG-SHORTEST-PATHS。 

。 运行 DAG-SHORTEST-PATHS, 但 进行 如 下 修改 : 在 INITIALIZE-SINGLE-SOURCE 

的 第 2 行将 ce 替换 为 一 co， 在 RELAX 过 程 中 将 “二 ”替换 为 “二 ”。 


练习 

24.2-1 请 在 图 24-5 上 运行 DAG-SHORTEST-PATHS, 使 用 结 点 7 作为 源 结 点 。 

24.2-2 假定 将 DAG-SHORTEST-PATHS 的 第 3 行 改 为 : 
3 for the first |V|—1 vertices, taken in topologically sorted order 
证 明 : 该 算法 的 正确 性 保持 不 变 。 

24.2-3 上 面 描述 的 PERT 图 的 公式 有 一 点 不 太 自 然 。 在 一 个 更 自然 的 结构 下 ， 图 中 的 结 点 
代表 要 执行 的 工作 ， 边 代表 工作 之 间 的 次 序 限制 ， 即 边 (u，wv) 表 示 工 作 必须 在 工 
作 交 之 前 执行 。 在 这 种 结构 的 图 中 ,我 们 将 权重 赋 给 结 点 ， 而 不 是 边 。 请 修改 
DAG-SHORTEST-PATHS 过程 ， 使 得 其 可 以 在 线性 时 间 内 找 出 这 种 有 向 无 环 图 中 
一 条 最 长 的 路 径 。 

24.2-4 给 出 一 个 有 效 的 算法 来 计算 一 个 有 向 无 环 图 中 的 路 径 总 数 。 分 析 你 自己 的 算法 。 


24.3 Dijkstra 算法 


Dijkstra 算法 解决 的 是 带 权重 的 有 向 图 上 单 源 最 短路 径 问 题 ， 该 算法 要 求 所 有 边 的 权重 都 为 
非 负 值 。 因 此 ， 在 本 节 的 讨论 中 ， 我们 假定 对 于 所 有 的 边 (u，v) EE， 都 有 wau, v0. RN 
稍 后 将 看 到 ， 如 果 所 采用 的 实现 方式 合适 ，Dijkstra 算法 的 运行 时 间 要 低 于 Bellman-Ford 算法 的 
运行 时 间 。 

Dijkstra 算法 在 运行 过 程 中 维持 的 关键 信息 是 一 组 结 点 集合 S。 从 源 结 点 s 到 该 集合 中 每 个 
结 点 之 间 的 最 短路 径 已 经 被 找到 。 算 法 重复 从 结 点 集 V 一 S 中 选择 最 短路 径 估 计 最 小 的 结 点 ~， 
将 加 入 到 集合 S， 然 后 对 所 有 从 发 出 的 边 进行 松弛 。 在 下 面 给 出 的 实现 方式 中 ,我们 使 用 一 
个 最 小 优先 队列 Q@ 来 保存 结 点 集合 ， 每 个 结 点 的 关键 值 为 其 4 值 。 

DIJKSTRA. (G,w,s) 
1 INITIALIZE-SINGLE-SOURCE(G, s) 
2 S=O 
3 Q=G.V 
4 whileQ42 
5 u=EXTRACT-MIN(Q) 
6 S=SU {u} 
7 for each vertex v€ G. Adj[u] 
8 RELAX(u,v,w) 


© “PERT” “Program Evaluation and Review Technique” 的 缩写 。 


384 。 第 六 部 分 图 算 法 


Dijkstra 算法 对 边 的 松弛 操作 如 图 24-6 所 示 。 算 法 第 1 行 执行 的 是 例 行 的 a 值 和 x 值 的 初始 
化 ,第 2 行将 集合 S 初始 化 为 一 个 空 集 。 算 法 所 维持 的 不 变 式 为 Q 二 V 一 S$， 该 不 变 式 在 算法 第 
4 一 8 行 的 while 循环 过 程 中 保持 不 变 。 算 法 第 3 行 对 最 小 优先 队列 Q 进行 初始 化 ， 将 所 有 的 结 点 
V 都 放 在 该 队列 里 。 由 于 此 时 的 二 多 ， 不 变 式 在 第 3 行 执行 完毕 后 成 立 。 算 法 在 每 次 执行 第 
4 一 8 行 的 while 循环 时 ， 第 5 行 从 Q=YV 一 S 集 合 中 抽取 结 点 x， 第 6 行将 该 结 点 加 入 到 集合 S E, 
从 而 继续 保持 不 变 式 成 立 。( 注 意 ， 在 第 一 次 执行 该 循环 时 ，u 王 s。) 结 点 u ERA VS 中 所 有 
结 点 的 最 小 最 短路 径 估计 。 然 后 ， 在 算法 的 第 7 一 8 行 ， RNA RW, vie 
行 松 弛 操作 。 如 果 一 条 经 过 结 点 u 的 路 径 能 够 使 得 从 源 结 点 * 到 结 点 的 最 短路 径 权重 比 当前 的 
估计 值 更 小 ， 则 我 们 对 vw. d 的 值 和 前 驱 v. 的 值 进行 更 新 。 注 意 ， 在 算法 的 第 3 行 之 后 ， 我 们 再 
不 会 在 队列 Q@ 中 插入 任何 结 点 ， 而 每 个 结 点 从 Q 中 被 抽取 的 次 数 和 加 入 集合 S 的 次 数 均 为 一 次 ， 
因此 ， 算 法 第 4 一 8 行 的 while 循环 的 执行 次 数 刚 好 为 |V| 次 。 





(d) Ce) (f) 


图 24-6 Dijkstra 算 法 的 执行 过 程 。 源 结 点 s 为 最 左边 的 结 点 。 每 个 结 点 中 的 数值 为 该 结 点 的 最 短路 径 的 
估计 值 ， 加 了 阴影 的 边 表明 前 驱 值 。 黑 色 的 结 点 属于 集合 S， 白 色 的 结 点 属于 最 小 优先 队列 Q= 
V 一 S。(a) 算 法 第 4 一 8 行 的 while 循环 首次 执行 前 的 场景 。 加 了 阴影 的 结 点 为 4 值 最 小 的 结 点 ， 
该 结 点 在 算法 的 第 5 行 被 选择 为 结 点 x。(b) 一 (每 次 成 功 执行 while 循环 后 的 场景 。 每 幅 图 里 加 
了 阴影 的 结 点 是 被 算法 第 5 行 所 选择 出 的 下 一 次 循环 所 用 的 结 点 x。 图 (D 中 的 4 值 和 前 驱 值 都 是 
最 终 值 


因为 Dijkstra 算法 总 是 选择 集合 V 一 S 中 “最 轻 ?或 “最 近 ” 的 结 点 来 加 入 到 集合 Sh, BR 
使 用 的 是 贪心 策略 。 第 16 章 详 细 讨论 了 贪心 策略 ， 但 读者 并 不 需要 读 过 第 16 章 的 内 容 才 能 理解 
Dijkstra 算法 。 虽 然 贪心 策略 并 不 总 是 能 获得 最 优 的 结果 ， 但 正如 下 面 的 定理 和 推论 所 指出 的 ， 
使 用 贪心 策略 的 Dijkstra 算法 确实 能 够 计算 出 最 短路 径 。 这 里 的 关键 是 证 明 这 样 一 个 事实 : 该 算 
法 在 每 次 选择 结 点 u 来 加 入 到 集合 S 时 ， u d=, u), 

定理 24. 6(Dijkstra 算法 的 正确 性 ) Dijkstra 算法 运行 在 带 权重 的 有 向 图 G=(V, 万 ) 时 ， 如 
果 所 有 权重 为 非 负 值 ， 则 在 算法 终止 时 ， 对 于 所 有 结 点 EV， RMA u.d=8ls, u). 

证 明 我 们 使 用 下 面 的 循环 不 变 式 : 

在 算法 第 4~8 ITH while 语句 的 每 次 循环 开始 前 ， 对 于 每 个 结 点 ES, A v d= 二 6(s，v)。 
我 们 只 需要 证 明 对 于 每 个 结 点 wEV， 当 结 点 被 加 入 到 集合 S 时 ， 有 wu. 4 二 6(s，w)。 一 旦 证 明 
T u. d 二 6(s，w)， 就 可 以 使 用 上 界 性 质 来 证 明 该 等 式 在 后 续 的 所 有 时 间 内 保持 成 立 。 
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初始 化 : W, S=, KE, HATERA. 

保持 : 我 们 希望 证 明 在 每 次 循环 中 ， 对 于 加 入 到 集合 S 的 结 点 xz KR, u d=, u). RN 
使 用 反 证 法 来 证 明 此 论断 。 设 结 点 是 第 一 个 在 加 入 到 集合 S 时 使 得 该 方程 式 不 成 立 的 结 点 ， 即 
u. d 关 6(s，u)。 我 们 下 面 将 注意 力 集中 到 把 结 点 u 加 入 到 集合 S 的 这 遍 循环 的 开始 ， 并 通过 对 从 
结 点 s 到 结 点 的 最 短路 径 进行 检查 来 导出 结论 u. d=, u). HTA s 是 第 一 个 加 入 到 集合 
S 中 的 结 点 ， 并 且 s. 4 二 6(s，s) 二 0， 结 点 VESAAS, Ale, Burs. WA uts, EKHE 
点 加 入 到 集合 S 时 ,我 们 有 SAS. WN, 一定 存 在 某 条 从 结 点 s 到 结 点 的 路 径 ， 否 则 ， 根 
据 非 路 径 性 质 将 有 u. d=, u=, MRK ERREKIE u.d 关 6(s，u)。 因 为 至 少 存 在 一 
条 从 :到 的 路 径 ， 所 以 也 存在 一 条 从 s 到 的 最 短路 径 p。 在 将 结 点 ww 加 入 到 集合 S 之 前 ， 路 
径 p 连接 的 是 集合 S 中 的 一 个 结 点 ( 即 ;) 和 V 一 S 中 的 一 个 结 点 ( 即 x) 。 让 我 们 考虑 路 径 p 上 第 
一 个 满足 yEV 一 S 的 结 点 y， 设 zE S 为 结 点 y 在 路 径 p 上 的 前 驱 ， 则 如 图 24-7 所 示 ， 我 们 可 以 


将 路 径 p MBH s O roy Su, (K p RE ps 可 能 不 包含 任何 边 。) 





图 24-7 定理 24.6 的 证 明 。 RE SERAS u 加 入 之 前 为 非 空 。 我 们 将 从 源 结 点 AR u 


HIB p 分 解 为 Na y~% wu， 这 里 结 点 y 是 路 径 p 上 第 一 个 不 属于 集合 S 的 结 
点 ， 结 点 zCzE 5S) 为 路 径 p 上 结 点 y 的 直接 前 驱 结 点 。 结 点 xz 和 y 是 不 同 的 结 点 ， 
但 可 能 有 s=1 或 者 y 二 wu。 路 径 ps 既 可 能 重新 进入 集合 S， 也 可 能 不 重新 进入 集合 S 


我 们 断言 : 在 将 结 点 加 入 到 集合 S 时 ，y. d= 二 6(s，y)。 为 了 证 明 这 一 点 ， 只 要 观察 到 re 
S。 然 后 ， 因 为 选择 的 结 点 u 是 第 一 个 在 加 入 到 集合 S 时 不 满足 条 件 u. dA, WKAR, EH 
结 点 工 加 入 到 集合 S 时 ， 有 zz.d 二 6(s，xz)。 此 时 ， 边 (zx，y) 将 被 松弛 ， 根 据 收敛 性 质 可 以 得 出 
我 们 的 断言 。 
现在 可 以 通过 反 证 来 证 明 u. d 二 6(s，u)。 因 为 结 点 y 是 从 结 点 s 到 结 点 的 一 条 最 短路 径 上 
位 于 w 前 面 的 一 个 结 点 ， 并 且 所 有 的 边 权 重 均 为 非 负 值 ， 所 以 有 Os, ys, uw), Ast, 
y. d= ls, y) 
< &(s,u) 
<u dR LEER (24. 2) 
但 是 ， 因 为 在 算法 第 5 行 选择 结 点 时， 结 点 ww 和 yy MERA V—SH, WAK ud<y.d. A 
此 ， 式 (24. 2) 中 的 两 个 不 等 式 事实 上 都 是 等 式 ， 即 
y d= ls, y) = (ssu) = ud 
因此 wu. d 二 6(s，w)， 而 这 与 我 们 所 选择 的 结 点 矛盾 。 因 此 ， 我 们 推断 ， 在 结 点 被 加 入 到 集合 
S 时 有 wu.d 二 6(s，u)， 并 且 该 等 式 在 随后 的 所 有 时 间 内 都 保持 成 立 。 
终止 : 在 算法 终止 时 ，Q 二 名 。 该 事实 与 之 前 的 不 变 式 Q=YV 一 S 一 起 说 明了 S=V. Alt, 
对 于 所 有 的 结 点 xEV， 有 了 d= 二 6(s，)。 E 
推论 24.7 如 果 在 带 权 重 的 有 向 图 G 二 (V，E) 上 运行 Dijkstra Pk, PAREA Ñ 
值 ， 源 结 点 为 s， 则 在 算法 终止 时 ， 前 驱 子 图 G 是 一 棵 根 结 点 为 s 的 最 短路 径 树 。 
证 明 从 定理 24.6 和 前 驱 子 图 性 质 可 立即 得 知 该 推论 。 E 
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分 析 

Dijkstra 算法 的 运行 速度 有 多 快 呢 ? 该 算法 执行 三 种 优先 队列 操作 来 维持 最 小 优先 队列 : 
INSERT( 算 法 第 3 行 所 隐 含 的 操作 ) 、EXTRACT-MIN( 算 法 第 5 行 ) 和 DECREASE-KEY( 隐 含 在 
算法 第 8 行 所 调用 的 RELAX 操作 中 ) 。 该 算法 对 每 个 结 点 调用 一 次 INSERT 和 EXTRACT-MIN 
操作 。 因 为 每 个 结 点 仅 被 加 入 到 集合 S 一 次 ， 邻 接 链 表 Adj[uj 中 的 每 条 边 在 整个 算法 运行 期 间 
也 只 被 检查 一 次 (算法 第 7 一 8 ITH for 循环 里 )。 由 于 所 有 邻接 链表 中 的 边 的 总 数 为 | 下 | ， 该 for 
循环 的 执行 次 数 一 共 为 |E| 次 ， 因此， 该 算法 调用 DECREASE-KEY &#4|E| 次 。( 注 意 ， 我 们 
这 里 还 是 使 用 的 聚合 分 析 。) 

Dijkstra 算法 的 总 运行 时 间 依 赖 于 最 小 优先 队列 的 实现 。 我 们 首先 考虑 第 一 种 情况 : 通过 利 
用 结 点 的 编号 为 1 一 1V | 来 维持 最 小 优先 队列 。 在 这 种 情况 下 ， 我 们 将 v. a 的 值 存放 在 数组 的 第 
v 个 记录 里 。 每 次 INSERT 和 DECREASE-KEY 操作 的 执行 时 间 为 0(1)， 每 次 EXTRACT-MIN 
的 操作 时 间 为 OV) (因为 需要 搜索 整个 数组 )， 算 法 的 总 运行 时 间 为 O(V? 十 E)= 二 OCV?)。 

如 果 我 们 讨论 的 是 稀疏 图 ， 特 别 地 ， 如 果 记 =oCV?/lgV)， 则 可 以 使 用 二 叉 堆 来 实现 最 小 优 
先 队列 ， 从 而 改善 算法 的 运行 时 间 。( 如 6. 5 节 所 讨论 的 ， 该 实现 应 该 在 结 点 及 其 对 应 的 堆 元 素 
里 相互 保存 指向 对 方 的 句柄 。) 在 这 种 模式 下 ， 每 次 EXTRACT-MIN 操作 的 执行 时 间 为 O(lgV)。 
和 前 面 一 样 ， 一 共有 |V| 次 这 样 的 操作 。 构 建 最 小 二 又 堆 的 成 本 为 O(V)。 每 次 DECREASE- 
KEY 操作 的 执行 时 间 为 O(lgV)， 而 最 多 有 | 五 | 次 这 样 的 操作 。 因 此 ， 算 法 的 总 运行 时 间 为 
OCLC(V 十 E) lgV) 。 若 所 有 结 点 都 可 以 从 源 结 点 到 达 ， 则 该 时 间 为 O(ElgV)。 若 E==o(V?/lgV)， 
则 该 时 间 成 本 相对 于 直接 实现 的 OCV?) 成 本 有 所 改善 。 

事实 上 ， 我 们 可 以 将 Dijkstra 算法 的 运行 时 间 改 善 到 OCVlgV 十 E) ， 方 法 是 使 用 斐 波 那 契 堆 
来 实现 最 小 优先 队列 (请 参阅 第 19 章 ) 。 在 这 种 实现 下 ， 每 次 EXTRACT-MIN 操作 的 摊 还 代价 为 
OlgV)， 每 次 DECREASE-KEY 操作 的 摊 还 代价 为 O(1) 。 从 历史 的 角度 上 看 ， 斐 波 那 契 堆 提出 
的 动机 就 是 因为 人 们 观察 到 Dijkstra 算法 调用 的 DECREASE-KEY 操作 通常 比 EXTRACT-MIN 
操作 更 多 ， 因 此 ， 任 何 能 够 将 DECREASE-KEY 操作 的 摊 还 代价 降低 到 oC(lgV) 而 又 不 增加 
EXTRACT-MIN 操作 的 摊 还 代价 的 方法 都 将 产生 比 二 又 堆 的 渐 近 性 能 更 优 的 实现 。 

Dijkstra 算法 既 类 似 于 广度 优先 搜索 (请 参阅 22. 2 节 )， 也 有 点 类 似 于 计算 最 小 生成 树 的 
Prim 算法 (请 参阅 23. 2 节 ) 。 它 与 广度 优先 搜索 的 类 似 点 在 于 集合 S 对 应 的 是 广度 优先 搜索 中 的 
黑色 结 点 集合 : 正如 集合 S 中 的 结 点 的 最 短路 径 权 重 已 经 计算 出 来 一 样 ， 在 广度 优先 搜索 中 ， 
黑色 结 点 的 正确 的 广度 优先 距离 也 已 经 计算 出 来 。Dijkstra 算法 像 Prim 算法 的 地 方 是 ， 两 个 算 
法 都 使 用 最 小 优先 队列 来 寻找 给 定 集合 (Dijkstra 算法 中 的 S 集 合 与 Prim 算法 中 逐步 增长 的 树 ) 
之 外 的 “最 轻 ” 结 点 ， 将 该 结 点 加 入 到 集合 里 ， 并 对 位 于 集合 外 面 的 结 点 的 权重 进行 相应 调整 。 


练习 


24.3-1 在 图 24-2 上 运行 Dijkstra 算法 ， 第 一 次 使 用 结 点 * 作为 源 结 点 ， 第 二 次 使 用 结 点 z 作为 
源 结 点 。 以 类 似 于 图 24-6 的 风格 ， 给 出 每 次 while 循环 后 的 a 值 和 zx 值 ， 以 及 集合 S 中 
的 所 有 结 点 。 

24.3-2 请 举 出 一 个 包含 负 权 重 的 有 向 图 ， 使 得 Dijkstra 算法 在 其 上 运行 时 将 产生 不 正确 的 结 
果 。 为 什么 在 有 负 权 重 的 情况 下 ， 定 理 24. 6 的 证 明 不 能 成 立 呢 ? 

24.3-3 假定 将 Dijkstra 算法 的 第 4 行 改 为 : 


4 while|Q| >1 


这 种 改变 将 让 while 循环 的 执行 次 数 从 | V| 次 降低 到 | V| 一 1 次 。 这 样 修改 后 的 算法 正确 吗 ? 
24.3-4 Gaede 教授 写 了 一 个 程序 ， 他 声称 该 程序 实现 了 Dijkstra 算法 。 对 于 每 个 结 点 vE V， 
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该 程序 生成 值 v. d 和 w. x。 请 给 出 一 个 时 间 复 杂 度 为 OC(V 十 E) 的 算法 来 检查 教授 所 编写 
程序 的 输出 。 该 算法 应 该 判断 每 个 结 点 的 & Mr 属性 是 否 与 某 棵 最 短路 径 树 中 的 信息 匹 
配 。 这 里 可 以 假设 所 有 的 边 权 重 皆 为 非 负 值 。 

24.3-5 Newman 教授 觉得 自己 发 现 了 Dijkstra 算法 的 一 个 更 简单 的 证 明 。 他 声称 Dijkstra 算法 
对 最 短路 径 上 面 的 每 条 边 的 松弛 次 序 与 该 条 边 在 该 条 最 短路 径 中 的 次 序 相同 ， 因 此 ， 路 
径 松弛 性 质 适 用 于 从 源 结 点 可 以 到 达 的 所 有 结 点 。 请 构造 一 个 有 向 图 来 说 明 Dijkstra 算 
法 并 不 一 定 按照 最 短路 径 中 边 的 出 现 次 序 来 对 边 进行 松 好 ， 从 而 证 明教 授 是 错 的 。 

24.3-6 ”给 定 有 向 图 G 二 (V，E)， 每 条 边 (u，v) EE 有 一 个 关联 值 r-(u，v)， 该 关联 值 是 一 个 实 
数 ， 其 范围 为 0<r(u，v) 志 1， 其 代表 的 意思 是 从 结 点 u 到 结 点 v 之 间 的 通信 和 链 路 的 可 靠 
HE. TUUK, ru, od RRMA u 到 结 点 v 的 通信 和 链 路 不 失效 的 概率 ， 并 且 假 设 这 
些 概 率 之 间 相互 独立 。 请 给 出 一 个 有 效 的 算法 来 找到 任意 两 个 结 点 之 间 最 可 靠 的 通信 和 链 路 。 

24.3-7 ”给 定 带 权重 的 有 向 图 G 二 (V，E)， 其 权重 函数 为 w: E>{1, 2, +, Wh, XBW AR 
个 正 整数 ， 我 们 还 假设 图 中 从 源 结 点 s 到 任意 两 个 结 点 之 间 的 最 短路 径 的 权重 都 不 相同 。 
现在 ， 假 设 定义 一 个 没有 权重 的 有 向 图 G 二 (VUV ，E')。 该 图 是 将 每 条 边 (u，v) EE 予 
以 替换 ， 替 换 所 用 的 是 ww(x， 卫 条 具有 单位 权重 的 边 。 请 问 图 G 一 共有 多 少 个 结 点 ? 现 
在 假设 在 G 上 运行 广度 优先 搜索 算法 ， 证 明 : G 的 广度 优先 搜索 将 V 中 结 点 涂 上 黑色 的 
次 序 与 Dijkstra 算法 运行 在 图 G 上 时 从 优先 队列 中 抽取 结 点 的 次 序 相同 。 

24.3-8 ”给 定 带 权 重 的 有 向 图 G 二 (V，E)， 其 权重 函数 为 w: E>{0, 1, 2, +, W), REW 
为 某 个 非 负 整数 。 请 修改 Dijkstra 算法 来 计算 从 给 定 源 结 点 s 到 所 有 结 点 之 间 的 最 短路 
径 。 该 算法 时 间 应 为 OCWV+E). 

24.3-9 修改 练习 24. 3-8 中 的 算法 ， 使 其 运行 时 间 为 OCLCV 十 E)lgW)。( 提 示 : 在 任意 时 刻 ， 集 
A VS 里 有 多 少 个 不 同 的 最 短路 径 估计 ?) 

24.3-10 ”假设 给 定 带 权重 的 有 向 图 G 二 (V，E)， 从 源 结 点 s 发 出 的 边 的 权重 可 以 为 负 值 ， 而 其 
他 所 有 边 的 权重 全 部 是 非 负 值 ， 同 时 ， 图 中 不 包含 权重 为 负 值 的 环 路 。 证 明 : Dijkstra 
算法 可 以 正确 计算 出 从 源 结 点 s 到 所 有 其 他 结 点 之 间 的 最 短路 径 。 


24.4 ”差分 约束 和 最 短路 径 


第 29 章 研究 的 是 通用 的 线性 规划 问题 ， 在 其 讨论 中 ， 我 们 希望 在 满足 一 组 线性 不 等 式 的 条 
件 下 优化 一 个 线性 函数 。 本 节 将 讨论 线性 规划 中 的 一 个 特例 ， 该 特例 可 以 被 归 约 到 单 源 最 短路 
径 问题 。 这 样 ， 我 们 可 以 通过 运行 Bellman-Ford 算法 来 解决 单 源 最 短路 径 问 题 ， 从 而 解决 这 种 
特殊 的 线性 规划 问题 。 

线性 规划 

在 通用 的 线性 规划 问题 中 ， 我 们 通常 给 定 一 个 mXn 的 矩阵 A、 一 个 m 维 的 向 量 b 和 一 个 n 
维 向 量 c。 我 们 希望 找到 一 个 FEE, PASTE Arb 给 定 的 m 个 约束 条 件 下 优化 目标 函数 


Dy czi， 这 里 的 优化 指 的 是 使 目标 函数 的 取 值 最 大 。 


虽然 第 29 章 描述 的 单纯 形 算法 并 不 总 是 能 够 在 多 项 式 时 间 内 完成 ， 但 却 存 在 其 他 的 运行 时 
间 为 多 项 式 时 间 的 线性 规划 算法 。 线 性 规划 问题 的 设置 具有 许多 实际 价值 ， 我 们 这 里 仅 给 出 两 
个 理由 来 帮助 读者 理解 。 首 先 ， 如 果 我 们 知道 可 以 将 某 个 给 定 问 题 看 做 一 个 多 项 式 规模 的 线性 
规划 问题 ， 则 可 以 立即 获得 一 个 多 项 式 时 间 的 算法 解 。 其 次 ， 对 于 线性 规划 的 许多 特殊 情况 ， 存 
在 着 更 快 的 算法 。 例 如 ， 单 源 单 目 的 地 最 短路 径 问 题 ( 练 习 24. 4-4) 和 最 大 流 问 题 (练习 26. 1-5) 都 
是 线性 规划 问题 的 特例 。 

有 时 候 ， 我 们 并 不 关注 目标 函数 ， 而 仅仅 是 希望 找到 一 个 可 行 解 ， 即 找到 任何 满足 Ar<b 
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的 向 量 z， 或 者 判断 不 存在 可 行 解 。 我 们 下 面 来 关注 这 样 的 一 个 可 行 性 问题 。 

差分 约束 系统 

在 一 个 差分 约束 系统 中 ， 线 性 规划 矩阵 A 的 每 一 行 包括 一 个 1 和 一 个 一 1， 其 他 所 有 项 皆 为 
0。 因 此 ， 由 Az<2 所 给 出 的 约束 条 件 变 为 m 个 涉及 nn 个 变量 的 差额 限制 条 件 ， 其 中 的 每 个 约束 
条 件 是 如 下 所 示 的 简单 线性 不 等 式 : 

Sp oy ey 

这 里 <i, jn, ifj, 并 且 1<k<m, 

例如 ， 我 们 考虑 寻找 一 个 满足 下 列 条 件 的 5 维 向 量 z 一 (zi) 的 问题 : 














ee ee ee -o 
Io o o =i 一 1 
DT 1 
Sr o z p oV 5 
| 
Be =i] 
0 0 一 1 0 seas —3 
Lo © Bt 1 I— 3] 
这 个 问题 与 寻找 满足 下 列 的 8 个 差分 约束 条 件 的 变量 t, 12s Ts Ta» £s 的 取 值 的 问题 等 价 : 

Dy — a9 0 (24:3) 

一 一 (24. 4) 

ee | (24. 5) 

Te = Oy 5 (24. 6) 

ty — oye 4 (24. 7) 

| (24. 8) 

一 3 (24. 9) 

ee (24. 10) 


这 个 问题 的 一 个 可 能 答案 是 z= 二 (一 5， 一 3，0， 一 1， 一 4),， 读 者 可 以 对 每 个 不 等 式 进 行 验证 来 
证 明 该 向 量 确 实 是 一 个 正确 答案 。 事 实 上 ， 这 个 问题 的 答案 有 多 个 。 另 一 个 答案 是 x' 二 (0,，2， 
5，4，1)。 这 两 个 答案 之 间 存 在 着 关联 关系 : 向 量 x 中 每 个 元 素 比 向 量 x 中 的 对 应 元 素 的 取 值 
大 5。 我 们 在 后 面 将 看 到 ， 这 种 关系 并 不 是 巧合 。 

引 理 24.8 设 向 量 Z 一 (Z，D，…，z) 为 差分 约束 系统 Az<8 的 一 个 解 ， 设 d 为 任意 常 
数 ， 则 zx 十 d 二 (zi 十 d，zz 十 d，*…，X 十 d) 也 是 该 差分 约束 系统 的 一 个 解 。 

证 明 对 于 每 个 x; Mar, 我 们 有 (z +d) (x; | d) = ws AL, 若 向 量 r WE Arb, 
则 向 量 x 十 4 也 满足 该 条 件 。 a 

差分 约束 系统 在 许多 不 同 的 应 用 里 都 会 出 现 。 例 如 ， 未 知 变量 x; 可 能 代表 的 是 事件 发 生 的 
时 间 。 每 个 约束 条 件 给 出 的 是 在 两 个 事件 之 间 必 须 间 隔 的 最 短 时 间或 最 长 时 间 。 也 许 ， 这 些 事件 
代表 的 是 产品 装配 过 程 中 所 必须 执行 的 任务 。 如 果 在 时 刻 x, 使 用 一 种 需要 2 个 小 时 才能 风干 的 
粘贴 剂 材料 ， 则 我 们 需要 等 到 该 粘贴 剂 于 了 之 后 才能 在 时 刻 x, 安装 部 件 ， 这 样 ， 我 们 就 有 约束 
条 件 zs 宇 zi 十 2， 或 者 等 价 地 ，zi 一 zs 二 一 2。 也 许 ， 我 们 可 能 要 求 部 件 必须 在 粘贴 剂 涂 上 后 但 
在 粘贴 剂 半 干 之 前 的 时 间 段 里 安装 上 。 在 这 种 情况 下 ， 我 们 得 到 一 对 约束 条 件 ; ax 和 zs 二 
1s 而 这 与 差分 约束 系统 Tı — t0 Al r: — 2, <1 等 价 。 

约束 图 

我 们 可 以 从 图 论 的 观点 来 理解 差分 约束 系统 。 在 一 个 Az 委 8 的 差分 约束 系统 中 ， 我 们 将 
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mXn 的 线性 规划 矩阵 A 看 做 是 一 张 由 n 个 结 点 和 m 条 边 构 成 的 图 的 邻接 矩阵 的 转 置 。( 请 参阅 练 
习 22.1-7)。 对 于 i 二 1，2,，…，n， 图 中 的 每 个 结 点 u 对 应 7 个 未 知 变量 zx; 中 的 一 个 。 图 中 的 
每 条 有 向 边 则 对 应 m 个 不 等 式 中 的 一 个 

正 形 式 化 地 说 ， 给 定 差分 约束 系统 Ax<b， 其 对 应 的 约束 图 是 一 个 带 权 重 的 有 向 图 G==(V, E), 
XE: 

V= {wst Un} 

E= {(0;5U;) 22; — 2; Sb 是 一 个 约束 条 件 } U {C so) s C 9%) s Cty 9) 92285 (Uo MH) } 
约束 图 包含 一 个 额外 的 结 点 w， 用 来 保证 图 中 至 少 存在 一 个 结 点 ， 从 其 出 发 可 以 到 达 所 有 其 他 
的 结 点 。 因 此 ， 结 点 集合 V 由 代表 每 个 变量 zx; 的 结 点 v; 和 额外 的 结 点 w 所 组 成 。 边 集合 五 包含 
的 是 代表 每 个 差分 约束 的 边 ， 再 加 上 边 (w，v;)，i 二 1，2，…，n。 如 果 zj 一 zi 三 b; 是 一 个 差分 
约束 条 件 ， 则 边 (v:，w) 的 权重 为 w(v;，wv;) 二 6。 所 有 从 结 点 w 发 出 的 边 的 权重 为 0。 图 24-8 描 
述 的 是 差分 约束 系统 (24. 3) ~ (24. 10) 的 约束 图 。 





图 24-8 ”差分 约束 系统 (24. 3) 一 (24. 10) 所 对 应 的 约束 图 。 每 个 结 点 wv 中 的 数值 是 6 
(w，v) 的 值 。 该 系统 的 一 个 可 行 解 是 z= 二 (一 5,， 一 3, 0, 一 1, 一 4) 


下 面 的 定理 将 证 明 可 以 通过 在 对 应 的 约束 图 中 寻找 最 短路 径 权重 来 找到 一 个 差分 约束 系统 
的 解 。 

定理 24.9 给 定 差 分 约束 系统 Ax 二 5,， 设 G 二 (V，EE) 是 该 差分 约束 系统 所 对 应 的 约束 图 。 
如 果 图 GROSREA KM KE, 则 

x= (OC 9 VY) OCU 9 Ve) OCU 9 V3) ,Cv 9 Uy) (24. 11) 
是 该 系统 的 一 个 可 行 解 。 如 果 图 G 包含 权重 为 负 值 的 环 路 ， 则 该 系统 没有 可 行 解 。 

证 明 首先 证 明 如 果 约 束 图 不 包含 权重 为 负 值 的 环 路 ， 则 式 (24. 11) 给 出 一 个 可 行 解 。 考 虑 
任意 一 条 边 (v:，v;)EE， 根据 三 角 不 等 式 ,，6Cw， yw, v)+wlv, vy), Mdm, y)— 
6(w，v:) 三 w(v:，vj)。 因 此 ， 如 果 设 xz; 二 6C(w， vA =w, wy), Wa; 和 zi 满足 对 应 边 
Cu» vw;) 的 差分 约束 条 件 rjr Kwl, Uj) 

现在 我 们 来 证 明 如 果 约 束 图 包含 权重 为 负 值 的 环 路 ， 则 差分 约束 系统 没有 可 行 解 。 不 失 一 
般 性 ， 设 权 重 为 负 值 的 环 路 为 C(O, ws s Hs XE V = Wo 〈 结 点 w 不 可 能 包含 在 环 路 c 
上 ， 因 为 它 没 有 进入 的 边 。) 环 路 c 对 应 下 面 的 差分 约束 条 件 组 : 

Xp — ye WY») 


Ly — Boe Wl 9 V5) 


Lea — Te X WCU s Uma) 


Lr — Lia S WV st) 
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我 们 使 用 反 证 法 来 进行 证 明 。 假 设 向 量 x 有 一 个 满足 上 述 & 个 不 等 式 的 解 ， 则 这 个 解 必须 同时 满 
足 将 站 个 不 等 式 加 起 来 之 后 形成 的 新 的 不 等 式 。 如 果 将 不 等 式 的 左边 进行 求 和 ， 每 个 未 知 变量 x 
被 加 进来 一 次 ， 被 减 去 一 次 ( 记 住 ，w 二 vw 意味 着 c 一心) ， 使 得 左边 的 和 为 0。 不 等 式 右面 的 和 
为 wlc)， 因 此 有 Owe), (Ati c 是 一 个 权重 为 负 值 的 环 路 ， 因 此 w(c)<0， 这 样 我 们 得 出 矛 
JE: O<wlc)<0, E 

求解 差分 约束 系统 

定理 24. 9 告诉 我 们 ， 可 以 使 用 Bellman-Ford 算法 来 求解 差分 约束 系统 。 因 为 约束 图 包含 从 
源 结 点 w 到 所 有 其 他 结 点 的 边 ， 任 何 权 重 为 负 值 的 环 路 都 可 以 从 结 点 w 到 达 。 如 果 Bellman- 
Ford 算法 返回 TRUE 值 ， 则 最 短路 径 权 重 给 出 的 是 该 系统 的 一 个 可 行 解 。 例 如 ， 在 图 24-8 中 ， 
最 短路 径 权重 提供 的 可 行 解 是 zx 二 (一 5， 一 3，0， 一 1， 一 4), 根据 引 理 24.8， 对 于 任意 常数 d， 
Z 一 (d 一 5，d 一 3，d，d 一 1，d 一 4) 也 是 一 个 可 行 解 。 如 果 Bellman-Ford 算法 返回 FALSE 值 ， 
则 差分 约束 系统 没有 可 行 解 。 

一 个 及 个 未 知 变量 和 mm 个 约束 条 件 的 差分 约束 系统 所 生成 的 约束 图 有 7 十 1 个 结 点 和 ?十 ma 
条 边 。 因 此 ， 使 用 Bellman-Ford 算法 ， 我 们 可 以 在 Oat) (nt+m)) = OC?’ 十 zz 时间 内 求解 该 
系统 。 练 习 24. 4-5 将 要 求 读者 来 修改 算法 ， 以 使 其 能 够 在 O(nm) 时 间 内 完成 运算 ， 即 使 m 和 远 远 
INF ns 





练习 

24.4-1 请 给 出 下 面 差分 约束 系统 的 可 行 解 或 证 明 该 系统 没有 可 行 解 。 
ts 1 
moas 4 
mns 
= a. '7 
ey = Le 5 
ty — Te 10 
ty = 5 2 
tj = 
ti — 3 
Li — e — 8 

24. 4-2 ”请 给 出 下 面 差分 约束 系统 的 可 行 解 或 证 明 该 系统 没有 可 行 解 。 
i e ae. 
Bes. 5 
5 — 20, = — 6 
Xe — ays 1 
n-os 
yw 5 
Ly eS 10 
C5 — 2S A 


= 2 8 


24.4-3 约束 图 中 从 新 结 点 w 到 其 他 结 点 之 间 的 最 短路 径 权 重 能 够 为 正 值 吗 ? 请 解释 。 
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24.4-4 请 将 单 源 单 目 的 地 最 短路 径 问题 表示 为 一 个 线性 规划 问题 。 

24.4-5 请 稍微 修改 Bellman-Ford 算法 ， 使 其 能 够 在 O(nm) 时 间 内 解决 由 个 未 知 变 量 和 xm 个 
约束 条 件 所 构成 的 差分 约束 系统 问题 。 

24.4-6 假定 在 除 差分 约束 系统 外 ， 我 们 希望 处 理 形 式 为 x; 二 zj; 十 b 的 相等 约束 。 请 说 明 如 何 修 
改 Bellman-Ford 算法 来 解决 这 种 约束 系统 。 

24.4-7 说明 如 何在 一 个 没有 额外 结 点 w 的 约束 图 上 运行 类 似 Bellman-Ford 的 算法 来 求解 差分 
约束 系统 。 

*24.4-8 it Az<2 为 一 个 有 ?7 MERA m 个 约束 条 件 的 差分 约束 系统 。 证 明 : 在 对 应 的 约束 图 


上 运行 Bellman-Ford 算法 将 获得 》 xz 的 最 大 值 ， 这 里 Ar<b 并 且 zi<0。 


*24. 4-9 设 Az< 秋 2 为 一 个 有 个 变量 和 mm 个 约束 条 件 的 差分 约束 系统 。 证 明 : 在 对 应 的 约束 图 
上 运行 Bellman-Ford 算法 将 获得 (max{Zx;) 一 min{zi)) 的 最 小 值 ， 这 里 Ax 二 5。 如 果 该 算 
法 被 用 于 安排 建设 工程 的 进度 ， 请 说 明 如 何 应 用 上 述 事 实 。 

24.4-10 假定 线性 规划 问题 Az<2 的 矩阵 A 中 每 一 行 对 应 一 个 约束 条 件 ， 具 体 来 说 ， 对 应 的 是 
一 个 形式 为 Kb: 的 单个 变量 的 约束 条 件 ， 或 一 个 形式 为 一 zx; 二 b; 的 单 变量 约束 条 件 。 
请 说 明 如 何 修改 Bellman-Ford 算法 来 解决 这 变 差分 约束 系统 问题 。 

24.4-11 给 出 一 个 有 效 算法 来 解决 Arb 的 差分 约束 系统 问题 ， 这 里 的 所 有 元 素 为 实数 ， 所 
有 的 变量 x; 都 是 整数 。 

*24.4-12 ”给 出 一 个 有 效 算法 来 解决 Az<2 的 差分 约束 系统 ， 这 里 的 所 有 元 素 为 实数 ， 而 变量 
x, 中 某 个 给 定 的 子 集 是 整数 。 


24.5 ”最短 路径 性 质 的 证 明 


在 贯穿 本 章 的 讨论 中 ， 我 们 的 各 种 正确 性 证 明 都 依赖 于 三 角 不 等 式 、 上 界 性 质 、 非 路 径 性 
质 、 收 敛 性 质 、 路 径 松弛 性 质 和 前 驱 子 图 性 质 。 在 本 章 一 开始 ， 我 们 就 给 出 了 这 些 性 质 ， 但 却 没 
有 给 出 证 明 。 本 节 就 来 证 明 这 些 性 质 。 

三 角 不 等 式 性 质 

在 研究 广度 优先 搜索 (22. 2 节 ) 算 法 时 ， 我们 在 引 理 22. 1 中 证 明了 无 权重 图 里 面 最 短路 径 的 
一 个 简单 性 质 。 三 角 不 等 式 只 不 过 是 将 该 简单 性 质 推广 到 带 权 重 的 图 中 。 

引 理 24. 10( 三 角 不 等 式 ) 设 G 一 (V， 瑟 ) 为 一 个 带 权 重 的 有 向 图 ， 其 权重 函数 由 也 : E>RE 
出 ， 其 源 结 点 为 5。 那么 对 于 所 有 的 边 (u，v) EE， 我 们 有 

O(s,v) <A(s,u) + wu,v) 

证 明 假定 之 是 从 源 结 点 * 到 结 点 v 的 一 条 最 短路 径 ， 则 p 的 权重 不 会 比 任 何 从 s 到 wv 的 其 
他 路 径 的 权重 大 。 具 体 来 说 ， 路 径 p 的 权重 不 会 比 这 样 一 条 特定 的 路 径 的 权重 大 :从 源 结 点 * 到 
结 点 的 一 条 最 短路 径 ， 再 加 上 边 (x，z) 而 到 达 结 点 "的 这 条 路 径 。 

练习 24. 5-3 将 要 求 读者 处 理 从 源 结 点 s 到 结 点 v 没有 最 短路 径 的 情况 。 = 

最 短路 径 估计 值 的 松弛 效果 

下 一 组 引 理 描述 的 是 ， 在 对 一 个 带 权重 的 有 向 图 的 边 执行 一 系列 松弛 步骤 时 ， 最 短路 径 估 
计 值 将 会 发 生 怎样 的 变化 。 这 里 假定 图 由 算法 INITIALIZE-SINGLE-SOURCE 进行 了 初始 化 。 

引 理 24. 11( 上 界 性 质 ) 设 G 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， 其 权重 函数 由 w E>R 给 
出 ， 其 源 结 点 为 s， 该 图 由 算法 INITIALIZE-SINGLE-SOURCE(G，s) 执 行 初始 化 。 那 么 对 于 所 
有 的 结 点 vEV，v. d 宇 6(s，v)， 并 且 该 不 变 式 在 对 图 G 的 边 进 行 任何 次 序 的 松弛 过 程 中 保持 成 
立 。 MH, —2 v.d 取得 其 下 界 6(s，v) 后 ， 将 不 再 发 生变 化 。 

证 明 ”我们 使 用 归纳 法 来 证 明 不 变 式 ( 对 于 所 有 的 结 点 vEV，v d 宇 6(s，v))， 归 纳 的 主体 
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是 松弛 步骤 的 数量 。 

基础 步 : 在 初始 化 之 后 ， 对 于 所 有 的 结 点 EV, v. dos, VERRA. AW v. d 一 co 就 意 
味 着 对 于 所 有 的 结 点 v€EV 一 {s}，v. d 宇 6(s，v)。 由 于 s. 4 二 0 之 6(s，s) (注意 ， 如 果 源 结 点 处 
于 一 个 权重 为 负 值 的 环 路 上 ， 则 6(s，3) 二 一 co; 否则 ，6(s，s) 二 0)。 

归纳 步 : 考虑 对 边 (u，vw) 的 松弛 操作 。 根 据 归纳 假设 ， 在 松弛 之 前 ， 对 于 所 有 的 结 点 EV, 
z. d 宇 6(s，x)。 而 在 对 边 (u，v) 进 行 松弛 的 过 程 中 ， 唯 一 可 能 发 生 改 变 的 d 值 只 有 wv. de WRZ 
值 发 生变 化 ， 则 有 

vd =udt+wlu,v) 
> Ms,u)+wluv) (根据 归纳 假设 ) 
> 6(s,v) (根据 三 角 不 等 式 ) 
因此 ， 循 环 不 变 式 得 到 维持 。 

要 证 明 w d 的 取 值 在 达到 w. 4 二 6(s，v) 之 后 就 不 再 变化 ， 只 要 注意 到 在 达到 其 取 值 的 下 界 
后 ，w. 4d 无 法 再 减 小 ， 因 为 我 们 刚刚 证 明了 v. 4d 宇 8(s，v)， 而 该 值 也 不 可 能 增加 ， 因 为 松弛 操作 
从 来 不 增加 d 的 取 值 。 m 

推论 24. 12( 非 路 径 性 质 ) #E—-SEREMARAG=(V, E), REBMA w: E>R, 
假定 从 源 结 点 sSEV 到 给 定 结 点 vuEV 之 间 不 存在 路 径 ， 则 在 该 图 由 INITIALIZE-SINGLE- 
SOURCE(G，s) 算 法 进行 初始 化 后 ， 我 们 有 v.d 二 6(s，v) 二 co， 并 且 该 等 式 作为 不 变 式 一 直 维 
持 到 图 G 的 所 有 松弛 操作 结束 。 

证 明 根据 上 界 性 质 ， 我们 总 是 有 oo 二 6(s，v) 志 wv. 4， 因 此 ,wv. d=0=8ls, v). E 

引 理 24.13 设 G 二 (V，) 为 一 个 带 权 重 的 有 向 图 权重 函数 为 w: E>R, HAW 
(u, YEE, RAE lu, Vitte RELAX(u，v，w) 后 ， 有 v. du. d 十 wlu，wv)。 

证 明 ”如 果 在 对 边 (u，) 进 行 松弛 操作 前 ， 有 v.d>udtwlu, v), WEBI. A 
v. d=u. d 十 wl(u，v)。 如 果 在 松弛 操作 前 有 v. d 志 u. 4 十 wu，v)， 则 松弛 操作 不 会 改变 u.ad 或 
v. d 的 取 值 ， 因 此 在 松弛 操作 后 仍然 有 v.d<u.d+w(u, v). m 

引 理 24. 14( 收 敛 性 质 ) RR G=V, DA-+*+F#REHRA AR, REBRA w: EE 一 R。 设 
5EV 为 菜 个 源 结 点 ，s 入 wu 一 v 为 图 G 中 的 一 条 最 短路 径 ， 这 里 妈 ，vEV。 假定 图 G 由 
INITIALIZE-SINGLE-SOURCE(G，s) 算 法 进行 初始 化 ， 并 在 这 之 后 进行 了 一 系列 边 的 松弛 操 
作 ， 其 中 包括 对 边 (u， 忆 的 松弛 操作 RELAX(wu，v，w)。 如 果 在 对 边 (wu，v) 进 行 松弛 操作 之 前 
的 任意 时 刻 有 u. d 二 6(s，u)， 则 在 该 松弛 操作 之 后 的 所 有 时 刻 有 v d=, v). 

证 明 根据 上 界 性 质 ， 如 果 在 对 边 (u，wv) 进 行 松弛 前 的 某 个 时 刻 有 u. d= 二 6(s，u)， 则 该 等 
式 在 松弛 操作 后 仍然 成 立 。 特 别 地 ， 在 对 边 (u，v) 进 行 松 弛 后 ， 我 们 有 

vd <ud+t+w(uyv) (根据 引 理 24. 13) 
= (s ,u) + wlu,v) 
= 6(s,v) (根据 引 理 24. 1) 
根据 上 界 性 质 ， 我 们 有 v. 4d 宇 6(s，v) 。 从 该 不 等 式 可 以 得 出 结论 v. d 二 6(s，v)， 并 且 该 等 式 在 此 
之 后 一 直 保 持 成 立 。 ra 

引 理 24. 15( 路 径 松 弛 性 质 ) 设 G 一 (V， 瑟 ) 为 一 个 带 权重 的 有 向 图 ， 权 重 函 数 为 w: ER, 
设 sSEV 为 某 个 源 结 点 ， 考 虑 从 源 结 点 到 结 点 zu 的 任意 一 条 最 短路 径 p 二 (ww ， ws s UE). 
RA G 由 INITIALIZE-SINGLE-SOURCE(G，s) 算 法 进行 初始 化 ， 并 在 这 之 后 进行 了 一 系列 的 边 
松弛 操作 ， 其 中 包括 对 边 (m， Wn), Crs Udy s CUr» Uz ) He FBP Fi] kA mn BEAT 4 THEE, 
则 在 所 有 这 些 松 弛 操作 之 后 ， 我 们 有 w. d 一 8(C5， 砍 ) ， 并 且 在 此 之 后 该 等 式 一 直 保 持 成 立 。 该 性 
质 的 成 立 与 其 他 边 的 松弛 操作 及 次 序 无 关 。 
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证 明 ”我 们 使 用 归纳 法 来 证 明 该 引 理 。 我 们 的 归纳 假设 是 在 最 短路 径 p 的 第 i 条 边 被 松弛 之 
后 ， 有 vw. 4 二 6(s，v;)。 对 于 基础 步 i 二 0 的 情况 ， 即 在 对 路 径 p 的 任何 一 条 边 进 行 松弛 操作 之 
前 ,我 们 从 初始 化 算法 可 以 得 出 wm. d==s. d= 二 0 二 6(s，s)。 根 据 上 界 性 质 ，s. d 的 取 值 在 此 初始 化 
之 后 将 不 再 发 生变 化 。 

对 于 归纳 步 ， 假 定 v 4 二 6(s，w;_1)。 我 们 来 考虑 在 对 边 (v_;!，wvi) 进 行 松弛 操作 时 将 发 生 
的 事情 。 根 据 收敛 性 质 ， 在 对 该 条 边 进行 松弛 之 后 ， 我 们 有 vi. 4 二 6(s，w)， 并 且 该 等 式 在 此 之 
后 一 直 保 持 成 立 。 a 

松弛 操作 与 最 短路 径 树 

我 们 现在 来 证 明 ， 一 旦 一 个 松弛 操作 序列 导致 最 短路 径 估 计 值 收敛 到 最 短路 径 权 重 上 ， 则 
由 结果 r 值 所 诱导 的 前 驱 子 图 G,. 是 图 G 的 一 棵 最 短路 径 树 。 我 们 的 证 明 将 从 下 面 的 引 理 开 始 ， 
该 引 理 将 证 明 前 驱 子 图 总 是 形成 一 棵 根 结 点 为 源 结 点 的 有 根 树 。 

引 理 24.16 设 G 一 (V， 五 ) 为 一 个 带 权 重 的 有 向 图 ， 权 重 函 数 为 w: E>R。 设 5EV 为 某 个 
源 结 点 ， 假 定 图 G 不 包含 从 源 结 点 $ 可 以 到 达 的 权重 为 负 值 的 环 路 ， 则 在 图 G 由 INITIALIZE- 
SINGLE-SOURCE(G，s) 算 法 进行 初始 化 之 后 ， 前 驱 子 图 G 形成 根 结 点 为 源 结 点 s 的 有 根 树 ， 
并 且 任 何 对 图 G 的 边 进行 的 任意 松弛 操作 都 将 维持 该 性 质 不 变 。 

证 明 在 初始 时 ，G, 中 的 唯一 结 点 是 源 结 点 *， 引 理 显 然 成 立 。 考 虑 在 一 系列 松弛 操作 后 的 
前 驱 子 图 C.。 首 先 证 明 G 是 无 环 路 的 。 假 定 在 松弛 序列 的 某 个 步骤 上 在 图 G 中 创立 了 一 个 环 
路 。 设 该 环 路 为 =w, ws >) ws KB w= uw., MA vx 二 vi 1， i=1, 2, +, ky 并且， 
AAR IRE, (BE TEXT Cois ue) BEAT PA SBR ERY ET G 中 的 该 条 环 路 。 

我 们 断言 : 所 有 环 路 c 上 的 结 点 都 可 以 从 源 结 点 * 到 达 。 为 什么 呢 ? 环 路 c 中 的 每 个 结 点 都 
有 一 个 非 空前 驱 结 点 ， 环 路 < 上 面 的 每 个 结 点 都 在 其 取得 一 个 非 空 x 值 时 取得 一 个 有 限 的 最 短路 
径 估计 值 。 根 据 上 界 性 质 ， 环 路 c 上 的 每 个 结 点 有 一 个 有 限 的 最 短路 径 权 重 ， 这 就 意味 着 该 结 点 
可 以 从 源 结 点 到达。 

我 们 下 面 来 检查 一 下 在 调用 RELAX(v_1，v，w) 操 作 之 前 c 上 面 的 最 短路 径 估计 值 ， 并 证 
明 c 是 一 个 权重 为 负 值 的 环 路 ， 从 而 导出 与 我 们 的 假设 (G 不 包含 从 源 结 点 可 以 到 达 的 权重 为 负 
值 的 环 路 ) 之 间 的 矛盾 。 在 该 调用 发 生前 ， 有 v;.n=v,1, i=1, 2, =, R—-1, A, XF ;一 1， 
2, =, k—1, X v. d 的 最 后 一 次 更 新 必定 是 v;. d= 二 v1. 4d 十 w(v_1，wv;)。 如 果 v.d 在 此 之 后 
发 生变 化 ， 则 一 定 是 减少 了 。 因 此 ， 在 调用 RELAX u1, w, WEZA RITE 

v d > va dw vd) ,i = 1,2,.,k—1 (24. 12) 
因为 .在 该 调用 中 发 生 改 变 ， 所 以 在 此 之 前 有 
vr d > uvi. di wv st) 
将 该 不 等 式 与 不 等 式 (24. 12) 中 的 & 一 1 个 不 等 式 进行 求 和 ， 获 得 环 路 c 上 的 最 短路 径 估 计 的 和 值 如 下 : 


Mo. a> > Cui d+ wv i ,Vv)) = pee d+ Seas yu) 
但 由 于 环 路 。 上 的 每 个 结 点 在 每 个 求 和 中 仅 出 现 一 次 , EA 
Tada Feud 
该 等 式 意味 着 z x 
i aean 
因此 ， 环 路 上 的 权重 之 和 为 负 值 ， 这 与 我 们 的 假设 矛 后。 
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现在 已 经 证 明 G, 是 一 个 有 向 无 环 图 。 为 了 证 明 其 形成 一 棵 根 结 点 为 s 的 有 根 树 ， 只 要 证 明 对 
于 每 个 结 点 vEV.， 在 图 G, 中 存在 一 条 从 源 结 点 * 到 结 点 v 的 唯一 简单 路 径 即 可 (练习 B. 5-2). 

首先 证 明 对 于 结 点 vEV.， 在 图 G, 中 存在 一 条 从 源 结 点 s 到 结 点 v 的 路 径 。V, 中 包含 的 是 
那些 具有 非 空 x 值 的 结 点 ， 再 加 上 结 点 s。 这 里 可 以 用 归纳 法 证 明 从 源 结 点 s 到 每 个 结 点 vEV. 
之 间 都 存在 一 条 路 径 。 该 证 明 的 细节 留 给 读者 作为 练习 (练习 24. 5-6)。 

为 了 完成 对 引 理 24. 16 的 证 明 ， 我 们 还 必须 证 明 对 于 每 个 结 点 v€EV.， 图 G 至 多 包含 一 条 
Ms 到 w 的 简单 路 径 。 我 们 采用 反 证 法 。 假 定 情况 不 是 这 样 ， 即 假定 G 中 包含 两 条 从 源 结 点 * 到 
结 点 v 的 简单 路 径 ， 设 其 分 别 为 p1: sum zz Hp: sum yeu, KB cA yA 
过 ， 结 点 可 以 是 s， 结 点 z 可 以 是 v)， 如 图 24-9 所 示 。 但 是 ，z. x 二 z+ 并 且 xz. x 一 y， 这 将 得 出 
矛盾 的 结论 =y. A, RIENE G 包含 唯一 一 条 从 源 结 点 s 到 结 点 v 的 简单 路 径 ， 所 以 G, 
形成 一 棵 根 结 点 为 源 结 点 s 的 有 根 树 。 E 





图 24-9 证 明 图 G 中 从 源 结 点 s 到 结 点 之 间 只 存在 唯一 一 条 简单 路 径 。 如 果 存 在 两 条 路 径 pi: su 
azul po: su y>z v, XE z 了 关 y， 则 xz. r 一 并 并 且 z. r 一 >y， 这 将 得 出 矛盾 


我 们 现在 可 以 证 明 ， 如 果 在 执行 一 系列 的 松弛 操作 之 后 ， 所 有 结 点 都 取得 了 其 最 后 的 最 短 
675) “路径 权 重 ， 则 前 驱 子 图 G. 为 一 棵 最 短路 径 树 。 

引 理 24. 17( 前 驱 子 图 性 质 ) 设 G 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， 权 重 函 数 为 w: ER, 
设 5EV 为 源 结 点 ， 假 定 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 。 假设 调 用 
INITIALIZE-SINGLE-SOURCE(G，s) 算 法 对 图 G 进行 初 始 化 ， 然 后 对 图 G 的 边 进行 任意 次 序 的 
松弛 操作 。 该 松弛 操作 序列 将 针对 所 有 的 结 点 vEV 生成 v.d 二 6(s，v)， 则 前 驱 子 图 G, 形成 一 
PARE RA s 的 最 短路 径 树 。 

证 明 要 证 明 G, 形成 一 棵 根 结 点 为 * 的 最 短路 径 树 ， 必 须 证 明 最 短路 径 树 的 三 条 性 质 对 于 
G, 都 成 立 。 要 证 明 第 一 条 性 质 ， 必 须 证 明 V, 是 从 源 结 点 s 可 以 到 达 的 结 点 的 集合 。 根 据 定义 ， 
最 短路 径 权重 6(s，) 是 有 限 值 当 且 仅 当 结 点 v 是 从 源 结 点 s 可 以 到 达 的 ， 因 此 ， 从 源 结 点 s 可 以 
到 达 的 结 点 就 是 那些 有 着 有 限 a 值 的 结 点 。 但 对 于 结 点 vEV 一 {*}， 其 被 赋予 有 限 d 值 当 且 仅 当 
v. nt ANIL. A, V. 中 的 结 点 就 是 那些 可 以 从 源 结 点 s 到达 的 结 点 。 

第 二 条 性 质 可 以 从 引 理 24. 16 直接 推导 出 来 。 

剩 下 的 就 是 证 明 最 短路 径 树 的 第 三 条 性 质 : 对 于 每 个 结 点 v€EV:，G 中 的 唯一 简单 路 径 
s Cvb ZAG 中 从 s 到 vw 的 一 条 最 短路 径 。 设 G 中 的 唯一 简单 路 径 p 二 (ww。， w, s w), KE 
Vs, VU Vo 对 于 =l; 2y Sy ky 我 们 有 v; d 二 6(s，v;) 和 VR dj Ws 从 这 
里 我 们 可 以 得 出 结论 wos vK, w), v). KK p 上 的 所 有 权重 进行 求 和 ， 有 


k k 
wp) = Dwana < >) Ossu) — 06s,0;4)) 
i=l i=] 


= ls uw) — 0(5s,%H) (因为 裂 项 相 消 和 ) 

= 6(s,v) (因为 G(s,w) = s,s) = 0) 
Auk, WKS, uy). HF OG, yD s 到 结 点 vi 的 任意 一 条 路 径 权重 的 下 界 ， 我 们 
推断 w(p) 二 6(s，w)， 因 此 ，zp 确实 是 图 G 中 从 源 结 点 s BAR vu 的 一 条 最 短路 径 。 a 


练习 
24.5-1 给 出 图 24-2 的 与 图 中 两 棵 最 短路 径 树 不同 的 另外 两 棵 最 短路 径 树 。 
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24.5-2 G 二 (V，E) 为 一 个 带 权重 的 有 向 图 ， 权 重 函数 为 w: E>R。 设 ;EV 为 某 个 源 结 点 。 请 
举 出 一 个 例子 ， 使 得 图 G 满足 下 列 条 件 : 对 于 每 条 边 (u，v) EE， 存 在 一 棵 根 结 点 为 s 
的 包含 边 (u，wv) 的 最 短路 径 树 ， 也 包含 一 棵 根 结 点 为 :的 不 包含 边 (u，wv) 的 最 短 
路 径 树 。 

24.5-3 对 引 理 24. 10 的 证 明 进 行 改善 ， 使 其 可 以 处 理 最 短路 径 权 重 为 cc 和 一 ce 的 情况 。 

24.5-4 设 G 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， WERS w: E>R. 假设 调 用 INITIALIZE- 
SINGLE-SOURCE(G，s) 算 法 对 图 G 进行 初始 化 。 证 明 : 如 果 一 系列 松弛 操作 将 s.x 的 
值 设置 为 一 个 非 空 值 ， 则 图 G 包 含 一 个 权重 为 负 值 的 环 路 。 

24.5-5 设 G==(V，E) 为 一 个 带 权 重 的 、 无 负 值 环 路 的 有 向 图 。 设 SEV 为 源 结 点 ， 对 于 结 点 
vEV 一 {s}， 如 果 结 点 v 可 以 从 源 结 点 s 到 达 ， 我 们 允许 v r 是 结 点 wv 在 任意 一 条 最 短 
路 径 上 的 前 驱 ; 如 果 结 点 v 不 可 以 从 源 结 点 s 到 达 ， 则 v.x 为 NIL。 请 举 出 一 个 图 例 和 
一 种 x 的 赋值 ， 使 得 G 中 形成 一 条 环 路 。( 根 据 引 理 24. 16， 这 样 的 一 种 赋值 不 可 能 由 
一 系列 松弛 操作 生成 。) 

24.5-6 设 G==(V，E) 为 一 个 带 权 重 的 有 向 图 ， 权重 函 数 为 w: 天 ->~R， 且 不 包含 权重 为 负 值 的 
环 路 。 设 ;EV 为 源 结 点 ,假定 图 G 由 INITIALIZE-SINGLE-SOURCE(G，;s) 算 法 进行 
初始 化 。 证 明 : 对 于 每 个 结 点 vCV,, G 中 存在 一 条 从 源 结 点 s 到 结 点 的 路 径 ， 并 且 
该 性 质 在 任何 松弛 操作 序列 中 维持 为 不 变 式 。 

24.5-7 设 G 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， 且 不 包含 权重 为 负 值 的 环 路 。 设 ;EV HRA 
H, BER G 由 INITIALIZE-SINGLE-SOURCE(G，;) 算 法 进行 初始 化 。 证 明 : 对 于 所 
有 结 点 vEV， 存 在 一 个 由 |V| 一 1 个 松弛 步骤 所 组 成 的 松弛 序列 来 生成 v d=, v). 

24.5-8 设 G 二 (V，E) 为 一 个 带 权 重 的 有 向 图 ， 且 包含 一 个 可 以 从 源 结 点 s 到 达 的 权重 为 负 值 的 
环 路 。 请 说 明 如 何 构 造 一 个 G 的 边 的 松弛 操作 的 无 限 序 列 ， 使 得 每 一 步 松弛 操作 都 能 
对 某 一 个 最 短路 径 估计 值 进 行 更 新 。 


思考 题 
24-1 (Yen 对 Bellman-Ford 算法 的 改进 ) 假定 对 Bellman-Ford 算法 中 对 边 的 每 一 遍 松弛 操作 
的 次 序 做 出 如 下 规定 : 在 第 一 遍 松弛 前 ， 我 们 给 输入 图 G 二 (V，E) 的 所 有 结 点 赋予 一 个 
随机 的 线性 次 序 Qe Wa 1y Oliv ic 然后 ， 将 边 集合 玉 划 分 为 EjUE,， 这 里 E,={(u, 
vw EE: i<j}, B={(y, wEE: i>j}. (ER G 不 包含 自 循环 ， 因 此 一 条 边 要 么 属 
FT Ey 要 么 属于 E.) €X G =(V, EPM G= (V, E,). 
a. 证 明 : G; 是 无 环 的 ， 且 其 拓扑 排序 为 vw， Wy 3 Vivi 3 G 是 无 环 的 ， 且 其 拓扑 排 
FH vivi 2 wi "s UW). 
假定 我 们 以 下 面 的 方式 来 实现 Bellman Ford 算法 的 每 一 遍 松 弛 操作 : Aus Y, es 
viv 的 次 序 访问 每 个 结 点 ， 并 对 从 每 个 结 点 发 出 的 Ey 边 进行 松弛 。 然 后 ， 再 以 次 序 
Ovi 2 Uv- °° > UY 来 访问 每 个 结 点 ， 并 对 从 每 个 结 点 发 出 的 E, 边 进行 松弛 。 
b. 证 明 : 在 上 述 操作 方式 下 ， 如 果 图 G 不 包含 从 源 结 点 s 可 以 到 达 的 权重 为 负 值 的 环 路 ， 
则 在 1V1/2 妨 松 弛 操作 后 ， 对 于 所 有 的 结 点 vEV， 有 v. d=, v). 
c 上 述 算法 是 否 改善 了 Bellman-Ford 算法 的 渐 近 运行 时 间 ? 
24-2 (REST) ”假定 有 很 多 维度 为 4 的 盒子 ， 对 于 盒子 =t, t, …， ra) M y=, 
2%，…，2%) 的 两 个 盒子 来 说 ， 如 果 集 合 (1，2，…， 才 存在 一 个 排列 x， 使 得 za) <n» 
Lay Ys t> Lad Cas 则 称 盒子 xz REET y HH. 
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a. 证 明 : 艇 套 关 系 是 传递 的 。 

b. 给 出 一 个 有 效 算法 来 判断 一 个 维度 为 了 的 盒子 是 否 艇 套 在 另 一 个 同样 维度 的 盒子 里 。 

c. 假定 有 一 组 nn 个 4 维 的 盒子 {B,，B,，…，B,}。 请 给 出 一 个 有 效 算法 来 找 出 最 长 序列 
(B; ， B,» ae B;,), 使 得 盒子 B; KEERT B: E, 这 里 二 请 
以 d 和 nn 来 表述 算法 的 运行 时 间 。 

(和 套利 交易 ) 套利 交易 指 的 是 使 用 货币 汇率 之 间 的 差异 来 将 一 个 单位 的 货币 转换 为 多 于 

一 个 单位 的 同 种 货币 的 行为 。 例 如 ， 假 定 1 美元 可 以 购买 49 印度 卢比 ，1 印度 卢比 可 以 

购买 2 日 元 ,1 日 元 可 以 购买 0. 0107 美元 。 那 么 通过 在 货币 之 间 进 行 转换 ， 一 个 交易 商 

可 以 从 1 美元 开始 ， 购 买 49X2X0. 0107=1. 0486 美元 ， 从 而 获得 4. 86% 的 利润 。 

假设 给 定 n 种 货币 cis ，c ，…，c 和 一 个 nXn 的 汇率 表 R， 一 个 单位 的 c; 货币 可 以 
购买 RLi， jj] 单位 的 c 货币 。 

a 给 出 一 个 有 效 的 算法 来 判断 是 否 存在 一 个 货币 序列 (c ，c。，…，ci, )， 使 得 

Ri , iz | S Rliz ’ iz | aes RLa , ix | * Ri, i, |>1 
请 分 析 算 法 的 运行 时 间 。 

b. 给 出 一 个 有 效 算法 来 打印 出 这 样 的 一 个 序列 (如 果 存 在 这 样 一 种 序列 )。 分 析 算 法 的 运 
行 时 间 。 

(Gabow 的 单 源 最 短路 径 伸缩 算法 ) 伸缩 算法 解决 问题 的 方式 如 下 : 首先 考虑 相关 输入 

值 ( 如 边 的 权重 ) 的 最 高 有 效 位 ， 然 后 通过 检查 最 高 两 个 有 效 位 来 对 初始 解 进行 微调 。 这 种 

算法 渐次 检查 更 多 的 最 高 有 效 位 ， 每 次 对 解 进行 微调 ， 直 到 对 所 有 输入 位 进行 检查 并 计算 

出 正确 解 为 止 。 

在 本 题 中 ， 我 们 通过 对 边 的 权重 进行 伸缩 来 计算 单 源 最 短路 径 。 给 定 有 向 图 G 一 (V， 万 )， 
图 的 所 有 边 的 权重 和 皆 为 非 负 整数 w. 设 W 二 max{wku， 劝 }。 我 们 的 目标 是 设计 一 个 运行 时 间 
为 CCElgW) 的 算法 来 计算 最 短路 径 。 假 设 所 有 结 点 都 可 以 从 源 结 点 到 达 。 

该 算法 对 边 权 重 的 二 进 制 表示 进行 逐 位 检查 ， 从 最 高 有 效 位 到 最 低 有 效 位 。 具 体 来 
Bi, WR lg《(W 十 1)] 为 W 的 二 进 制 表示 所 需要 的 位 数 ， 并 且 对 于 i 二 1，2，…, k, 设 
w; Cu, v)=|wlu, v)/2* "|, ERE., wu, dE wlu，wv) 的 第 i 个 最 高 有 效 位 给 出 
的 “收缩 ”的 we, WRAL. CA, FRANU, WEE, Aw (u, v)=wlu, v).) Bi 
如 ， 如 果 k=5, HH, )=25, K HERRA 11001), W wu, v)=(110)=6, X 
例如 ， 如 果 wu, v)=<00100)=4, W) zw Cu, v)=(001)=1, Æ 6.(u，w) 为 使 用 权重 函 
数 忒 的 情况 下 从 结 点 xz 到 结 点 v 的 最 短路 径 权 重 ， 则 对 于 所 有 的 结 点 w，vEV， 有 
2 (u，v) 二 6(u，v)。 对 于 给 定 源 结 点 ;s， 该 伸缩 算法 首先 计算 出 对 于 所 有 结 点 vc€V 的 所 有 
最 短路 径 权重 61(s，v)， 然 后 再 计算 出 6,.(s，v)， 这 样 一 直下 去 ， 直 到 计算 出 & ls, ve 
假定 1|E| 宇 |V| 一 1,， 我 们 将 看 到 从 6;_ 1 计算 出 6; 所 需要 的 时 间 为 O(E), 因 此， 整个 算法 
的 运行 时 间 为 O(&E) 二 OC(ElgW)。 

a. 假定 对 于 所 有 的 结 点 v€EV， 有 6ls，) 志 |E|。 TER: 可 以 在 OCE) 的 时 间 内 计算 出 所 
有 的 ds, v). 

b. 证 明 : 可 以 在 OGE) 时 间 内 计算 出 所 有 的 8 Cs， 。 

下 面 我 们 来 专注 于 如 何 从 5;_1 计 算出 8 。 

c. WEAR: MPF i=2, 3, =, k, BAAR wu, v)=—2w,,(u, v), BAA w(u, v= 
2w;_1(u，v) 十 1。 然 后 再 证 明 : 对 于 所 有 的 结 点 vEV， 

26 (ssu) <6;(s,v) < 28 (ssu) + |V| —1 

d. FRAU, v) CE Mi=2, 3, =, k, BM 
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w; (u,v) = w; (u,v) + 26-4 (su) — 26-4 (550) 
证 明 : 对 于 所 有 的 边 (u,) EE 和 i 二 2，3,，…,，k， 重 新 计算 过 的 边 (u，wv) 的 权重 值 
也 (xx， 切 是 一 个 非 负 整 数 。 

. 在 本 小 题 中 ， 我 们 定义 8 (s*，zz) 为 使 用 权重 函数 也 时 从 源 结 点 * 到 结 点 的 最 短路 径 权 
重 。 证 明 : 对 于 所 有 的 边 vEV 和 i==2，3，…, ky Ads, =Â, vts Cs, v), 
并 有 bh.(s,， WE。 

. 说 明 如 何在 OC(E) 时 间 内 从 61《(s，v) 计 算出 6.(s，v),， 并 且 得 出 结论 : 可 以 在 
OC(ElgW) 时 间 内 计算 出 所 有 结 点 v 的 6(s, 久 )。 

(Karp 的 最 小 平均 权重 环 路 算法 ) ” 设 G==(V,，E) 为 一 个 带 权 重 的 有 向 图 ， 权重 函 数 为 

w: E>R, 设 n 二 |V|。 定 义 玉 中 边 的 环 路 c 二 (el ，e;，…，e) 的 平均 权重 为 


po) = 1 Dwe,) 
Wy" =ming(c), 这 里 c 为 图 G 中 所 有 的 有 向 环 路 。 我 们 称 环 路 权重 yc) =p" 的 环 路 CA 
最 小 平均 权重 环 路 。 本 题 要 研究 的 是 如 何 高 效 地 计算 出 y.* 。 

假定 在 不 失 一 般 性 的 情况 下 ， 每 个 结 点 v€EV 都 可 以 从 源 结 点 s BGA. BOG, WAM 

源 结 点 s 到 结 点 v 的 最 短路 径 权 重 , 设 《(s，v) 为 从 源 结 点 s 到 结 点 v 的 恰好 包含 & 条 边 
的 最 短路 径 权重 。 如 果 不 存 在 恰好 条 边 的 从 s 到 wv 的 路 径 ， 则 dCs, v)=00, 
a. 证 明 : WR g=, WE C 包 含 非 负 权重 的 环 路 ， 并 且 对 于 所 有 的 结 点 vEV， 

OCs, w= min dCs, v) 


b. 证 明 : WR jy* 二 0， 则 对 于 所 有 的 结 点 vEV， 


max ð, (ssu) 一 人 Ga > 
0<k<n—l1 n—k 


(提示 : 使 用 (a) 部 分 的 两 个 属性 。) 
. 设 c 为 一 个 权重 为 0 的 环 路 ， 并 设 x 和 vw Ac 上 的 任意 两 个 结 点 。 假 定 性 =0 并 且 环 路 
上 从 结 点 到 结 点 v 的 简单 路 径 的 权重 为 zx。 证 明 ; OCs, W=d(s, utr (EF: 环 
路 上 从 结 点 v 到 结 点 的 简单 路 径 的 权重 为 一 x。) 
证 明 : WR py* 二 0， 则 在 每 个 最 小 平均 权重 环 路 上 都 存在 一 个 结 点 v， 满足 


50) — ACs U) = 
ng <n 
o<] n—k 


(提示 : 说 明 如 何 将 一 条 最 短路 径 扩展 到 最 小 平均 权重 环 路 上 的 任意 结 点 ， 以 找 出 到 环 
路 上 下 一 个 结 点 的 最 短路 径 。) 
. EH: WR jy* 二 0， 则 在 每 个 最 小 平均 权重 环 路 上 都 存在 一 个 结 点 v， 满 足 


0, (550) — Lst) 
min max 一 一 -一 
wEV 0<k<m-l n—k 


. 证 明 : 如 果 给 图 G 的 每 条 边 的 权重 加 一 个 常数 :， 则 jy* 也 增加 tz。 使 用 该 事实 来 证 明 : 


E On Css U) — & (s, v) 
je vEV 0<k<r—l n—k 


g 给 出 一 个 时 间 复 杂 度 为 OVE) HRIERHE pv". 

( 双 调 最 短路 径 ) 对 于 一 个 序列 来 说 ， 如 果 该 序列 先是 单调 增长 ， 然 后 再 单调 递减 ， 或 者 
在 进行 循环 移 位 后 ， 该 序列 成 为 先 单调 增长 然后 单调 递减 的 序列 ， 则 该 序列 称 为 双 调 序 
列 。 例如; 序列 (1，4, 6, 8, 3 —2), (9, 2, —4, —10, 一 5) 和 (1，2，3，4) 都 是 双 
调 序列 ， 但 (1，3，12，4，2，10) 则 不 是 双 调 序列 。( 请 参阅 思考 题 15-3 中 的 双 调 欧 几 里 
得 旅行 商 问 题 。) 


®© 


= 


0 


ie) 


中 


0 


© 


0 


= 


680 





683 


398 + 第 六 部 分 算 法 


假设 给 定 有 向 图 G 二 (V，E)， 权 重 函 数 为 w: 已 ~R， 并 且 所 有 的 权重 值 都 唯一 ， 我 们 和 希 
望 找到 从 源 结 点 s 出 发 的 单 源 最 短路 径 。 不 过 ， 我 们 还 有 一 条 额外 的 信息 : 对 于 每 个 结 点 
vEV， 从 源 结 点 s 到 结 点 v 的 任意 最 短路 径 上 的 边 的 权重 形成 一 个 双 调 序列 。 

请 给 出 最 有 效 的 算法 来 解决 这 个 问题 ， 并 分 析 其 运行 时 间 。 


本 章 注 记 

Dijkstra 算法 [88] 首 次 发 表 在 1959 年 ， 但 该 次 发 表 的 论文 里 却 没 有 提 及 优先 队列 。Bellmam- 
Ford 算法 是 基于 Bellman[ 38] 和 Ford[109] 所 独立 提出 来 的 算法 。Bellman 还 描述 了 最 短路 径 和 差 
分 约束 之 间 的 关系 。LawlerL224] 考 虑 了 民间 流行 的 部 分 ， 描 述 了 在 有 向 无 环 图 中 解决 最 短路 径 
的 线性 时 间 算 法 。 

当 边 的 权重 为 相对 较 小 的 非 负 整数 时 ， 我 们 可 以 有 更 有 效 的 算法 来 解决 单 源 最 短路 径 问 题 。 
在 Dijkstra 算法 中 ，EXTRACT-MIN 调用 所 返回 的 值 随 着 时 间 单 调 递 增 。 如 第 6 章 的 注 记 所 讨 
论 的 ， 在 这 种 情况 下 ， 比 起 二 又 堆 和 斐 波 那 契 堆 来 ， 我 们 可 以 使 用 多 种 数据 结构 来 实现 不 同 的 、 
更 加 高 效 的 优先 队列 操作 。Ahuja、Mehlhorn、Orlin 和 Tarjian[8] 给 出 了 一 个 运行 时 间 为 
OE+V VigW) 的 算法 ， 该 算法 适用 于 非 负 值 的 边 权 重 ， 这 里 W 是 图 中 所 有 边 权重 中 的 最 大 值 。 最 
优 的 时 间 复 杂 度 上 界 为 ThorupL337j] 给 出 的 OCE lelg V) FI Raman[291] 给 出 的 OCE+Vimin{ gV)”, 
(gW)”*})。 这 两 种 算法 所 使 用 的 空间 量 依赖 于 下 层 的 机 器 字 的 尺寸 。 虽 然 以 输入 的 规模 来 看 ， 
其 使 用 的 空间 是 没有 上 界 的 ， 使 用 随机 散 列 可 以 将 该 空间 减少 到 与 输入 规模 呈 线 性 关系 的 程度 。 

对 于 权重 为 整数 的 无 向 图 来 说 ，ThorupL336j 给 出 了 一 个 运行 时 间 为 OC(V 十 E) 的 算法 来 解决 
单 源 最 短路 径 问 题 。 与 前 面 段落 中 提 到 的 各 种 算法 相 比 ， 该 算法 并 不 是 Dijkstra 算法 的 一 种 实 
现 ， 因 为 由 EXTRACT-MIN 调用 所 返回 的 值 并 不 随 着 时 间 单 调 递增 。 

对 于 权重 可 以 为 负 值 的 图 来 说 ，Gabow 和 Taran[122] 给 出 了 一 个 运行 时 间 为 OVE lg (VW)) 
的 算法 ， 而 GoldbergL137] 给 出 了 一 个 运行 时 间 为 OW/VE lgW) 的 算法 ， 这 里 W= max {| wu, v)|}. 

Cherkassky, Goldberg 和 Radzik[64] 对 各 种 最 短路 径 算 法 进行 了 细致 的 实验 比较 。 
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所 有 结 点 对 的 最 短路 径 问题 


在 本 章 ， 我 们 考虑 的 问题 是 如 何 找到 一 个 图 中 所 有 结 点 之 间 的 最 短路 径 。 该 问题 在 计算 所 
有 城市 之 间 的 交通 道路 距离 时 将 出 现 。 如 第 24 章 所 述 ， 我 们 给 定 的 是 一 个 带 权重 的 有 向 图 G= 
(V，E)， 其 权重 函数 为 w: 已 ~>R， 该 函数 将 边 映 射 到 实数 值 的 权重 上 。 我 们 希望 找到 ， 对 于 所 
有 的 结 点 对 wx，zEV， 一 条 从 结 点 * 到 结 点 v 的 最 短路 径 ， 其 中 一 条 路 径 的 权重 为 组 成 该 路 径 的 
所 有 边 的 权重 之 和 。 我 们 通常 希望 以 表格 的 形式 来 表示 输出 : 第 4 行 第 v 列 给 出 的 是 结 点 zx 到 结 
点 v 的 最 短路 径 权 重 。 

我 们 可 以 通过 运行 |1V| 次 单 源 最 短路 径 算法 来 解决 所 有 结 点 对 之 间 的 最 短路 径 问 题 ， 每 一 次 
使 用 一 个 不 同 的 结 点 作为 源 结 点 。 如 果 所 有 的 边 的 权重 为 非 负 值 ， 那 么 可 以 使 用 Dijkstra 算法 。 
如 果 使 用 线性 数组 来 实现 最 小 优先 队列 ， 那 么 该 算法 的 运行 时 间 将 是 OV +VE) =O"). 使 
用 二 又 堆 实现 的 最 小 优先 队列 将 使 算法 的 运行 时 间 降 低 到 OCVE lgV)， 这 个 时 间 在 稀 疏 图 的 情况 
下 是 一 个 较 大 改进 。 此 外 ， 也 可 以 使 用 斐 波 那 契 堆 来 实现 最 小 优先 队列 ， 这 种 情况 下 算法 的 运行 
时 间 为 OV? IgV+VE). 

如 果 图 中 有 权重 为 负 值 的 边 ， 那 么 将 不 能 使 用 Dijkstra 算法 。 此 时 ， 我 们 必须 运行 效率 更 低 
的 Bellman-Ford 算法， 每 次 使 用 一 个 不 同 的 结 点 作为 源 结 点 。 该 算法 的 运行 时 间 将 是 OV E), 
在 稠密 图 的 情况 下 ， 该 运行 时 间 为 O(V ) 。 在 本 章 ， 我 们 将 看 到 如 何 能 做 得 更 好 。 此 外 ， 本 章 还 
讨论 所 有 结 点 对 最 短路 径 问 题 与 矩阵 乘法 之 间 的 关系 并 对 其 代数 结构 进行 一 些 研 究 。 

与 单 源 最 短路 径 算 法 中 使 用 邻接 链表 来 表示 图 不 同 ， 本 章 的 多 数 算法 使 用 邻接 矩阵 来 表示 
图 。( 不 过 ，25. 3 HHH AF RRA Johnson 算法 使 用 的 是 邻接 链表 。) 为 了 方便 起 见 ， 假 定 
结 点 的 编号 为 1，2，…，|V| ， 因 此 ， 算 法 的 输入 将 是 一 个 Xn 的 和 矩阵 W， 该 矩阵 代表 的 是 一 
个 有 个 结 点 的 有 向 图 G 二 (V，E) 的 边 的 权重 。 也 就 是 说 ，W 三 (wj )， 其 中 





0 省 

Wij {amac 的 权重 ix 7 EGJ) EE (25-1) 
co #iAjHG.j) €E 

我 们 允许 存在 负 权 重 的 边 ， 但 目前 仍然 先 假定 图 中 不 包括 权重 为 负 值 的 环 路 。 

本 章 讨 论 的 所 有 结 点 对 最 短路 径 算法 的 表格 输出 也 是 一 个 nXn WEEDS dy), HP 心 代 
表 的 是 从 结 点 i 到 结 点 7 的 一 条 最 短路 径 的 权重 。 也 就 是 说 ， 如 果 用 OG, 站 来 表示 从 结 点 i BB 
点 j 之 间 的 最 短路 径 权重 (如 第 24 章 所 示 )， 则 在 算法 终结 时 有 di =dG, j). 

为 了 解决 所 有 结 点 对 最 短路 径 问 题 ， 我 们 不 仅 需 要 计算 出 最 短路 径 权 重 ， 还 需要 计算 出 前 
驱 结 点 矩阵 I 二 (rj)， 其 中 wy 在 i 二 j 或 从 i 到 7 不 存在 路 径 时 为 NIL， 在 其 他 情况 下 给 出 的 是 从 
结 点 i 到 结 点 7 的 某 条 最 短路 径 上 结 点 7 的 前 驱 结 点 。 就 如 第 24 章 的 前 驱 子 图 G. 为 给 定 源 结 点 
的 一 棵 最 短路 径 树 一 样 ， 由 和 矩阵 开 的 第 i 行 所 诱导 的 子 图 应 当 是 一 棵 根 结 点 为 i 的 最 短路 径 树 。 
对 于 每 个 结 点 iEV， 定 义 图 G 对 于 结 点 i 的 前 驱 子 图 为 Gui ~V as 其 中 

MW = {j €E Viti; 天 NIL} U {i} Ei = {Cty sj): j € Va A {z}} 
如 果 Gi 是 一 棵 最 短路 径 树 ， 则 下 面 的 过 程 将 打印 出 从 结 点 i 到 结 点 j 的 一 条 最 短路 径 。 该 算法 
是 第 22 章 的 PRINT-PATH 过 程 的 一 种 修改 版 本 。 

PRINT-ALL-PAIRS-SHORTEST-PATH(II,1i,7) 

1 ifi==j 

2 print i 
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3 elseif xy =—=NIL 

4 print“no path from”i“to”j“exists” 

5 else PRINT-ALL-PAIRS-SHORTEST-PATH (IL, i, ny) 

6 print j 

为 了 彰显 本 章 将 要 讨论 的 所 有 结 点 对 最 短路 径 算法 的 本 质 特征 ， 我 们 不 可 能 像 第 24 ENR 
前 驱 子 图 那样 花 大 篇 幅 去 讨论 前 驱 矩 阵 的 建立 及 其 性 质 。 基 本 性 质 将 在 某 些 练习 中 讨论 。 

本 章 概述 

25.1 节 讨 论 如 何 用 基于 矩阵 乘法 的 动态 规划 算法 来 解决 所 有 结 点 对 最 短路 径 问 题 。 如 果 使 
用 “重复 平方 ”技术 ， 算 法 的 运行 时 间 为 BCV? IgV). 。25. 2 节 给 出 另 一 种 动态 规划 算法 ， 即 Floyd- 
Warshall 算法 。 该 算法 的 运行 时 间 为 OCV). 25.2 节 同 时 还 讨论 如 何在 有 向 图 中 找 出 传递 闭 包 
的 问题 ， 该 问题 与 所 有 结 点 对 最 短路 径 问 题 相 关 。 最 后 ，25. 3 节 讨 论 Johnson 算法 ， 该 算法 能 够 
在 OV? lgV 十 VE) 的 时 间 内 解决 所 有 结 点 对 最 短路 径 问题 ， 对 大 型 稀 朴 图 来 说 这 是 一 个 很 好 的 
算法 。 

在 开始 前 ， 我 们 需要 给 出 邻接 矩阵 表示 的 一 些 约定 。 首 先 ， 假 定 输入 图 G 二 (V，E) 有 nn 个 
结 点 ， 因 此 ，x* 王 |V| 。 其 次 ， 使 用 大 写字 母 来 表示 矩阵， 如 W、 工 或 D， 而 用 带 下 标的 小 写字 
母 来 表示 矩阵 中 的 个 体 元 素 ， 如 wj;、 与 或 dj 。 一 些 和 矩阵 将 有 带 括 号 的 上 标 ， 如 工 ”” 二 (UP) 或 
D= (ds?)， 用 来 表示 迭代 。 最 后 ， 对 于 一 个 给 定 的 nXn 和 矩阵 A， 假 定 和 矩阵 的 维度 ”存储 在 属 
性 A.rows 中 。 


25.1 最 短路 径 和 和 矩 阵 乘法 


本 节 讨 论 有 向 图 G 二 (V，E) 上 所 有 结 点 对 最 短路 径 问 题 的 一 种 动态 规划 算法 。 在 动态 规划 
的 每 个 大 循环 里 ， 我 们 将 调用 一 个 与 矩阵 乘法 非常 相似 的 操作 ， 因 此 ， 该 算法 看 上 去 就 像 是 重复 
的 矩阵 乘法 。 我 们 将 首先 给 出 一 个 B(W) 的 算法 ， 然 后 再 将 该 算法 改进 到 OV? IgV). 

在 开始 前 ， 让 我 们 简略 地 回顾 第 15 章 描述 过 的 设计 动态 规划 算法 的 步骤 : 

1. 分 析 最 优 解 的 结构 。 

2. 递归 定义 最 优 解 的 值 。 

3. 自 底 向 上 计算 最 优 解 的 值 。 

我 们 将 设计 动态 规划 算法 的 第 4 步 ( 即 从 计算 出 的 最 优 解 的 值 上 构建 最 优 解 ) 留 给 读者 作为 练习 。 

最 短路 径 的 结构 

我 们 从 对 最 优 解 的 结构 开始 进行 分 析 。 对 于 图 G 二 (V，E) 的 所 有 结 点 对 最 短路 径 问 题 ， 我 
们 证 明了 ( 引 理 24. 1) 一 条 最 短路 径 的 所 有 子路 径 都 是 最 短路 径 。 假 定 用 邻接 矩阵 来 表示 输入 图 ， 
即 W==(wj)。 考 虑 从 结 点 i 到 结 点 j 的 一 条 最 短路 径 p， 假 定 p 至 多 包含 m 条 边 ， 还 假定 没有 权 
重 为 负 值 的 环 路 ， 且 m HARE. WR i 二 ;， 则 p 的 权重 为 0 且 不 包含 任何 边 。 如 果 结 点 i 和 结 
点 ;不 同 ， 则 将 路 径 p 分 解 为 i 妇 kj， 其 中 路 径 p' 至 多 包含 m 一 1 条 边 。 根 据 引 理 24.1，p' 是 
从 结 点 i 到 结 点 & 的 一 条 最 短路 径 ， 因 此 ，6(i, 58G, k) Hw 。 

所 有 结 点 对 最 短路 径 问 题 的 递归 解 

现在 设 1 名 为 从 结 点 i 到 结 点 7 的 至 多 包含 条 边 的 任意 路 径 中 的 最 小 权重 。 当 mm 一 0 时 ， 
从 结 点 i 到 结 点 j 之 间 存 在 一 条 没有 边 的 最 短路 径 当 上 且 仅 当 ;一 7。 因 此 ， 

0 wRi=j 
co RIAs 
对 于 m 宇 1， 我 们 需要 计算 的 1 总 是 1 了?( 从 i 到 j 最 多 由 m 一 1 条 边 组 成 的 最 短路 径 的 权重 ) 的 最 
小 值 和 从 i 到 j 最 多 由 m 条 边 组 成 的 任意 路 径 的 最 小 权重 ,我 们 通过 对 j 的 所 有 可 能 前 驱 & 进行 


p= 
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检查 来 获得 该 值 。 因 此 递归 定义 
Lm = mnn” min (L? 十 wu )) = in 人 + wy; } (25.2) 
因为 对 于 所 有 的 /7 有 内 p 一 0， 所 以 上 述 式 子 中 后 面 的 等 式 成 立 。 

但 真正 的 最 短路 径 权重 (i， 让 到 底 是 多 少 呢 ? 如 果 图 G 不 包含 权重 为 负 值 的 环 路 ， 则 对 于 
每 一 对 结 点 i 和 ;， 如 果 6(i, Do, Miaj 之 间 存 在 一 条 最 短路 径 。 由 于 该 路 径 是 简单 路 径 ， 
其 包含 的 边 最 多 为 "一 1 条。 从 结 点 i 到 结 点 j 的 由 多 于 n 一 1 条 边 构 成 的 路 径 不 可 能 有 比 从 i 到 j 
的 最 短路 径 权 重 更 小 的 权重 。 因 此 ， 真 正 的 最 短路 径 权 重 可 以 由 下 面 的 公式 给 出 : 


p= =e =e* =. 25.2) 
自 底 向 上 计算 最 短路 径 权重 
根据 输入 矩阵 W= (wj )， 现 在 可 以 计算 出 矩阵 序列 LO, LO, oe, LP, KPA m= 


1，2，…，7 一 1， 有 工 史 二 (名 )。 最 后 的 矩阵 工 ” ”包含 的 是 最 短路 径 的 实际 权重 。 注 意 ， 对 于 
PAW iA, LO =w), Ak, LP=W, 

该 算法 的 核心 如 下 面 的 伪 代 码 程序 所 示 。 该 伪 代 码 程序 可 以 在 给 定 WAL TP , 
计算 出 工 ”。 也 就 是 说 ， 该 伪 代 码 将 最 近 计算 出 的 最 短路 径 扩展 了 一 条 边 。 


EXTEND-SHORTEST-PATHS(L,W) 
1 n=L. rows 

2 let L'=(1})be a new nXn matrix 
3 for i=1 ton 

4 for 7 一 ] ton 

5 2 一 co 

6 for k=1 ton 

7 lj =min(l; sla Hwy) 

8 


return L’ 


该 过 程 计 算 在 算法 结束 时 返回 的 矩阵 工 王 (25 )。 计 算 该 矩阵 的 方式 是 对 于 所 有 的 ;和 7 来 计 
算 等 式 (25. 2) ， 使 用 工作 为 工 ””,， 工 作为 工 ”。 (在 写法 上 没有 注 明 上 标的 目的 是 让 输入 和 输 
出 矩阵 独立 于 变量 om PA 3 ERER for 循环 ， 该 算法 的 运行 时 间 为 O). 

现在 ， 我 们 可 以 看 到 该 算法 与 矩阵 乘法 的 关系 了 。 假 定 我 们 希望 计算 矩阵 乘积 C—AXB, 
其 中 A 和 B 均 为 nXn 的 矩阵。 那么 对 于 i，j 二 1，2,，…，n， 计算 


ty = Xaa By (25. 4) 
k=1 
注意 ， 如 果 在 式 (25. 2) 中 进行 如 下 替换 ， 

[YD >a 

wb 

[™ —>c 

min—>-++ 

于 = 


则 将 获得 式 (25.4)。 因 此 ， 如 果 对 算法 EXTEND-SHORTEST-PATHS 进行 上 述 替 换 ， 并 用 0 
(加 法 操作 十 的 不 变量 ) 来 替换 =e( 求 最 小 值 操作 min 的 不 变量 )， 则 获得 的 就 是 与 4. 2 节 所 描述 的 
平方 矩阵 乘法 同 为 时 间 Cn? ) 的 矩阵 乘法 。 


SQUARE-MATRIX-MULTIPLY(A, B) 
1 n=A. rows 
2 let C be a new nXn matrix 


3 for i=1 ton 
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4 for j=l ton 

5 cj =0 

6 for k=1 ton 

7 cy Hcg tag * by 
8 


return C 


回 到 所 有 结 点 对 最 短路 径 问 题 ， 我 们 通过 对 最 短路 径 一 条 边 一 条 边 地 扩展 来 计算 最 短路 径 


权重 。 设 A。B 表示 由 算法 EXTEND-SHORTEST-PATHS(A，B) 所 返回 的 矩阵 “乘积 ”， 我 们 可 
以 计算 出 下 面 由 ”一 1 个 矩阵 所 构成 的 矩阵 序列 


LY =% n W=W 
L®=L® . W=W? 
L® =f e w=w:; 
Le» =p oe) b W=w! 


如 上 面 所 述 ， 和 矩阵 L” ”二 W”! 包 含 的 是 最 短路 径 权 重 。 下 面 的 伪 代 码 程 序 在 8(z ) 时 间 内 


计算 出 该 矩阵 序列 


SLOW-ALL-PAIRS-SHORTEST-PATHS(W) 
n=W. rows 
LY =W 


for m=2 ton—1 


L’” =EXTEND-SHORTEST-PATHS(L™ ” ,W) 


a 
2 
3 
4 let L™ be a new nXn matrix 
5 
6 return 工 ” 7 


图 25-1 所 示 为 一 个 图 和 在 图 上 运行 SLOW-ALL-PAIRS-SHORTEST-PATHS 所 计算 出 的 甜 


FJL”, 

















3 co —4 9 3 8 2 一 
ee 6G eo o g 3 Of 7 7 
人 | 4 co æj Le 4 #0 5 ü 
oo 0 
0 6 
2 
1 
1) Les 5 
0 


0 
3 

LO=|7 4 0 
a =] =5 
8 5 1 


25-1 一 个 有 向 图 和 由 SLOW-ALL-PAIRS-SHORTEST-PATHS 所 计算 出 的 矩阵 序列 LO 。 读 者 可 
以 自行 验证 LS 二 L® ， 因 此， 对 于 所 有 的 m 宇 4， AL”? =L” 


0. 8 5 l 6 0 
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改进 算法 的 运行 时 间 
我 们 的 目标 并 不 是 要 计算 所 有 的 L" 和 矩阵 ,我们 感 兴趣 的 仅仅 是 矩阵 L”，”。 回 忆 本 书 前 面 


的 内 容 可 知 ， 在 没有 权重 为 负 值 的 环 路 的 情况 下 ， 式 (25. 3) 意 味 着 对 于 所 有 的 m 宇 n 一 1， 我 们 有 
LO 二 Lw?。 正 如 传统 的 矩阵 乘法 是 相关 的 ， 由 EXTEND-SHORTEST-PATHS 过 程 所 定义 的 
和 矩阵 乘法 也 是 相关 的 (请 参阅 练习 25. 1-4)。 因 此 ， 可 以 仅 用 [ lg(n 一 1)1 个 矩阵 乘积 来 计算 矩阵 
L°”, 计算 的 方法 如 下 : 


HF Sn 1, RS MRALO ”) BELO, 


L? =W 
L? =W? =W W 
LO =W =W - W? 
L® = Wê = W+ ê wW: 


Lite) =p wv =p orl A Wa DH 689 


下 面 的 过 程 使 用 重复 平方 技术 来 计算 上 述 矩 阵 序列 。 


FASTER-ALL-PAIRS-SHORTEST-PATHS(W) 

1 n=W. rows 

2 L®”=W 

3 m=1 

4 while m<n—1 

5 let 工人 be a new nXn matrix 

6 L® =EXTEND-SHORTEST-PATHS(L™ , L™ ) 
7 m=2m 

8 


return L” 


在 算法 第 4~7 行 的 while 循环 的 每 一 次 迭代 ， HA L=), 整个 计算 从 m= 二 1 开始 。 在 每 
次 迭代 的 末尾 ， 对 m 的 取 值 进行 加 倍 。 最 后 的 迭代 通过 实际 计算 LO PRE LOY, 其 
H, n 一 1<2m<2n 一 2。 根 据 式 (25.3)，L®%” 二 L”?。 下 一 次 在 执行 算法 第 4 行 的 测试 时 ，m 已 
经 加 倍 ， 因 此 现在 m 二 n 一 1， 该 测试 将 不 通过 ， 整 个 算法 返回 的 是 其 最 后 所 计算 的 和 矩阵 。 


因为 | lg (n 一 1)1]1 个 矩阵 中 的 每 个 矩阵 的 计算 时 间 为 @ (ni)，FASTER-ALL-PAIRS- 


SHORTEST-PATHS 的 运行 时 间 为 O lgn) 。 由 于 该 代码 非常 紧凑 ， 没 有 包含 任何 精巧 的 数据 
结构 ， 隐 藏 在 @ 记 号 中 的 常数 应 该 较 小 。 


练习 
25.1-1 在 图 25-2 所 示 的 带 权重 的 有 向 图 上 运行 算法 SLOW-ALL-PAIRS-SHORTEST-PATHS, 


给 出 循环 的 每 次 迭代 所 计算 出 的 矩阵 。 然 后 用 算法 FASTER-ALL-PAIRS-SHORTEST- 
PATHS 重新 做 一 遍 。 








图 25-2 用 于 练习 25. 1-1、25. 2-1 和 25. 3-1 的 带 权重 的 有 向 图 
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25.1-2 为 什么 要 求 对 于 所 有 的 1<i<n， 有 wi 二 0? 
25.1-3 在 最 短路 径 算法 中 使 用 的 矩阵 LO 对 应 传统 和 矩阵 乘法 里 的 什么 ? 


CO CO we oO 
ca 0 CO eee CoO 

LO = le co 0 “Co 
EC 人 


25.1-4 证 明 : 由 EXTEND-SHORTEST-PATHS 所 定义 的 矩阵 乘法 是 相关 的 。 

25.1-5 说 明 如 何 将 单 源 最 短路 径 问题 表示 为 矩阵 和 向 量 的 乘积 ， 并 解释 该 乘积 的 计算 过 程 如 何 
对 应 Bellman-Ford 算法 ? 〈 请 参阅 24. 1 节 。) 

25.1-6 假定 我 们 还 希望 在 本 节 所 讨论 的 算法 里 计算 出 最 短路 径 上 的 结 点 。 说 明 如 何在 OC ) 时 
间 内 从 已 经 计算 出 的 最 短路 径 权 重 和 矩阵 工 计算 出 前 驱 矩 阵 I 

25.1-7 我 们 可 以 用 计算 最 短路 径 权 重 的 办 法 来 计算 最 短路 径 上 的 结 点 。 定 义 ol Ai 到 7 的 
至 多 包含 m 条 边 的 任意 最 小 权重 路 径 上 结 点 7 的 前 驱 。 请 修改 EXTEND-SHORTEST- 
PATHS 和 SLOW-ALL-PAIRSSHORTESTPATHS， 使 其 在 计算 出 矩阵 L”, 
LO, =, Le GAN. Tee, 0. --. 0. 

25.1-8 本 节 所 讨论 的 FASTER-ALL-PAIRS-SHORTEST-PATHS 过 程 要 求 我 们 保存 | lg(n 一 1)] 
个 矩阵 ， 由 于 每 个 矩阵 有 n 个 元 素 ， 总 存储 空间 需求 为 OG? lgn)。 请 修改 该 算法 ,使 
其 仅仅 使 用 两 个 nxn 的 矩阵 ， 从 而 将 存储 空间 降 至 O). 

25.1-9 修改 FASTER-ALL-PAIRS-SHORTEST-PATHS, 使 其 可 以 判断 一 个 图 是 否 包 含 一 个 
权重 为 负 值 的 环 路 。 

25.1-10 给 出 一 个 有 效 算法 来 在 图 中 找到 最 短 长 度 的 权重 为 负 值 的 环 路 的 长 度 ( 边 的 条 数 ) 。 


25.2 Floyd-Warshall 算法 


在 本 节 的 讨论 中 ， 我 们 使 用 一 种 不 同 的 动态 规划 公式 来 解决 所 有 结 点 对 最 短路 径 问 题 。 所 
产生 的 算法 称 为 Floyd-Warshall 算法 ， 其 运行 时 间 为 6(V*)。 与 前 面 的 假设 一 样 ， 负 权重 的 边 可 
以 存在 ， 但 不 能 存在 权重 为 负 值 的 环 路 。 如 25. 1 节 所 述 ， 我 们 仍然 按照 动态 规划 过 程 的 通常 步 
又 来 前 述 我 们 的 算法 。 在 对 算法 进行 研究 后 ， 我 们 将 提供 一 种 类 似 的 方法 来 找 出 有 向 图 的 传递 
闭 包 。 

最 短路 径 的 结构 

在 Floyd-Warshall 算法 中 ， 我 们 对 一 条 最 短路 径 的 结构 特征 做 出 的 描述 与 25. 1 节 中 的 有 所 
不 同 。Floyd- Warshall 算法 考虑 的 是 一 条 最 短路 径 上 的 中 间 结 点 ， 这 里 ， 简 单 路 径 加 一 《vw， 
ww，*…,v.) 上 的 中 间 结 点 指 的 是 路 径 p LR 和 之 外 的 任意 结 点 ， 也 就 是 处 于 集合 {w， 
wo ,v1) 中 的 结 点 。 

Floyd-Warshall 算法 依赖 于 下 面 的 观察 。 假 定 图 G 的 所 有 结 点 为 V 二 {1，2，…，n)}， 考 虑 
其 中 的 一 个 子 集 {1，2，…，k}， 这 里 是 某 个 小 于 n 的 整数 。 对 于 任意 结 点 对 i，jEV， 考 虑 从 
结 点 i 到 结 点 7 的 所 有 中 间 结 点 均 取 自 集 合 {1，2，…，A&} 的 路 径 ， 并 且 设 p 为 其 中 权重 最 小 的 
路 径 ( 路 径 p 是 简单 路 径 )。Floyd-Warshall 算 法 利用 了 路 径 p 和 从 i 到 7 之 间 中 间 结 点 均 取 自 集 
合 {(L，2，…，A& 一 1} 的 最 短路 径 之 间 的 关系 。 该 关系 依赖 于 结 点 k 是否 是 路 径 娟 上 的 一 个 中 间 
结 点 。 


第 25 章 ， 所 有 结 点 对 的 最 短路 径 问题 。 405 


如 果 结 点 不 是 路 径 p 上 的 中 间 结 点 ， 则 路 径 p 上 的 所 有 中 间 结 点 都 属于 集合 {1， 
2，…，A& 一 1} 。 因 此 ， 从 结 点 ;到 结 点 7) 的 中 间 结 点 取 自 集合 (1，2，…，& 一 1) 的 一 条 最 
短路 径 也 是 从 结 点 i 到 结 点 j 的 中 间 结 点 取 自 集合 {1，2，…， 台 的 一 条 最 短路 径 。 
如 果 结 点 & 是 路 径 训 上 的 中 间 结 点 ， 则 将 路 径 户 分 解 为 ; 心 & 心 )， 如 图 25-3 所 示 。 根 
据 引 理 24.1，pi 是 从 结 点 i 到 结 点 & 的 中 间 结 点 全 部 取 自 集合 {1，2，…，k} 的 一 条 最 短 
路 径 。 事 实 上 ， 我 们 可 以 得 出 更 强 的 结论 。 因 为 结 点 不 是 路 径 p1 上 的 中 间 结 点 ， 路 径 
b 上 的 所 有 中 间 结 点 都 属于 集合 {1，2，…，& 一 1}。 因 此 ，p' 是 从 结 点 BARE 的 中 
间 结 点 全 部 取 自 集合 {1，2，…，k 一 1) 的 一 条 最 短路 径 。 类 似 地 ，ps 是 从 结 点 & 到 结 点 
j 的 中 间 结 点 全 部 取 自 集合 (1，2，…，& 一 1} 的 一 条 最 短路 径 。 
11, 2, +, k-l} 中 的 所 有 中 间 结 点 11, 2, 00, k-l} 中 的 所 有 中 间 结 点 
En 





11，2,…, ki 中 的 所 有 中 间 结 点 


图 25-3 ”路径 pp 是 从 结 点 i 到 结 点 j 的 一 条 最 短路 径 ， 结 点 & 是 路 径 p 上 编号 最 大 
的 中 间 结 点 。 路 径 pi 是 路 径 pp 上 从 结 点 i 到 结 点 之 间 的 一 段 ， 其 所 有 
中 间 结 点 取 自 集合 (1，2，…，& 一 1)。 从 结 点 & 到 结 点 7 的 路 径 ps 也 遵 
守 同 样 的 规则 


所 有 结 点 对 最 短路 径 问题 的 一 个 递归 解 
基于 上 面 的 观察 ， 我 们 可 以 定义 一 个 不 同 于 25. 1 节 所 描述 的 最 短路 径 估 计 的 递归 公式 。 设 
dP 为 从 结 点 i 到 结 点 7 的 所 有 中 间 结 点 全 部 取 自 集合 {1，2，…， 上} 的 一 条 最 短路 径 的 权重 。 当 
k=0 时 ， 从 结 点 i 到 结 点 7 的 一 条 不 包括 编号 大 于 0 的 中 间 结 点 的 路 径 将 没有 任何 中 间 结 点 。 这 
样 的 路 径 最 多 只 有 一 条 边 ， 因 此 ，d” 二 w; 。 根 据 上 面 的 讨论 ， 递 归 定 义 d 史 如 下 : 
Ee S Feas (25:5) 
? mintd?®? dg ™ +d") Akl i 
因为 对 于 任何 路 径 来 说 ， 所 有 的 中 间 结 点 都 属于 集合 {1，2，…，n}， 和 矩阵 D” = CaP) RE 
是 我 们 的 最 后 答案 : 对 于 所 有 的 i, jEV, dP 二 6(i, j). 
自 底 向 上 计算 最 短路 径 权重 
根据 递归 公式 (25. 5)， 我 们 可 以 使 用 下 面 的 自 底 向 上 的 算法 以 递增 次 序 来 计算 dP 的 值 。 该 
算法 的 输入 为 一 个 nXn WHEW, 该 W 由 式 (25.1) 所 定义 。 下 面 的 算法 返回 的 是 最 短路 径 权重 
HE D”, 


FLOYD-WARSHALL(W) 
1 n=W. rows 

2 D® =W 

3 fork=l ton 

4 letD® = (d? )be a new nXn matrix 
5 for i=1 ton 

6 for j=1 ton 

7 dP =min(df? dv? +d¥ D) 
8 


return D® 


图 25-4 描述 的 是 在 图 25-1 上 运行 Floyd-Warshall 算法 所 计算 出 的 矩阵 D® 。 
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25-4 在 图 25-1 上 运行 Floyd-Warshall 算法 所 计算 出 的 矩阵 序列 DS 和 ITw 


Floyd-Warshall 算法 的 运行 时 间 由 算法 第 3 一 7 行 的 3 BREW for 循环 所 决定 。 因 为 算法 第 
7 行 的 每 次 执行 时 间 为 0(1)， 因 此 该 算法 的 运行 时 间 为 O). A 25. 1 节 中 所 描述 的 最 终 算法 
一 样 ， 该 代码 也 非常 紧凑 ， 没 有 使 用 精巧 的 数据 结构 ， 隐 藏 在 9 表述 后 面 的 常数 比较 小 。 因 此 ， 
即使 对 于 输入 规模 为 中 等 的 图 ，Floyd-Warshall 算法 的 效率 也 相当 好 。 
构建 一 条 最 短路 径 
在 Floyd-Warshall 算法 中 ， 可 以 有 多 种 不 同 的 方法 来 构建 最 短路 径 。 一 种 办 法 是 先 计算 最 短 
路 径 权 重 和 矩阵 D， 然 后 从 咯 和 矩阵 来 构造 前 驱 和 矩阵 TL, AJ 25. 1-6 将 要 求 读者 来 实现 该 方法 ， 并 
将 算法 的 运行 时 间 限 制 在 O(2 ) 内 。 一 旦 给 定 了 前 驱 和 矩阵 I, PRINT-ALL-PAIRS-SHORTEST- 
PATH 过 程 将 打印 出 给 定 最 短路 径 上 的 所 有 结 点 。 
另外 ,我们 可 以 在 计算 矩阵 D® 的 同时 计算 前 驱 和 矩阵 OU。 具体 来 说 ,我 们 将 计算 一 个 和 矩阵 序 
A D”, DP, =, IP, XE ISIP HEEN x 名 为 从 结 点 i 到 结 点 j 的 一 条 所 有 中 间 结 点 都 取 
自 集 合 (1L，2，…，R&} 的 最 短路 径 上 j 的 前 驱 结 点 。 
我 们 可 以 给 出 驳 的 一 个 递归 公式 。 当 ==0 时 ， 从 i 到 j 的 一 条 最 短路 径 没有 中 间 结 点 ， 因 此 ， 
a _. NIL i=j} wj =o 
1 i Hijina (25:6) 
对 于 k>, WRB iv kj, RE kAj, WIRA A ; 的 前 驱 与 我 们 选择 的 从 结 点 
k 到 结 点 7 的 一 条 中 间 结 点 全 部 取 自 集合 {1，2，…，k 一 1)} 的 最 短路 径 上 的 前 驱 是 一 样 的 。 否 
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则 ， 所 选择 的 结 点 j 的 前 驱 与 选择 的 从 结 点 i 到 结 点 7 的 一 条 中 间 结 点 全 部 取 自 集合 (1，2，…， 
& 一 1) 的 最 短路 径 上 的 前 驱 是 一 样 的 。 也 就 是 说 ， 对 于 ko, 
ra nD # dt” < dt” age 
Deh ae nt? qe > dé” + dg» 
我 们 把 DA 和 矩阵 的 计算 纳入 到 Floyd-Warshall 过 程 里 的 工作 留 作 练习 (练习 25. 2-3). Al 25-4 描述 
的 是 进行 此 种 合并 后 的 算法 在 图 25-1 上 运行 时 所 生成 的 IO 矩阵 序列 。 该 练习 题 同时 还 要 求 读 
者 证 明 前 驱 子 图 G,; 是 一 棵 根 结 点 为 i 的 最 短路 径 树 。 练 习 25. 2-7 则 要 求 读者 设计 一 种 不 同 的 算 
法 来 构建 最 短路 径 。 
有 向 图 的 传递 闭 包 
给 定 有 向 图 C 一 (V， 画 ， 结 点 集合 为 V 王 {1，2，…， 妇 ， 我 们 希望 判断 对 于 所 有 的 结 点 对 ;和 
j， 图 G 是 否 包 含 一 条 从 结 点 i 到 结 点 j 的 路 径 。 我 们 定义 图 G 的 传递 闭 包 为 图 G =V, E), HH 
E ={G, j): 如 果 图 G 中 包含 一 条 从 结 点 i 到 结 点 j 的 路 径 } 。 
一 种 时 间 复 杂 度 为 (ni ) 的 计算 图 G 的 传递 闭 包 的 办 法 是 给 EE 中 的 每 条 边 赋予 权重 1， 然 后 
运行 Floyd-Warshall 算法 。 如 果 存 在 一 条 从 结 点 i 到 结 点 ;7 的 路 径 ， 则 有 di; 二 n; Bill, dj =, 
还 有 另 一 种 类 似 的 办 法 ， 其 时 间 复 杂 度 也 是 @(n* )， 但 在 实际 场景 中 能 够 节省 时 间 和 空间 。 
该 办 法 以 逻辑 或 操作 (V ) 和 逻辑 与 操作 (人 ) 来 替换 Floyd-Warshall 算法 中 的 算术 操作 min 和 十 。 
XF i, 7，A 王 1，2，…，7， 我 们 定义 : 如 果 图 G 中 存在 一 条 从 结 点 ;到 结 点 7 的 所 有 中 间 结 点 都 
PARA, 2, +, RRB, WP Al; 否则， 元 为 0。 我们 构建 传递 闭 包 G* 二 (V，E* ) 的 方 
法 为 : HUG DEFRA E SHAH DAH PAROS. 5) 相 似 的 地 递归 定义 如 下 : 
0 若 i 关 7 AG) EE 
1 #i=jRGj) EE 


(25.7) 


(09) 
ti a 





对 于 eel, 
tP = 1 y (CD A 1) (25. 8) 
如 Floyd-Warshall 算法 一 样 ， 我 们 以 递增 的 次 序 来 计算 矩阵 T% =). 697 
TRANSITIVE-CLOSURE(G) 
1 n=|G.V| 


2 letT™=(t)be a new nXn matrix 


3 for i=1 ton 


4 for j=1 ton 

5 ifti== j or (EG E 

6 1 =1 

7 else 2° =0 

8 for k=1 ton 

9 letT® = QË )be a new nXn matrix 
10 for i=1 ton 

11 for 7 一 1 ton 

12 P= PVE? Ate?) 
13 return T® 


图 25-5 描述 的 是 在 一 个 样本 图 上 运行 TRANSITIVE-CLOSURE(G) 过 程 所 计算 出 的 矩阵 序 
列 T? 。 如 Floyd-Warshall 算法 一 样 ，TRANSITIVE-CLOSURE(G) 过 程 的 运行 时 间 也 是 O). 
在 某 些 计算 机 上 ， 对 单个 位 值 进 行 的 逻辑 操作 比 对 数据 整数 字 的 算术 操作 要 快 。 而 且 ， 因 为 直接 
的 传递 闭 包 算 法 仅 使 用 布尔 值 ， 而 不 是 整数 值 ， 其 空间 需求 比 Floyd-Warshall 算法 的 空间 需求 要 
小 一 个 数量 级 ， 这 个 数量 级 就 是 计算 机 存储 里 的 一 个 字 的 规模 。 
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Æ 25-5 一 个 有 向 图 和 由 TRANSITIVE-CLOSURE(G) 过 程 所 计算 出 的 矩阵 T 


在 图 25-2 所 示 的 带 权 重 的 有 向 图 上 运行 Floyd-Warshall 算法 ， 给 出 外 层 循环 的 每 一 次 
迭代 所 生成 的 矩阵 D® 。 
说 明 如 何 使 用 25. 1 节 的 技术 来 计算 传递 闭 包 。 
请 修改 Floyd-Warshall 算法 ， 以 便 根据 式 (25. 6) 和 (25. 7) 计 算出 矩阵 I 。 再 请 严格 证 
H: 对 于 所 有 的 结 点 iEV， 前 驱 子 图 G,; 是 一 棵 根 结 点 为 i 的 最 短路 径 树 。( 提 示 : 为 
了 证 明 G,,; 是 无 环 的 ， 可 以 首先 证 明 根 据 e EL, P = ARR d SdP +w,. R 
后 ， 再 采用 引 理 24. 16 的 证 明 。) 
如 前 所 述 ，Floyd-Warshall 算法 的 空间 需求 为 9(2 ) ， 因 为 要 计算 dP, Hpi, j, k= 
1，2，…，7?。 请 证 明 下 面 所 列 出 的 去 掉 所 有 上 标的 算法 是 正确 的 ， 从 而 将 Floyd 
Warshall 算法 的 空间 需求 降低 到 O). 

FLOYD-WARSHALL'(W) 

1 n=W. rows 

2 D=W 

3 for k=1 ton 

4 for i=1 ton 

5 for 7 一 1 ton 

6 ds =min(d; ,dx +d;y) 

7 return D 
假定 我 们 修改 式 (25. 7) 对 等 式 的 处 理 办 法 如 下 : 

ne ne? a ge <da? + de 
iy nt? # ae > dY” +da¢» 

Teg TL AP wT AE TA ee SCTE AS? 
我 们 怎样 才能 使 用 Floyd-Warshall 算法 的 输出 来 检测 权重 为 负 值 的 环 路 ? 
在 Floyd-Warshall 算法 中 构建 最 短路 径 的 另 一 种 办 法 是 使 用 捧 ， 其 中 i, j, k51, 2, e, 
n, $P EMAAR i 到 结 点 ; 的 一 条 中 间 所 有 结 点 都 取 自 集合 {1 ，2，…，k} 的 最 短路 径 上 编号 
最 大 的 中 间 结 点 。 请 给 出 好 的 一 个 递归 公式 ， 并 修改 Floyd-Warshall 过 程 来 计算 8? 的 值 ， 
并 重 写 PRINT-ALL-PAIRS-SHORTEST-PATH 过 程 ， 使 其 以 矩阵 O= ($2?) 作为 输入 。 和 矩阵 
下 与 15. 2 节 所 讨论 的 链 式 矩 阵 乘法 中 的 表格 存在 何 种 相似 点 ? 
给 出 一 个 OC(VE) 时 间 复 杂 度 的 算法 来 计算 有 向 图 G 二 (V，E) 的 传递 闭 包 。 
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25.2-9 假定 我 们 可 以 在 f(1V|，|E|) 的 时 间 内 计算 出 一 个 有 向 无 环 图 的 传递 闭 包 ， 其 中 了 是 
一 个 自 变量 为 |V| 和 |E| 的 单调 递增 函数 。 证 明 : 计算 一 个 通用 的 有 向 图 G 二 (V，E) 的 
传递 闭 包 G* = 二 (V，E* ) 的 时 间 复 杂 度 为 fA(1V|，|E|) 十 OC(V 十 E* )。 


25.3 用 于 稀疏 图 的 Johnson 算法 
Johnson 算法 可 以 在 OCV? lgV 二 V 巨 ) 的 时 间 内 找到 所 有 结 点 对 之 间 的 最 短路 径 。 对 于 稀 玻 图 
K, Johnson 算法 的 渐 近 表现 要 优 于 重复 平方 法 和 Floyd-Warshall 算法 。Johnson 算法 要 么 返回 
一 个 包含 所 有 结 点 对 的 最 短路 径 权 重 的 矩阵 ， 要 么 报告 输入 图 包含 一 个 权重 为 负 值 的 环 路 。 
Johnson 算法 在 运行 中 需要 使 用 Dijkstra 算法 和 Bellman-Ford 算法 作为 自己 的 子 程序 。 
Johnson 算法 使 用 的 技术 称 为 重新 赋予 权重 。 该 技术 的 工作 原理 如 下 : 如 果 图 G=(V, Ep 
所 有 的 边 权 重 也 皆 为 非 负 值 ， 我 们 可 以 通过 对 每 个 结 点 运行 一 次 Dijkstra 算法 来 找到 所 有 结 点 对 
之 间 的 最 短路 径 ; 如果 使 用 斐 波 那 契 堆 最 小 优先 队列 ， 该 算法 的 运行 时 间 为 OCV? lgV 十 VE)。 如 
RE G 包含 权重 为 负 值 的 边 ， 但 没有 权重 为 负 值 的 环 路 ， 那 么 只 要 计算 出 一 组 新 的 非 负 权重 值 ， 
然后 使 用 同样 的 方法 即 可 。 新 赋予 的 权重 多 必须 满足 下 面 两 个 重要 性 质 : 
1. 对 于 所 有 结 点 对 uw，vEV， 一 条 路 径 p 是 在 使 用 权重 函数 ww 时 从 结 点 到 结 点 v 的 一 条 
RAZ, HHNH p 是 在 使 用 权重 函数 多 时 从 到 wv 的 一 条 最 短路 径 。 
2. 对 于 所 有 的 边 (u，v) ， 新 权重 w(u，wv) 为 非 负 值 。 
正如 我 们 将 要 看 到 的 ， 我 们 可 以 对 图 G 进行 预 处 理 ， 并 在 OVE HMA AHS Hw. 
重新 赋予 权重 来 维持 最 短路 径 
下 面 的 引 理 描述 的 是 我 们 可 以 很 容易 地 对 边 的 权重 进行 重新 赋值 来 满足 上 面 的 两 个 条 件 。 我 们 使 
用 6 表示 从 权重 函数 ww 所 导出 的 最 短路 径 权重 ， 而 用 6 表示 从 权重 函数 如 所 导出 的 最 短路 径 权 重 。 
引 理 25. 1( 重 新 赋予 权重 并 不 改变 最 短路 径 ) ”给 定 带 权重 的 有 向 图 G 一 (V，F)， 其 权重 函数 
Aw: E>R, Kh: VOR 为 任意 函数 ， 该 函数 将 结 点 映射 到 实数 上 。 对 于 每 条 边 (u， WEE, EX 
wlu,v) = wlu,v) thu) — hlv) (25. 9) 
BPE, is > UIAA S v MARY 的 任意 一 条 路 径 ， 那 么 p 是 在 使 用 权重 函数 ww 时 
从 结 点 vo BH u M-ERBBE, SORRY PREPARE RAWA E, v BARU 的 一 
条 最 短路 径 ， 即 wp) =s, uv SARSwWD=My, yu). MH, H GERAK A% wi 
不 包含 权重 为 负 值 的 环 路 ， 当 且 仅 当 旋 在 使 用 权重 函数 友 也 不 包括 权重 为 负 值 的 环 路 。 
证 明 首先 来 证 明 
wp) = wl p) +h(y) — hlu) (25. 10) 
我 们 有 : 
WU(p)= >) We sv) 


k 
= >) Golv,.,,) thu) — hw)) 
i=] 


k 
= DS) wl sv) HA) — hm) (因为 裂 项 相 消 和 ) 


= wp) hlu) — hlu) 
因此 ， 对 于 结 点 w 到 结 点 u KEEK pe BTA ap) =W Hh) hlu). AB Aa) A ACY) 
不 依赖 于 任何 具体 的 路 径 ， 如 果 从 结 点 w% 到 结 点 ARETE EA w RE 
短 ， 则 其 在 使 用 权重 函数 w MAAR. Alt, w=, u) 4AM4WD =i, w) 
最 后 ， 我 们 证 明 图 G 在 使 用 权重 沙 数 w 时 包含 一 个 权重 为 负 值 的 环 路 当 且 仅 当 在 使 用 权 
重 函 数 包 也 包含 一 个 权重 为 负 值 的 环 路 。 考 虑 任意 环 路 c=(H, us, w), HP w= u. RH 
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R25.10), RNA Wo) 二 w《O) 十 h(w) 一 hw) 二 wlc)。 因 此 ， 环 路 c 在 使 用 权重 函数 w 时 为 负 
值 当 且 仅 当 其 在 使 用 权重 函数 时 也 为 负 值 。 图 

通过 重新 赋值 来 生成 非 负 权重 

我 们 的 下 一 个 目标 是 确保 第 二 个 属性 保持 成 立 ， 即 对 于 所 有 的 边 (u，v) CE, wu, v) AE 
负 值 。 给 定 带 权重 的 有 向 图 G 二 (V，E)， 其 权重 函数 为 w: E>R。 我 们 制作 一 幅 新 图 G' 二 (V'， 
E'), 这 里 V' 二 VU {s}，s 是 一 个 新 结 点 ，s FV，E' 二 EU{(s，v): vEV)。 我 们 对 权重 函数 w 
进行 扩展 ， 使 得 对 于 所 有 的 结 点 vEV，w(s，) 二 0。 注 意 ， 因 为 结 点 ;没有 进入 的 边 ,， 除了 以 s 
为 源 结 点 的 最 短路 径 外 ， 图 G' 中 没有 其 他 包含 结 点 s 的 最 短路 径 。 而 且 ， 图 G 不 包含 权重 为 负 
值 的 环 路 当 且 仅 当 图 G 不 包含 权重 为 负 值 的 环 路 。 图 25-6(a) 描 述 的 是 对 应 图 25-1 图 G 的 图 G'。 














4 
(g) 


图 25-6 Johnson 所 有 结 点 对 最 短路 径 算法 在 图 25-1 上 的 运行 过 程 。 结 点 的 编号 位 于 结 点 之 外 。(a) 使 
用 原始 权重 函数 w 的 图 G'。 新 的 结 点 s 为 黑色 。 在 每 个 结 点 v 里 面 标记 的 是 h(v) 二 6(s，wvw) 
的 值 。(b) 在 对 每 条 边 (wu，wv) 重 新 赋予 权重 后 的 图 ， 重 新 赋值 的 函数 为 妈 (w，v) 二 wlu，wv) 十 
h(w) 一 h(v)。(c) 一 (g) 使 用 权重 函数 多 在 G 的 每 个 结 点 上 运行 Dijkstra 算法 的 结果 。 在 每 一 个 
部 分 中 ， 源 结 点 uw 是 黑色 ， 加 了 阴影 的 边 是 由 算法 计算 出 来 的 属于 最 短路 径 树 里 面 的 边 。 在 
每 个 结 点 v BCH, vA Ou, vA, PEARS. du =u, v) WA 
与 6(u， 十 h(v) 一 h(w) 的 值 相等 
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现在 假定 图 G 和 图 G ' 都 不 包含 权重 为 负 值 的 环 路 。 让 我 们 定义 ， 对 于 所 有 的 结 点 vEV ， 
h(v) 二 6(s，v)。 根 据 三 角 不 等 式 ( 引 理 24.10)， 对 于 所 有 的 边 (u，v) EE'， 有 hhCv) 寺 h(w) 十 
wlu，v)。 因 此 ， 如 果 我 们 根据 式 (25. 9) 来 定义 新 的 权重 包 ， 则 有 也 (zx，mz) 二 wu, v) thu)— 
h(v) 宇 0， 至 此 我 们 满足 了 第 二 条 性 质 。 图 25-6(b) 描 述 的 是 对 图 25-6(a) 的 图 进行 权重 重新 赋值 
后 的 图 G'。 
计算 所 有 结 点 对 之 间 的 最 短路 径 
Johnson 算法 在 执行 过 程 中 需要 使 用 Bellman-Ford 算法 ( 见 24. 1 节 ) 和 Dijkstra 算法 ( 见 24. 3 
节 ) 作 为 子 程序 来 计算 所 有 结 点 对 之 间 的 最 短路 径 。 该 算法 假定 所 有 的 边 都 保存 在 邻接 链表 里 ， 
其 返回 的 则 是 一 个 |Y| X |V| 的 矩阵 DD 二 d; ， 其 中 di 二 6(i，7)， 或 者 报告 输入 图 包含 一 个 权重 
为 负 值 的 环 路 。 对 于 所 有 结 点 对 最 短路 径 算法 来 说 ， 我 们 通常 假定 结 点 的 编号 为 从 1 一 |V| 。 
JOHNSON(G, w) 
1 compute G’,where G’. V=G. VU {s}, 
G'. E=G. EU {(s,v) :v€G. V} ,and 
w(s,v)=0 for all veG.V 
2 if BELLMAN-FORD(G' ,w,s)==FALSE 


3 print“the input graph contains a negative-weight cycle” 
4 else for each vertex vEG'.V 
5 set h(v)to the value of ls, v) 


computed by the Bellman-Ford algorithm 


6 for each edge(u,v) ECG’. E 
7 w(u,v)=wu,v) thu) —h(v) 
8 let D=(d,,,) be a new nXn matrix 
9 for each vertex u€G. V 
10 run DIIKSTRA(G,w,u)to compute §(u,v) for allv€ G. V 
11 for each vertex vEG.V 
12 din =5(usv) +h(v) —h(u) 
13 return D 


上 述 代码 所 执行 就 是 我 们 前 面 讨论 的 操作 。 算 法 第 1 行 生 成 图 G',， 第 2 行 在 图 G' 上 运行 
Bellman-Ford 算法 ， 使 用 权重 函数 w 和 源 结 点 s。 如 果 图 G'( 也 因此 图 G) 包 含 一 条 权重 为 负 值 的 
环 路 ， 算 法 的 第 3 行将 报告 这 个 问题 。 算 法 第 4 一 12 行 假定 图 G' 不 包含 权重 为 负 值 的 环 路 。 第 
4 一 5 行将 h(v) 的 值 设置 为 由 Bellman-Ford 算法 所 计算 出 来 的 最 短路 径 权 重 6(s，v)。 算 法 的 第 
6 一 7 行 计算 新 的 权重 ww。 对 于 每 一 对 结 点 w，vEV， 算 法 的 第 9 一 12 行 的 for 循环 通过 调用 
Dijkstra 算法 来 计算 最 短路 径 权 重 6(u，wv)。 算 法 第 12 行将 根据 式 (25. 10) 所 计算 出 来 的 最 短路 径 
权重 6(u，wv) 保 存在 矩阵 元 素 di, 里 。 最 后 ,算法 的 第 13 行 返回 构造 完毕 的 矩阵 D., E 25-6 描述 
的 是 Johnson 算法 的 执行 过 程 。 

如 果 使 用 斐 波 那 契 堆 来 实现 Dijkstra 算法 里 面 的 最 小 优先 队列 ， 则 Johnson 算法 的 运行 时 间 
XH OV’ lgV 十 VE)。 使 用 更 简单 的 二 又 最 小 堆 实 现 则 运行 时 间 为 OCVE lgV) 。 在 稀 朴 图 的 情况 
下 ， 该 时 间 仍 然 比 Floyd-Warshall 算法 的 时 间 表现 要 好 。 


练习 

25.3-1 请 在 图 25-2 上 使 用 Johnson 算法 来 找到 所 有 结 点 对 之 间 的 最 短路 径 。 给 出 算法 计算 出 的 
h MaE. 

25.3-2 在 Johnson 算 法 里 ， 在 集合 V 中 加 入 新 结 点 s 产生 V' 的 目的 是 什么 ? 

25.3-3 ”假定 对 于 所 有 的 边 (w，v) EE， 我 们 有 wu, V20. HRERS zw 和 az 之 间 是 什么 关系 ? 
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25. 3-4 


25. 3-5 


25. 3-6 


第 六 部 分 图 算 法 


Greenstreet 教授 声称 ， 他 有 一 种 比 Johnson 算法 中 所 使 用 的 更 简单 的 办 法 来 对 边 的 权重 
进行 重新 赋值 。 设 w = min (wau, v)}, REW KARAU, VEE, LWu, v= 
wu, v)—w* 即 可 。 请 问 这 种 重新 赋值 有 什么 错误 ? 

假定 在 一 个 权重 函数 为 w 的 有 向 图 G 上 运行 Johnson 算法 。 证 明 : 如 果 图 G 包含 一 条 
权重 为 0 的 环 路 c， 那 么 对 于 环 路 c LW BAW (Cu, v, wu, v)=0. 

Michener 教授 声称 ， 没 有 必要 在 JOHNSON 算法 的 第 1 行 创建 一 个 新 的 源 结 点 。 他 主 
张 可 以 使 用 G' 二 G， 并 设 ;为 任意 结 点 。 请 给 出 一 个 带 权重 的 有 向 图 例子 ， 使 得 当 将 这 
位 教授 的 想法 用 到 JOHNSON 算法 中 将 导致 错误 的 结果 。 然 后 ， 证 明 : 如 果 图 C 是 强 
连通 的 (每 个 结 点 都 可 以 从 其 他 每 个 结 点 到 达 )， 那 么 使 用 教授 的 修改 意见 后 的 
JOHNSON 算法 将 返回 正确 结果 。 


思考 题 


25-1 





25-2 


(动态 图 的 传递 闭 包 ) ”假定 我 们 希望 在 将 边 插 入 到 集合 EE 中 时 维持 有 向 图 G 二 (V，E) 的 
传递 闭 包 ， 即 在 插入 每 条 边 后 ， 我 们 希望 对 到 目前 为 止 已 插入 边 的 传递 闭 包 进行 更 新 。 假 
定 图 G 开始 时 不 包含 任何 边 ， 并 且 传 递 闭 包 用 布尔 矩阵 来 表示 。 

说 明 在 加 入 一 条 新 边 到 图 G 时 ， 如 何在 OVO ) 时 间 内 更 新 图 G=(V, E) 的 传递 闭 

CO 

给 出 一 个 图 G 和 一 条 边 e， 使 得 在 将 边 e 插 入 到 图 G 后 ， 更 新 传递 闭 包 的 时 间 复 杂 性 为 

QV )， 而 不 管 使 用 的 是 何 种 算法 。 

. 描述 一 个 有 效 的 算法 ， 使 得 在 将 边 加 入 到 图 G 中 时 更 新 传递 闭 包 。 对 于 任意 7 次 插入 
的 序列 ， 算 法 运行 的 总 时 间 应 该 是 2 二 OCV*)， 其 中 是 插入 第 i 条 边 时 更 新 传递 闭 
包 所 用 的 时 间 。 请 证 明 你 的 算法 确实 达到 了 这 个 时 间 效 率 。 

(e 稠密 图 的 最 短路 径 ) 对 于 图 G 二 (V，E) 来 说 ， 如 果 |E| 二 BC(V'**)， 则 图 G 为 s AF 

图 ， 其中。 为 某 个 常数 ， 且 0<s 委 1。 如 果 在 e 稠密 图 的 最 短路 径 算 法 中 使 用 & 又 最 小 堆 

(请 参阅 本 书 的 问题 6-2) ， 则 能 使 算法 的 运行 时 间 相 当 于 基于 斐 波 那 契 堆 的 算法 的 运行 时 

间 ， 同 时 无 需 引 入 后 者 所 使 用 的 复杂 数据 结构 。 

INSERT、EXTRACT-MIN、DECREASE-KEY 的 渐 近 运行 时 间 是 多 少 ? 请 以 d 和 元 素 

个 数 n 为 参数 予以 表达 。 如 果 选 择 4 二 Br)， 其 中 0 过 a 二 1， 这 些 运 行 时 间 又 是 多 少 ? 

请 把 这 些 时 间 与 翡 波 那 契 堆 的 摊 还 代价 进行 比较 。 

说 明 如 何在 OGE) 时 间 内 ， 在 一 个 s 稠 密 的 有 向 图 中 计算 出 单 源 最 短路 径 ， 这 里 假定 该 

图 不 包含 权重 为 负 值 的 边 。( 提 示 : 选 一 个 以 s 为 自 变 量 的 函数 作为 4 。) 

. 说 明 如 何在 OCVE) 时 间 内 ， 在 一 个 s 稠 密 的 有 向 图 中 计算 出 所 有 结 点 对 之 间 的 最 短路 

径 ， 这 里 假定 该 图 不 包含 权重 为 负 值 的 边 。 

说 明 如 何在 OCVE) 时 间 内 ， 在 一 个 e 稠密 的 有 向 图 中 计算 出 所 有 结 点 对 之 间 的 最 短路 

径 ， 这 里 假定 图 中 可 以 包含 权重 为 负 值 的 边 ， 但 不 包含 权重 为 负 值 的 环 路 。 
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本 章 注 记 

Lawler[224] 详 细 讨 论 了 所 有 结 点 对 之 间 的 最 短路 径 问 题 ， 但 没有 分 析 稀 玖 图 的 解 。 他 将 矩 
阵 乘法 算法 归功 于 多 人 的 努力 。Floyd-Warshall 算法 则 来 自 于 Floyd[105], 其 原理 乃 基 于 
Warshall[ 349 所 提出 的 一 个 定理 ， 该 定理 描述 了 如 何 计算 布尔 矩阵 的 传递 闭 包 。Johnson 算法 则 
来 自 于 文献 [192] 。 

一 些 研 究 人 员 对 基于 矩阵 乘法 的 最 短路 径 算法 进行 了 各 种 改进 。Fredman[111] 提 出 了 一 种 
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不 同 的 所 有 结 点 对 之 间 的 最 短路 径 算法 ， 该 算法 对 边 的 权重 和 进行 OV UR, 算法 总 运行 
EAX OCV? (lglgV/lgV)”)， 这 比 Floyd-Warshall 算法 的 时 间 复 杂 性 稍微 好 一 点 。Han[159j 则 
将 该 算法 的 时 间 复 杂 性 降低 到 OV (lglgV/lgV)”“*)。 另 一 类 的 研究 则 表明 ， 我 们 可 以 将 快速 矩 
阵 乘法 (请 参阅 第 4 章 注 记 ) 应 用 到 所 有 结 点 对 最 短路 径 问 题 上 。 设 OA nX n 维和 矩阵 快速 乘 
法 算法 的 运行 时 间 ; 当前 的 w<2. 376[78]。Galil 和 MargalitL123，124] 和 Seidel[308] 设 计 出 了 
时 间 复 杂 度 为 (V“zp(V) ) 的 针对 无 向 无 权重 图 的 所 有 结 点 对 最 短路 径 问 题解 决 方案 ， 其 中 p(n) 表 
示 一 个 以 盖 的 多 项 式 对 数 为 界 的 特殊 函数 。 在 稠密 图 中 ， 这 些 算 法 要 比 执行 | 六 | 次 广度 优先 搜索 
的 时 间 复 杂 度 OC(VE) 要 快 。 一 些 研究 人 员 将 这 些 结果 推广 到 了 带 权重 的 无 向 图 中 ， 条 件 是 这 些 
权重 值 全 部 为 整数 ， 且 在 范围 {1，2,，…，W} 之 内 。 这 些 算 法 中 渐 近 最 快 的 是 由 Shoshan 和 
Zwick[L316] 所 提出 的 ， 其 运行 时 间 为 OC(WV*p (VW))。 

Karger, Koller 和 Phillips[196 ] 和 McGeoch[ 247 独立 地 给 出 了 一 个 依赖 于 E* 的 时 间 界 ， 这 
里 五 " 为 边 集合 玉 中 属于 某 条 最 短路 径 的 边 的 集合 。 给 定 一 个 所 有 边 的 权重 为 非 负 值 的 图 ， 他 们 
的 算法 的 运行 的 时 间 为 OCVE' +V lgV)， 当 |E* | ==o(E) 时 ,该 时 间 复 杂 度 比 Dijkstra 算法 好 
了 |V| 倍 。 

Baswana, Hariharan 和 SenL33] 对 维持 所 有 结 点 对 最 短路 径 和 传递 闭 包 信息 的 递减 算法 进行 
了 讨论 。 递 减 算 法 允许 将 边 删除 操作 和 查询 操作 穿插 进行 ， 与 之 相 比 较 的 话 ， 思 考题 25-1 所 要 
求 的 是 一 个 递增 算法 ， 因 为 该 题 要 求 对 边 的 操作 是 插入 操作 。Baswana、Hariharan 和 Sen 所 提 
出 的 算法 是 一 种 随机 算法 ， 当 一 条 路 径 存 在 时 ， 他 们 的 传递 闭 包 算法 可 能 有 1/n 的 概率 不 能 报 
告 该 路 径 的 存在 ， 这 里 的 c 为 任意 大 于 0 的 正 数 。 查 询 时 间 则 有 很 高 的 概率 为 O(1)。 对 于 传递 
闭 包 ， 每 次 更 新 的 摊 还 代价 为 OV lg“V)。 对 于 所 有 结 点 对 之 间 的 最 短路 径 ， 更 新 时 间 依 赖 
于 查询 操作 。 对 于 仅 给 出 最 短路 径 权 重 的 查询 ， 每 次 更 新 的 摊 还 代价 为 OC(V3/Elg*V)。 如 果 要 
给 出 具体 的 最 短路 径 ， 则 摊 销 下 来 的 更 新 代价 为 min (OCV VigV)，O(CVa/E lg2V7))。 
Demetrescu 和 ItalianoL84] 说 明了 如 何在 既 可 以 插入 也 可 以 删除 边 的 情况 下 处 理 更 新 和 查询 操作 ， 
条 件 是 每 条 给 定 的 边 的 权重 取 值 范围 为 实数 ， 且 有 限定 范围 。 

Aho, Hopcroft 和 UllmanL5] 定 义 了 一 种 称 为 “闭合 半 环 ”的 代数 结构 来 作为 解决 有 向 图 路 径 
问题 的 一 般 框架 。Floyd-Warshall 算法 和 25. 2 节 所 讨论 的 传递 闭 包 算法 都 可 以 看 做 是 基于 闭合 
半 环 的 所 有 结 点 对 最 短路 径 算法 的 具体 实例 。Maggs 和 Plotkin[240] 说 明了 如 何 使 用 闭合 半 环 来 
找 出 最 小 生成 树 。 
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正如 可 以 通过 将 道路 交通 图 模型 化 为 有 向 图 来 找到 从 一 个 城市 到 另 一 个 城市 之 间 的 最 短路 
径 ， 我 们 也 可 以 将 一 个 有 向 图 看 做 是 一 个 “ 流 网 络 ? 并 使 用 它 来 回答 关于 物料 流动 方面 的 问题 。 设 
想 一 种 物料 从 产生 它 的 源 结 点 经 过 一 个 系统 ， 流 向 消耗 该 物料 的 汇 点 这 样 一 个 过 程 。 源 结 点 以 
某 种 稳定 的 速率 生成 物料 ， 汇 点 则 以 同样 的 速率 消耗 物料 。 从 直观 上 看 ， 物 料 在 系统 中 任何 一 个 
点 上 的 “流量 ”就 是 物料 移动 的 速率 。 这 种 流 网 络 可 以 用 来 建 模 很 多 实际 问题 ， 包 括 液 体 在 管道 中 
的 流动 、 装 配 线 上 部 件 的 流动 、 电 网 中 电流 的 流动 和 通信 网 络 中 信息 的 流动 。 

我 们 可 以 把 流 网 络 中 每 条 有 向 边 看 做 是 物料 的 一 个 流通 通道 。 每 条 通道 有 限定 的 容量 ， 是 
物料 流 经 该 通道 时 的 最 大 速率 ， 如 一 条 管道 每 小 时 可 以 流 过 200 加 仓 的 液体 或 一 根 电 线 可 以 经 受 
20 安培 的 电流 。 流 网 络 中 的 结 点 则 是 通道 的 连接 点 。 除 了 源 结 点 和 终结 点 外 ， 物 料 在 其 他 结 点 
上 只 是 流 过 ， 并 不 积累 或 聚集 。 换 名 话说， 物料 进入 一 个 结 点 的 速率 必须 与 其 离开 该 结 点 的 速率 
相等 。 这 个 性 质 称 为 “流量 守恒 ”， 这 里 的 流量 守恒 与 Kirchhoff 电流 定律 等 价 。 

在 最 大 流 问 题 中 ， 我 们 希望 在 不 违反 任何 容量 限制 的 情况 下 ， 计 算出 从 源 结 点 运送 物料 到 
汇 点 的 最 大 速率 。 这 是 与 流 网 络 有 关 的 所 有 问题 中 最 简单 的 问题 之 一 。 我 们 在 本 章 将 会 看 到 ， 这 
个 问题 可 以 由 高 效 的 算法 解决 。 而 且 ， 最 大 流 算法 中 的 一 些 基本 技巧 可 以 用 来 解决 其 他 网 络 
流 问题 。 

本 章 介 绍 两 种 解决 最 大 流 问题 的 一 般 方法 。26. 1 节 给 出 流 网 络 和 流 概念 以 及 最 大 流 问题 
的 形式 化 定义 。26. 2 节 描 述 Ford 和 Fulkerson 提出 的 解决 最 大 流 问题 的 经 典 方法 。26. 3 节 给 
出 该 方法 的 一 种 实际 应 用 : 在 无 向 二 分 图 (二 分 图 ) 中 找 出 最 大 匹配 。26. 4 节 阐 述 重 要 的 “ 推 
送 - 重 贴标签 ”方法 ， 该 方法 是 许多 网 络 流 问 题 的 快速 算法 的 基石 。26. 5 节 则 讨论 推送 - 重 贴 标 
签 方法 的 一 种 具体 实现 一 一 “前 置 重 贴 标签 ”算法 ， 该 算法 的 运行 时 间 为 OC(V?)。 昌 然 该 算法 并 
不 是 已 知 算法 中 最 快 的 ， 但 它 演示 了 渐 近 最 快 算法 中 用 到 的 某 些 技巧 ， 并 且 在 实际 应 用 中 也 是 
非常 有 效 的 。 


26.1 流 网 络 


在 本 节 中 ， 我 们 将 给 出 流 网 络 的 图 论 定义 ， 讨 论 其 性 质 ， 并 精确 地 定义 最 大 流 问 题 。 我 们 同 
时 还 引入 一 些 有 用 的 记号 。 

流 网 络 和 流 

流 网 络 G 二 (V，E) 是 一 个 有 向 图 ， 图 中 每 条 边 (u，wv) eCER—MEANW REE clu, v)>0. 
而 且 ， 如 果 边 集合 玉 包 含 一 条 边 (u，v)， 则 图 中 不 存在 反方 向 的 边 (v，w) 。 (随后 我 们 将 看 到 在 
eS PR i Fa MR Cu, DEE, WAT HBL, EX clu，wv) 二 0， 并 且 在 图 中 不 允许 自 循 
环 。 在 流 网 络 的 所 有 结 点 中 ， 我 们 特别 分 辨 出 两 个 特殊 结 点 : BAAs 和 汇 点 +。 为 方便 起 见 ， 
假定 每 个 结 点 都 在 从 源 结 点 到 汇 点 的 某 条 路 径 上 。 也 就 是 说 ， 对 于 每 个 结 点 vEV， 流 网 络 都 包 
含 一 条 路 径 * 人 人 +。 因此 ， 流 网 络 图 是 连通 的 ， 并 且 由 于 除 源 结 点 外 的 每 个 结 点 都 至 少 有 一 
条 进入 的 边 , 我 们 有 |E| 宇 |V| 一 1。 图 26-1 描述 的 是 一 个 流 网 络 的 例子 。 

我 们 现在 可 以 给 出 流 的 形式 化 定义 。 设 G 二 (V，E) 为 一 个 流 网 络 ， 其 容量 函数 为 c。 设 ;为 
网 络 的 源 结 点 ，t 为 汇 点 。G 中 的 流 是 一 个 实 值 函 数 f: VXV>R, 满足 下 面 的 两 条 性 质 : 
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(a) Cb) 


图 26-1 (a)Lucky 冰球 公司 货运 问题 的 流 网 络 G=(V，E)。 在 该 流 网 络 中 ,温哥华 的 工厂 是 源 结 点 s, 
温 尼 伯 的 仓库 是 汇 点 :。 公 司 在 运送 冰球 时 要 通过 多 个 中 间 城 市 ,但 从 城市 u 到 城市 v 每 天 只 
能 运送 c(x， 了 个 货 箱 。 每 条 边 上 注 明 的 是 该 条 交通 道路 上 的 容量 。(b) 图 G 中 的 一 个 流 f， 这 
里 | f| ==19。 每 条 边 (u，v) 上 所 注 明 的 是 F(x，z/c(x， 四 。 注 意 ， 这 里 的 斜 杠 记号 仅仅 用 来 
分 开 流 和 容量 ， 并 不 代表 除法 操作 


容量 限制 : 对 于 所 有 的 结 点 uw，vEV， 要 求 0<fl(u, w<clu, v). 
流量 守恒 : 对 于 所 有 的 结 点 ueV—{s, t), BOR 


Df@,w = X, ftv) 
veV veEV 


Hu, VEER, MAA 到 结 点 v 之 间 没 有 流 ， 因 此 flu, v)=0. 
我 们 称 非 负 数值 flu, vw) AMER u 到 结 点 wv 的 流 。 一 个 流 的 值 |f | 定义 如 下 : 


IF] = f(D — DIF os) (26. 1) 
VEY vEV 


也 就 是 说 ， 流 f 的 值 是 从 源 结 点 流出 的 总 流量 减 去 流 人 源 结 点 的 总 流量 。( 这 里 ， 符 号 | 。| 表示 
流 的 值 ， 而 不 是 绝对 值 或 者 基数 值 .) 通 常 来 说 ， 一 个 流 网 络 不 会 有 任何 进入 源 结 点 的 边 ， 因 此 ， 
公式 (26. 1) 中 的 求 和 项 27o，3 将 是 0。 我 们 将 其 襄 括 在 该 公式 里 的 原因 是 本 章 后 面 将 要 讨论 
残存 网 络 ， 在 此 种 网 络 中 ， 流 入 源 结 点 的 流量 十 分 重要 。 在 最 大 流 问 题 中 ， 给 定 一 个 流 网 络 G、 
一 个 源 结 点 s、 一 个 汇 点 i:， 我 们 希望 找到 值 最 大 的 一 个 流 。 

在 查看 任何 网 络 流 问 题 的 例子 前 ， 我们 简略 地 对 流 的 定义 和 流 的 两 种 性 质 进行 探讨 。 容 量 
限制 性 质 说 明 ， 从 一 个 结 点 到 男 一 个 结 点 之 间 的 流 必 须 为 非 负 值 且 不 能 超过 给 定 的 容量 限额 。 
流量 守恒 性 质 说 明 ， 流入 一 个 结 点 ( 指 非 源 结 点 和 非 汇 点 ) 的 总 流量 必须 等 于 流出 该 结 点 的 总 流 
量 ， 非 形式 化 地 称 为 “ 流 和 人 等 于 流出 ”。 

流 的 一 个 例子 

用 流 网 络 把 图 26-1(a) 所 示 的 货运 问题 模型 化 。Lucky 冰球 公司 在 温哥华 有 一 家 制造 冰球 的 
工厂 ( 源 结 点 s))， 在 温 尼 伯 有 一 个 存储 产品 的 仓库 ( 汇 点 H). Lucky 冰球 公司 从 另 一 家 公司 租用 
货车 来 将 冰球 从 工厂 运送 到 仓库 。 因 为 货车 按 指定 路 线 ( 边 ) 在 城市 ( 结 点 ) 间 行驶 且 其 容量 有 
限 ，Lucky 冰球 公司 在 图 26-1(a) 所 示 的 每 对 城市 和 wv 之 间 每 天 至 多 运送 clu, v MT mo 
Lucky 冰球 公司 无 权 控制 运输 路 线 和 货车 的 运输 能 力 ， 因 此 无 法 改变 图 26-1(a) 所 示 的 流 网 络 。 
他 们 所 能 做 的 事情 是 ， 判 断 每 天 可 以 运送 的 最 大 货 箱 数 p， 并 按 这 一 数量 进行 生产 ， 因 为 生产 
出 来 的 产品 多 于 其 运输 能 力 没 有 什么 意义 。Lucky 冰球 公司 并 不 关心 一 个 给 定 的 冰球 需要 多 长 
时 间 才 能 从 工厂 运送 到 仓库 ; 他 们 关心 的 只 是 每 天 可 以 有 p 箱 货物 离开 工厂 ， 每 天 可 以 有 p 箱 
货物 到 达 仓 库 。 

由 于 从 一 个 城市 运送 到 另 一 个 城市 的 货 箱 数量 每 天 都 有 容量 限制 ， 因 此 可 以 在 这 个 网 络 中 
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用 流 来 模拟 这 种 运输 “ 流 ”。 此 外 ， 我 们 的 模型 必须 遵守 流量 守恒 性 质 ， 因 为 在 一 种 稳定 的 状态 
下 ， 冰 球 进入 一 个 中 间 城 市 的 速率 必须 等 于 冰球 离开 该 城市 的 速率 。 否 则 ， 货 箱 将 在 中 间 城 市 堆 
积 起 来 。 

使 用 反 平行 边 来 模拟 问题 

假定 从 埃 德 蒙 顿 到 卡尔 加 里 ， 货 运 公司 提供 给 Lucky 冰球 公司 10 个 货 箱 。 很 自然 地 ， 需 
要 将 该 容量 加 入 到 我 们 的 例子 中 ， 从 而 形成 一 个 如 图 26-2(a) 所 示 的 网 络 。 但 是 这 个 网 络 却 有 
一 个 问题 ， 它 违反 了 我 们 原来 的 假设 一 一 如 果 边 (ww，w%) EE, W, u) E, 我们 称 边 s, 
w) 和 边 (v;，w) 为 反 平 行 (antiparallel)。 因 此 ， 如 果 要 使 用 反 平行 边 来 模拟 一 个 流 问 题 ， 必 须 
将 这 种 网 络 转换 为 一 个 等 价 的 但 不 包括 反 平 行 边 的 网 络 。 图 26-2(b) 描 述 的 就 是 这 样 一 个 等 价 
网 络 。 选 择 两 条 反 平行 边 中 的 一 条 ， 在 这 个 具体 例子 中 是 边 (w，w%)， 通 过 加 入 一 个 新 结 点 v 
来 将 其 分 解 为 两 段 ， 并 以 边 (v，v ) 和 (wv ，%) 来 殖 换 边 (w，w)。 同 时 将 两 条 新 设立 的 边 的 容 
量 设置 为 与 原来 的 边 的 容量 相同 。 这 样 得 出 的 网 络 将 满足 我 们 的 限制 条 件 : 如 果 一 条 边 属于 该 
网 络 ， 则 其 反 向 边 不 属于 该 网 络 。 练 习 26. 1-1 将 要 求 读 者 证 明 这 样 转 换 后 的 网 络 与 原来 的 网 
络 等 价 。 





图 26-2 ”将 一 个 包含 反 平 行 边 的 网 络 转换 为 一 个 等 价 的 但 不 包括 反 平 行 边 的 网 络 。(a) 一 个 包含 反 
平行 边 (w，w) 和 (vw;，w ) 的 流 网 络 。(b) 一 个 没有 反 平 行 边 的 等 价 网 络 。 我 们 加 入 一 个 
新 结 点 v' 来 将 其 分 解 为 两 段 ， 以 边 (v ，v') 和 (wv '，w) 来 替换 边 (w，vs)， 并 将 两 条 新 设 
立 的 边 的 容量 设置 为 与 原来 的 边 的 容量 相同 

从 上 面 的 讨论 可 以 看 到 ， 实 际 生活 中 的 流 问 题 可 以 自然 地 表示 为 一 个 带 反 平行 边 的 网 络 。 
但 如 果 不 人 允许 反 平行 边 则 将 更 为 方便 。 幸 运 的 是 ， 我 们 有 一 个 非常 直接 的 办 法 将 一 个 带 有 反 平 
行 边 的 网 络 转换 为 不 带 反 平行 边 的 网 络 。 

具有 多 个 源 结 点 和 多 个 汇 点 的 网 络 

一 个 最 大 流 问题 可 能 有 几 个 源 结 点 和 几 个 汇 点 ， 而 不 仅仅 只 有 一 个 源 结 点 和 汇 点 。 例 如 ， 
Lucky 冰球 公司 可 能 有 m BET {515 S25 s Sm} Al n PVE Lt tee s thd > WE 26-3(a) 所 
示 。 幸 运 的 是 ， 多 个 源 结 点 和 多 个 汇 点 的 最 大 流 问题 并 不 比 普通 的 最 大 流 问 题 更 难 。 

在 具有 多 个 源 结 点 和 多 个 汇 点 的 网 络 中 ， 确 定 最 大 流 的 问题 可 以 归 约 为 一 个 普通 的 最 大 流 
问题 。 图 26-3(b) 描 述 的 是 如 何 将 图 26-3(a) 所 示 的 网 络 转换 为 一 个 只 有 一 个 源 结 点 和 一 个 汇 点 
的 普通 流 网 络 。 转 换 方法 是 加 入 一 个 超级 源 结 点 *， 并 对 于 i=l, 2, +, m MAAR Cs, 
SOMA c(s，s) 二 oo。 我 们 同时 创建 一 个 新 的 超级 汇 点 t HHF i=l, 2, +, n MAB 
Mw, oO, 其 容量 c, 四 二 oo。 从 直观 上 看 ， 图 26-3(a) 所 示 网 络 中 的 任意 流 均 对 应 于 
图 26-3(b) 所 示 网 络 中 的 一 个 流 ， 反 之 亦 然 。 单 源 结 点 ;能够 给 原来 的 多 个 源 结 点 s: 提供 所 需 
要 的 流量 ， 而 单 汇 点 上 则 可 以 消费 原来 所 有 汇 点 去 所 消费 的 流量 。 练 习 26. 1-2 将 要 求 读者 来 形 
式 化 证 明 这 两 个 问题 是 等 价 的 。 
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(a) Cb) 


图 26-3 将 一 个 多 源 结 点 多 汇 点 的 最 大 流 问题 转换 为 单 源 结 点 单 汇 点 的 最 大 流 问 题 。(a) 一 个 有 5 个 源 


练习 
26.1-1 


26. 1-2 


26. 1-3 


26. 1-4 


26. 1-5 
26. 1-6 


结 点 SS= {sis S25 53> Sao s) A3 NATS (t, t, h KANA., b—-TtSRHERA RS 
汇 点 的 流 网 络 。 在 原来 的 图 (a) 中 加 入 了 一 个 超级 源 结 点 *， 并 从 结 点 * 到 每 个 原来 的 源 结 点 之 
间 增 加 一 条 容量 为 无 限 的 有 向 边 。 同 时 加 入 一 个 超级 汇 点 :， 并 从 原来 的 每 个 汇 点 到 it 之 间 增 
加 了 一 条 容量 为 无 限 的 有 向 边 


证 明 : 在 一 个 流 网 络 中 ， 将 一 条 边 分 解 为 两 条 边 所 得 到 的 是 一 个 等 价 的 网 络 。 更 形式 化 
Hi, BEHN GEEH, v), 我们 以 如 下 方式 创建 一 个 新 的 流 网 络 G': 创建 一 
个 新 结 点 x， 用 新 的 边 (u，x) 和 (x，v) 来 替换 原来 的 边 (u，v)， 并 设置 c(u，zx) 三 
c(x, v)=c(u, v), WH: G' 中 的 一 个 最 大 流 与 G 中 的 一 个 最 大 流 具 有 相同 的 值 。 
将 流 的 性 质 和 定义 推广 到 多 个 源 结 点 和 多 个 汇 点 的 流 问题 上 。 证 明 : 在 多 源 结 点 多 汇 点 
流 网 络 中 ， 任 意 流 均 对 应 于 通过 增加 一 个 超级 源 结 点 和 超级 汇 点 所 形成 的 具有 相同 值 的 
一 个 单 源 结 点 单 汇 点 流 中 ， 反 之 亦 然 。 
BERN G=(V, LRT MFRAAAR vEY， 网 络 必 须 包 括 一 条 路 径 人 > 了 人 > 
的 假设 。 设 u 为 这 样 一 个 结 点 : 不 存在 路 径 s~2u~2t。 证 明 : G 中 必然 存在 一 个 最 大 
流 f， 使 得 对 于 所 有 结 点 v€V，fl(u, =f, u)=0, 
设 f 为 网 络 中 的 一 个 流 ， 设 a 为 一 个 实数 ， 则 af 称 为 标量 流 积 ， 该 标量 流 积 是 一 个 从 
VXV 到 R 的 函数 ， 其 定义 如 下 : 

(af) Cu, v) = a* flu,v) 
证 明 : 网 络 中 的 流 形成 一 个 凸 集 。 也 就 是 说 ， 证明: MRAM 为 两 个 流 ， 则 
afi tUd—a) fs 也 是 一 个 流 ， 这 里 Kal. 
将 最 大 流 问 题 表 述 为 一 个 线性 规划 问题 。 
Adam 教授 有 两 个 儿子 ， 可 不 幸 的 是 ， 他 们 互相 讨厌 对 方 。 随 着 时 间 的 推移 ， 问 题 变 得 
如 此 严重 ， 他 们 之 间 不 仅 不 愿意 一 起 走 到 学 校 ， 而 且 每 个 人 都 拒绝 走 另 一 个 人 当天 所 走 
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过 的 街区 。 两 个 孩子 对 于 自己 所 走 的 路 径 与 对 方 所 走 的 路 径 在 街角 交叉 并 不 在 意 。 幸 运 
的 是 ， 教 授 的 房子 和 学 校 都 位 于 街角 上 。 但 除 此 之 外 ， 教 授 不 能 肯定 是 否 可 以 在 满足 上 
述 条 件 的 情况 下 把 两 个 小 孩 送 到 同一 所 学 校 。 教 授 有 一 份 小 镇 的 地 图 ， 试 说 明 如 何 将 这 
个 问题 转换 为 一 个 最 大 流 问题 ， 以 便 决 定 是 否 可 以 将 孩子 送 到 同一 所 学 校 。 

26.1-7 假定 除 边 的 容量 外 ， 流 网 络 还 有 结 点 容量 。 即 对 于 每 个 结 点 v， 有 一 个 极限 值 zw)， 这 
是 可 以 流 经 结 点 v 的 最 大 流量 。 请 说 明 如 何 将 一 个 带 有 结 点 容量 的 流 网 络 G—= CV, E) 
转换 为 一 个 等 价 的 但 没有 结 点 容量 的 流 网 络 G =V, E, 使 得 G' 中 的 最 大 流 与 G 中 
的 最 大 流 的 取 值 一 样 。 图 G 里 有 多 少 个 结 点 和 多 少 条 边 ? 


26.2 Ford-Fulkerson 方法 


本 节 讨论 用 来 解决 最 大 流 问 题 的 Ford-Fulkerson 方法。 之 所 以 称 其 为 方法 ”而 不 是 “算法 ”， 
是 因为 它 包 含 了 几 种 运行 时 间 各 不 相同 的 具体 实现 。Ford-Fulkerson 方法 依赖 于 三 种 重要 思想 ， 
它们 与 许多 的 流 算法 和 问题 有 关 ， 如 残存 网 络 、 增 广 路 径 和 切割 。 这 些 思想 是 最 大 流 最 小 切割 定 
理 ( 定 理 26.6) 的 精髓 ,该 定理 以 流 网 络 的 切割 来 表述 最 大 流 的 值 。 在 本 节 的 末尾 ， 我 们 将 给 出 
Ford-Fulkerson 方法 的 一 种 具体 实现 ， 并 分 析 其 运行 时 间 。 

Ford-Fulkerson 方 法 循环 增加 流 的 值 。 在 开始 的 时 候 ， 对 于 所 有 的 结 点 u,，v EV， 
flu，) 二 0, 给 出 的 初始 流 值 为 0。 在 每 一 次 迭代 中 ， 我 们 将 图 G 的 流 值 进行 增加 ， 方 法 就 是 在 
一 个 关联 的 “残存 网 络 ”G; 中 寻找 一 条 “ 增 广 路 径 >。 一 旦 知道 图 Gj 中 一 条 增 广 路 径 的 边 ， 就 可 以 
很 容易 辨别 出 G 中 的 一 些 具体 的 边 ， 我 们 可 以 对 这 些 边 上 的 流量 进行 修改 ， 从 而 增加 流 的 值 。 
虽然 Ford-Fulkerson 方法 的 每 次 迭代 都 增加 流 的 值 ， 但 是 对 于 图 G 的 一 条 特定 边 来 说 ， 其 流量 可 
能 增加 ， 也 可 能 减少 ; 对 某 些 边 的 流 进行 缩减 可 能 是 必要 的 ， 以 便 让 算法 可 以 将 更 多 的 流 从 源 结 
点 发 送 到 汇 点 。 重 复 对 流 进 行 这 一 过 程 ， 直 到 残存 网 络 中 不 再 存在 增 广 路 径 为 止 。 最 大 流 最 小 切 
制定 理 将 说 明 在 算法 终结 时 ， 该 算法 将 获得 一 个 最 大 流 。 

FORD-FULKERSON-METHOD(G, s,2) 

1 initialize flow f to 0 

2 while there exists an augmenting path p in the residual network G; 

3 augment flow f along p 


4 return f 


为 了 实现 和 分 析 Ford-Fulkerson 方法 ， 需 要 引入 几 个 新 的 概念 。 

残存 网 络 

从 直观 上 看 ， 给 定 流 网 络 G 和 流量 上 ， 残 存 网 络 Gj 由 那些 仍 有 空间 对 流量 进行 调整 的 边 构 
成 。 流 网 络 的 一 条 边 可 以 允许 的 额外 流量 等 于 该 边 的 容量 减 去 该 边 上 的 流量 。 如 果 该 差 值 为 正 ， 
则 将 该 条 边 置 于 图 G; 中 ， 并 将 其 残存 容量 设置 为 cj(u，v) 二 c(u，v) 一 fl(u，v)。 对 于 图 G 中 的 
边 来 说 ， 只 有 能 够 允许 额外 流量 的 边 才 能 加 入 到 图 Gy 中 。 如 果 边 (wu，wv) 的 流量 等 于 其 容量 ， 则 
H clu, v =0, 该 条 边 将 不 属于 图 Cr。 

残存 网 络 Cr 还 可 能 包含 图 C 中 不 存在 的 边 。 算 法 对 流量 进行 操作 的 目标 是 增加 总 流量 ， 为 此 ， 
算法 可 能 对 某 些 特定 边 上 的 流量 进行 缩减 。 为 了 表示 对 一 个 正 流量 flu, DAFA, BATH, u) 
加 入 到 图 G 中 ， 并 将 其 残存 容量 设置 为 c/(v， ww 二 fl(u，v)。 也 就 是 说 ， 一 条 边 所 能 允许 的 反 向 流量 
最 多 将 其 正 向 流量 抵消 。 和 残存 网 络 中 的 这 些 反 向 边 允 许 算法 将 已 经 发 送出 来 的 流量 发 送 回 去 。 而 将 流 
量 从 同一 条 边 发 送 回去 等 同 于 缩减 该 条 边 的 流量 ， 这 种 操作 在 许多 算法 中 都 是 必需 的 。 

更 形式 化 地 ， 假 定 有 一 个 流 网 络 G 二 (V，E)， 其 源 结 点 为 s， 汇 点 为 t。 设 8 为 图 G 中 的 一 
个 流 ， 考 虑 结 点 对 ww，vEV， 定 义 残存 容量 clu, v MF: 
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=< fou) #(v,u) EE (26. 2) 
0 其 他 
ABW, vd CERRO, WEE, UFR MURR, AROS. 2) 中 只 有 一 种 情况 成 立 。 
作为 公式 (26. 2) 的 一 个 例子 ， 如 果 clu, v)=16, 并且 fu, vV=11, WH flu, vd A 
加 的 量 最 大 为 c/(u， 必 二 5， 再 多 就 将 超过 边 (u，wv) 的 容量 限制 。 同 时 ， 人 允许 算法 从 结 点 v 向 结 
点 & 最 多 返回 11 个 单位 的 流量 ， 因 此 , ceo, w=., 
给 定 一 个 流 网 络 G 二 (V， 轧 和 一 个 流 f， 则 由 了 所 诱导 的 图 G KREAN G =V, Ep, HF 
E, = {(uv) E VXV:c u,v) > 0} (26. 3) 
也 就 是 说 ， 正 如 我 们 在 前 面 所 承诺 的 ， 残 存 网 络 的 每 条 边 或 残存 边 ， 必 须 允 许 大 于 0 的 流量 通 
过 。 图 26-4(a) 是 图 26-1(b) 的 流 网 络 G 和 流量 了 的 重新 绘制 ,图 26-4(b) 描 述 的 是 对 应 的 残存 网 
络 Gi E, 中 的 边 要 么 是 EE 中 原 有 的 边 ， 要 么 是 其 反 向 边 ， 因 此 有 
|El <2/El 


c(lu,v)— flus) #lu,v) CE 
cr(usv) = 





Co) 


图 26-4 (a) Al 26-1(b) 中 的 流 网 络 G 和 流 f。(b) 残 存 网 络 G;:， 阴 影 覆 盖 的 边 为 其 增 广 路 径 p 上 加 了 阴 
影 ， 其 残存 容量 为 c/(p) 二 cj (vs，vws) 二 4。 残存 容 量 为 0 的 边 ( 如 (w，ws)) 未 在 图 中 显示 ， 这 
是 本 节 所 遵守 的 一 个 约定 。(c)G 中 使 用 残存 容量 4 沿路 径 p 增加 而 导出 的 流 。 对 于 没有 运送 
流量 的 边 ， 如 (wmw， 也 )， 图 中 只 标 出 了 其 容量 ， 这 是 本 节 所 遵守 的 另 一 个 约定 。(d) 由 图 (c) 的 
流 所 诱导 出 的 残存 网 络 


注意 ,残存 网 络 Cr 类 似 于 一 个 容量 为 cr 的 流 网 络 ， 但 该 网 络 并 不 满足 我 们 对 流 网 络 的 定义 ， 因 
为 它 可 能 包含 边 (x， 攻 和 它 的 反 向 边 (%，z。 除 了 这 个 区 别 外 ， 残 存 网 络 具 有 与 流 网 络 同样 的 性 质 ， 
我 们 可 以 在 残存 网 络 中 定义 一 个 流 ， 它 满足 流 的 定义 ， 但 是 针对 的 是 残存 网 络 Cr 中 的 容量 cr。 

残存 网 络 中 的 一 个 流 给 我 们 指出 的 是 一 条 路 线 图 : 如 何在 原来 的 流 网 络 中 增加 流 。 如 果 f 
是 G 的 一 个 流 ，f ' 是 对 应 的 残存 网 络 G 中 的 一 个 流 ， 定 义 FP FW FRE f 的 递增 
(augmentation) ， 它 是 一 个 从 VXV 到 R 的 函数 ， 其 定义 如 下 : 

SA FDC) = so a Aner (26. 4) 
ee 因为 在 残存 网 络 中 将 流量 发 送 到 反 向 边 上 等 同 于 
在 原来 的 网 络 中 缩减 流量 ， 所 以 将 边 (u，wv) 的 流量 增加 S Cu, v), ERD f'(v，w)。 在 残存 网 
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络 中 将 流量 推送 回去 也 称 为 抵消 操作 (cancellation) 。 例 如 ， 如 果 将 5 货 箱 的 冰球 从 城市 u 发 送 到 
城市 。， 同 时 将 2 货 箱 冰球 从 城市 v 发 送 到 城市 x， 那 么 可 以 等 价 ( 以 最 后 结果 来 看 ) 地 将 3 个 货 
箱 从 城市 发 送 到 城市 。， 而 不 从 城市 v 发 送 任何 货 箱 到 城市 x。 这 类 抵消 操作 对 于 任何 最 大 流 
算法 来 说 都 是 非常 关键 的 。 

引 理 26.1 设 G=(V， EE) 为 一 个 流 网 络 ， 源 结 点 为 s， 汇 点 为 t， 设 为 G 中 的 一 个 流 。 设 
Gy 为 由 流 厂 所 诱导 的 G 的 残存 网 络 ， 设 广 为 Gr 中 的 一 个 流 。 那 么 式 (26. 4) 所 定义 的 函数 个 
是 G 的 一 个 流 ， 其 值 为 | ff 二 |fl 十 |f'|。 

证 明 首先 证 明 fA 万 满足 对 五 中 每 条 边 的 容量 限制 性 质 ， 以 及 对 每 个 结 点 vEVY 一 {s， 妇 的 
流量 守恒 限制 。 

YTRER, A, WRH, VEE, Mco, wW=fu, V. 而且 f'o, Wc lu, u)= 
Fus v)» AK, 

CfA fluso = fluv) + f' (u,v) — f'o) (根据 式 (26. 4) 
> flus) +f u,v) — flus) (AA f Cuu) < flu,v)) 





= f' luso) 
>0 
此 外 ， 
CAFN = fus) +f u, — f wu) (根据 式 (26. 4)) 

< flu,v) + f' (u,v) 〈 因 为 流量 为 非 负 值 ) 
< flu,v) +¢;(usv) (容量 限制 》 
= flu,v) +c(u,v) — fluso) (根据 cy 的 定义 ) 
= clu,v) 


对 于 流量 守恒 性 质 ， 因 为 上 和 广 均 遵守 流量 守恒 性 质 ， 对 于 所 有 的 结 点 vEV 一 (5*， 妇 ， 我 们 有 ， 
SDAP w= SG + fl (u,v) — fw) 


= ftv + F's) — Xf Cw 
vEV veEV wEV 

= fw) + f wu) — D f uv) 
vEV vEV vEV 

= (fu) + f' wu) — f'(u,v)) 
vEV 


= SFA f')Cow) 


因为 流量 守恒 ， 所 以 上 面 的 第 2 行 推导 出 了 第 3 行 。 
最 后 ， 计 算 SA 疡 的 值 。 回 忆 前 面 讨论 过 的 内 容 ， 我 们 不 允许 图 G 中 包含 反 平 行 边 ( 但 不 禁止 Gr 
中 有 这 种 边 ) ， 因 此 对 于 每 个 结 点 vEV， 可 以 有 边 (*， 节 或 者 (w，? ， 但 不 能 二 者 同时 存在 。 定 义 
Vi={v: (s, EB 为 有 边 从 源 结 点 s 到 达 的 结 点 集合 ，Vi 一 {v，(v，s) EE} 为 有 边 通 往 * 的 结 点 集 
合 。 我 们 有 WUVSV， 并 且 因 为 不 允许 有 反 平 行 边 ,我 们 有 VNV 一 多。 现在 来 计算 
Let l= DFA FIs) — Daf KF Gs) 


= SFA FIG.» — SFA FY @,S) (26.5) 
vEV, vEV, 


这 里 的 第 2 行 成 立 是 因为 (f^ 了 7)(w，z) 的 值 在 (w，x) EE 时 为 0。 现 在 将 站 了 的 定义 应 用 到 
式 (26. 5) 上 ， 然 后 对 和 值 项 进行 重新 排序 与 重组 可 以 获得 : 
[FF =D FG D+F 6.0) — fv — Fu) + f' (ass) — f'(s,0)) 
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=>) fis + F's.) — Df o,s) 
veV, veV, vEV, 
一 》 Fo 一 > f'a9+ YD f'Gw 
veV, vEV, vEV, 
=} f(s,v) — >) fles) 
vEV, veV, 
+ Sf w+ OF CGD— Dd) F's) — DS) F's) 
vEV, vEV, 


vEV, vEV, 


=) fi. — feat Dy FD— Dd f Cos) (26. 6) 
vEV, vEV, vEV, UV, v€ V, UV, 


在 式 (26. 6) 中 ， 可 以 将 4 个 求 和 项 的 范围 都 扩展 到 整个 结 点 集合 V 上 ， 因 为 每 个 额外 的 项 的 值 
都 为 0( 练 习 26. 2-1 将 要 求 读者 证 明 这 一 点 )。 因 此 有 


[FF = Sif.) — Sof + DS's) — Sf Corsy = IF) EF | 6.79 
vEV VE 了 VE VEV E 

增 广 路 径 

给 定 流 网 络 G=(V, DAR SS HES PRE p 是 残存 网 络 Gj 中 一 条 从 源 结 点 s 到 汇 点 zt 的 简 
单 路 径 。 根 据 残 存 网 络 的 定义 ， 对 于 一 条 增 广 路 径 上 的 边 (u，wv)， 我 们 可 以 增加 其 流量 的 幅度 最 
大 为 c/(u，v)， 而 不 会 违反 原始 流 网 络 G 中 对 边 (u，) 或 (v， 忆 的 容量 限制 。 

图 26-4(b) 中 阴影 覆盖 的 路 径 是 一 条 增 广 路 径 。 如 果 将 图 中 的 残存 网 络 Gr 看 做 一 个 流 网 络 ， 
那么 可 以 对 这 条 路 径 上 每 条 边 的 流量 增加 4 个 单位 ， 而 不 会 违反 容量 限制 ， 因 为 该 条 路 径 上 最 小 
的 残存 容量 是 cj(v。，wv) 二 4。 我 们 称 在 一 条 增 广 路 径 p 上 能 够 为 每 条 边 增加 的 流量 的 最 大 值 为 
路 径 p 的 残存 容量 ， 该 容量 由 下 面 的 表达 式 给 出 : 

cj(p) = min{c (u,v): u,v) 属于 路 径 p} 

下 面 的 引 理 将 上 面 的 论断 阐述 得 更 加 精确 。 该 引 理 的 证 明 留 给 读者 作为 练习 (练习 26. 2-7). 

引 理 26.2 HG=(V, DA-+AMS, Af AAG 中 的 一 个 流 ， 设 为 残存 网 络 Gj 中 的 
一 条 增 广 路 径 。 定 义 一 个 函数 f,: VXV>R 如下: 

chp) Elus) Æ pE 
万 (xu) = 其 他 (26. 8) 
N f, 是 残存 网 络 Gj 中 的 一 个 流 ， 其 值 为 | fel =o. a 

下 面 的 推论 证 明 ， 如 果 将 流 了 增加 户 的 量 ， 则 将 获得 G 的 另 一 个 流 ， 该 流 的 值 更 加 接近 最 
大 值 。 图 26-4(c) 所 描述 的 是 对 图 26-4(a) 的 流 f 增加 图 26-4(b) 所 示 的 f 的 量 所 获得 的 结果 ， 而 
图 26-4(d) 描 述 的 则 是 残存 网 络 Gy。 

推论 26.3 HG=(V, DA-+AAMS, SAG PH +R, Rp ARBMAG, 中 的 一 
条 增 广 路 径 。 设 f 由 式 (26. 8) 所 定义 ， 假定 将 f 增加 f 的 量 ， 则 函数 SA 户 是 图 G 中 的 一 个 
a, HEALS AI=lfI+14A1>1f1. 

WEAR 根据 引 理 26. 1 和 引 理 26. 2 可 立即 得 到 上 述 推论 。 a 

流 网 络 的 切割 

Ford-Fulkerson 方法 的 核心 就 是 沿 着 增 广 路 径 重 复 增加 路 径 上 的 流量 ， 直 到 找 一 个 最 大 流 为 
止 。 我 们 怎么 知道 在 算法 终止 时 ， 确 实 找到 了 一 个 最 大 流 呢 ? 稍 后 将 要 证 明 的 最 大 流 最 小 切割 定 
理 告诉 我 们 ， 一 个 流 是 最 大 流 当 且 仅 当 其 残存 网 络 不 包含 任何 增 广 路 径 。 为 了 证 明 这 个 定理 ， 首 
先 来 探讨 一 下 流 网 络 中 的 切割 概念 。 

流 网 络 G 二 (V，E) 中 的 一 个 切割 (S， 了 DD) 将 结 点 集合 V 划分 为 S 和 本 =V 一 S 两 个 集合 ， 
得 :ES，iET。( 该 定义 与 第 23 章 讨论 最 小 生成 树 时 所 定义 的 “切割 ”有些 类 似 ， 只 不 过 这 里 切 
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割 的 是 有 向 图 ， 而 不 是 无 向 图 ， 并 且 要 求 SES，iET。) 若 了 是 一 个 流 ， 则 定义 横 跨 切割 (S，T) 
的 净 流 量 S, DUF: 


KSND = DO fav — DF @,w) (26. 9) 
u€S veT u€S veT 
切割 (S$，7T) 的 容量 是 : 
ce(S,T) = >) Declu,v) (26. 10) 
T 


一 个 网 络 的 最 小 切割 是 整个 网 络 中 容量 最 小 的 切割 。 

流 的 定义 和 切割 容量 的 定义 之 间 存 在 着 不 对 称 性 ， 但 这 种 不 对 称 性 是 有 意 而 为 ， 并 且 很 重 
要 。 对 于 容量 来 说 ， 我 们 只 计算 从 集合 S 发 出 进入 集合 工 的 边 的 容量 ， 而 忽略 反方 向 边 上 的 容 
量 。 对 于 流 ， 我 们 考虑 的 则 是 从 S 到 T 工 的 流量 减 去 从 工 到 S 的 反方 向 的 流量 。 这 种 区 别 的 原因 
在 本 节 稍 后 就 会 清楚 了 。 

图 26-5 描述 的 是 图 26-1 MRMAN—TOACs, us w), {ws ws th). MBB 
净 流 量 是 

FCO 503) + fC) — flay.) = 12 +11—-—4 = 19 





a fi 


图 26-5 图 26-1(b) 中 流 网 络 的 一 个 切割 (S，T), 其 中 S={s, vu, w), T=, ws 
t} 。S 中 的 结 点 是 黑色 ， 工 中 结 点 是 白色 。 横 跨 (S，T) 的 净 流 量 是 f(S，7T) = 
19, REE c(S, T)=26 
该 切割 的 容量 是 
clus w) +l) = 12414 = 26 
下 面 的 引 理 将 证 明 对 于 给 定 流 f/， 横 跨 任何 切割 的 净 流 量 都 相同 ， 都 等 于 | f| ， 即 流 的 值 。 
引 理 26.4 设 了 为 流 网 络 G 的 一 个 流 ， 该 流 网 络 的 源 结 点 为 s， 汇 点 为 f， 设 (S，T) 为 流 网 
络 G 的 任意 切割 ， 则 横 跨 切割 (S，T) 的 净 流 量 为 AKS, D=|fl. 
证 明 对 于 任意 结 点 wEV 一 {s，t}， 重 写 流量 守恒 性 质 如 下 : 
Dif (uv) 一 2 f Cou) =0 (26. 11) 


根据 式 (26. 1) 对 | 7| 的 定义 ， 并 将 式 (26. 11) 左 面 的 项 加 进来 ， 针 对 所 有 结 点 S— (5) 进行 求 和 ， 
我 们 得 到 : 

I7 = Erea- Drt D (Aed — Df) 
将 右面 的 求 和 项 展开 并 重新 组 合 ， 可 以 获得 O T ý 

f= Bfe- Dft J) Df- D View 


ZEY vEV 


= D. s+ >) Fw) 一 > (Fo 十 >) fou) 
vEV ve S-{s} veEV ve S-{s} 
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= = Df — > Df Cow) 
Hy V=SUTIEH SA T=D, RITUR LIBAN REEMA V 的 求 和 分 解 为 针对 S MT 
的 求 和 ， 得 到 : 
ifl= DY fad + 2 S flu, v) — 2 DS 三 D Df 


=) ftv) — >) fou) 
v€T wES vET u€ES 


+ (DDD DH) 
vES wu€ES vES xES 
因为 对 于 所 有 的 结 点 x，yE S， 项 f(x，y) 在 每 个 求 和 项 中 刚好 出 现 一 次 ， 上 述 表 达 式 括号 里 面 
的 两 个 求 和 项 实际 上 是 一 样 的 。 因 此 ， 这 些 求 和 项 相互 抵消 ， 我 们 有 
| 六 | = 和 Dfwo 2 DiS ow = f(S,T) a 


引 理 26.4 的 一 个 推论 说 明 如 何 使 用 切割 容量 来 限定 一 个 流 的 值 。 

推论 26.5 流 网 络 G 中 任意 流 了 的 值 不 能 超过 G 的 任意 切割 的 容量 。 

证 明 BS, DARA G 的 任意 切割 ， 设 f 为 G 中 的 任意 流 。 根 据 引 理 26. 4 和 容量 限制 
EE, 我们 有 


lfl=fS.D = 4) SD — >) Fw) 
u€S vET u€S veT 


= > rans Dy 2ye Curo) = 05,7) a 
uES vET 


推论 26. 5 给 出 的 一 个 直接 结论 是 : 一 个 流 网 络 中 最 大 流 的 值 不 能 超过 该 网 络 最 小 切割 的 容 
量 。 这 就 是 下 面 要 来 陈述 和 证 明 的 非常 重要 的 最 大 流 最 小 切割 定理 。 该 定理 表明 一 个 最 大 流 的 
值 事 实 上 等 于 一 个 最 小 切割 的 容量 。 

定理 26. 6( 最 大 流 最 小 切割 定理 ) 设 f 为 流 网 络 G 二 (V，E) 中 的 一 个 流 ， 该 流 网 络 的 源 结 
点 为 s， 汇 点 为 :， 则 下 面 的 条 件 是 等 价 的 : 

1. ff 是 G 的 一 个 最 大 流 。 

2. 残存 网 络 Gj 不 包括 任何 增 广 路 径 。 

3. | f= 二 c(S，T)， 其 中 (S， 了 是 流 网 络 G 的 某 个 切割 。 

证 明 DSO): 使 用 反 证 法 。 假 定 f 是 G 的 一 个 最 大 流 ， 但 残存 网 络 Gj 同时 包含 一 条 增 
广 路 径 p。 那 么 根据 推论 26.3， 对 增加 流量 f,( 这 里 的 f 由 式 (26. 8) 给 出 ) 所 形成 的 流 是 G 中 
一 个 值 严格 大 于 |f | 的 流 ， 这 与 了 是 最 大 流 的 假设 矛盾 。 

(2) 二 (3): 假定 Gi 不 包含 任何 增 广 路 径 ， 也 就 是 说 ， 在 残存 网 络 Gj 中 不 存在 任何 从 源 结 点 
s 到 汇 点 t 的 路 径 。 定 义 S 二 {v€EV: 在 Gj 中 存在 一 条 从 s 到 wv WRB), T=V—S. BR, sES, 
而 因为 Cr 中 不 存在 从 s 到 + I, MAES AE, RICS, DEANA G 的 一 个 切割 。 现 
在 考虑 一 对 结 点 w€E€S 和 wET。 如 果 (u，v) EE， 则 必 有 flu，v) 二 cL(u，v)， 因 为 否则 边 (u，w) 
KETE, MAKEAA v 置 于 集合 S 中 。 如 果 边 (vw，u) EE， 则 必 有 fl(v，w) 二 0， 因 为 否则 
cjlu，v) 二 fA(v， 忆 将 为 正 值 ， 边 (u，wv) 将 属于 E,;， 而 这 将 把 结 点 v 置 于 集合 S 中 。 当 然 ， 如 果 
Wu, oA (v, OMAEBA EH, W flu，wv)= 二 fl(v，w)= 二 0。 因 此 有 


fAS,D= Ya.» A D fow = Mev) — 3) Ho = 60S,T) 
u€ES veT vET ugs uES vET vET xES 
根据 引 理 26.4，| f|=f(S, D=c(S, T). 


(3) 二 (1): 根据 推论 26.5， 对 于 所 有 切割 (S，T)，| fls, T). KE, Ifl = 
(S, DREE f 是 一 个 最 大 流 。 a 
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基本 的 Ford-Fulkerson 算法 

在 Ford-Fulkerson 方法 的 每 次 迭代 中 ， 寻 找 某 条 增 广 路 径 p， 然 后 使 用 p 来 对 流 f 进行 修改 
(增加 )。 正 如 引 理 26. 2 和 推论 26.3 所 示 ， 我 们 以 fh fp, BR 了， 从 而 获得 一 个 值 为 | f| 十 
lf, | 的 更 大 的 流 。 在 下 面 的 算法 实现 中 ， 通 过 为 每 条 边 (*“，mEESs 更 新 流 属性 (“，z. f 来 计算 
流 网 络 G 王 (V， 巨 ) 中 的 最 大 流 。 如 果 边 (x， 了 mo 和 公开， 则 假设 (x“，z. j 一 0。 另 外， 假设 流 网 络 的 
容量 c(u，v) 都 已 经 给 出 ， 如 果 边 (4u，v) 公正 ， 则 cl(w，wv) = 二 0。 根 据 式 (26. 2) 来 计算 残存 容量 
cylu，v)。 代 码 中 的 表达 式 cj(p) 只 是 一 个 临时 变量 ， 用 来 存放 路 径 p 的 残存 容量 。 

FORD-FULKERSON(G, sz) 

1 for each edge(u,v)EG.E 

2 (u,v). f=0 

3 while there exists a path p from s to t in the residual network Cr 

4 c,(p)=min{c,(u,v) : (uy v)is inp) 

5 for each edge(u,v)in p 

6 if(u,v) EE 

7 (uyv). f= us0). Ftes(p) 

8 else(v, u). f=(v,u). f—cs p) 

FORD-FULKERSON 算法 仅 是 对 早先 给 出 的 FORD-FULKERSON-METHOD 过 程 的 简单 扩 
展 。 图 26-6 所 描述 的 是 一 个 样本 运行 过 程 的 每 次 迭代 的 结果 。 算 法 第 1 一 2 行将 流 了 初始 化 为 0。 
算法 第 3 一 8 行 的 while 循环 重复 在 残存 网 络 Cr 中 寻找 一 条 增 广 路 径 p， 然 后 使 用 残存 容量 clp) 
来 对 路 径 p 上 的 流 f 进行 加 增 。 路 径 p 上 每 条 残存 边 要 么 是 原来 网 络 中 的 一 条 边 ， 要 么 是 原来 
网 络 中 的 边 的 反 向 边 。 算 法 第 6 一 8 行 针对 每 种 情况 对 流 进 行 相应 的 更 新 : 如 果 残 存 边 是 原来 网 
络 中 的 一 条 边 ， 则 加 增 流量 ， 和 否则 缩减 流量 。 当 不 再 有 增 广 路 径 时 ， 流 f 就 是 最 大 流 。 

FORD-FULKERSON 算法 的 分 析 

FORD-FULKERSON 算法 的 运行 时 间 取 决 于 算法 第 3 行 是 如 何 寻 找 增 广 路 径 的 。 如 果 选 择 
不 好 ， 算 法 可 能 不 会 终止 : 流 的 值 会 随 着 后 续 的 递增 而 增加 ， 但 它 却 不 一 定 收敛 于 最 大 的 流 
值 ” 。 如 果 使 用 广度 优先 搜索 (请 参阅 22. 2 节 ) 来 寻找 增 广 路 径 ， 算 法 的 运行 时 间 将 是 多 项 式 数 
量 级 。 在 证 明 该 结果 前 ， 我 们 先 来 为 任意 选择 增 广 路 径 的 情况 获取 一 个 简单 的 上 限 ， 这 里 假定 所 
选择 的 任意 增 广 路 径 和 所 有 的 容量 都 是 整数 。 

在 实际 情况 中 ， 最 大 流 问 题 中 的 容量 常常 是 整数 。 如 果 容 量 为 有 理 数 ， 则 可 以 通过 乘 以 某 个 
系数 来 将 其 转换 为 整数 。 如 果 f* 表示 转换 后 网 络 中 的 一 个 最 大 流 ， 则 在 FORD-FULKERSON 算 
法 的 一 个 直接 实现 中 ， 执 行 第 3 一 8 行 的 while 循环 的 次 数 最 多 为 | 广 | 次 ， 因 为 流量 值 在 每 次 迭 
代 中 最 少 增 加 一 个 单位 。 

如 果 用 来 实现 流 网 络 G 二 (V，E) 的 数据 结构 是 合理 的 ， 并 且 寻 找 一 条 增 广 路 径 的 算法 时 间 
是 线性 的 ， 则 整个 while 循环 的 执行 将 非常 有 效 。 假 设 有 一 个 与 有 向 图 G' 二 (V，E') 相 对 应 的 数 
Heat, XH E’=((u, v): Cu, DEER, WEE}. MAG HHUHENSA G' 中 的 边 ， 因 此 
在 这 一 数据 结构 中 ， 保 持 其 容量 和 流 就 非常 简单 了 。 给 定 网 络 G 的 一 个 流 A， 残 存 网 络 Gr 中 的 边 
由 网 络 G' 中 所 有 满足 条 件 cp(u, v) >0 的 边 (x， 了 所 构成 ， 其 中 cr 遵守 式 (26. 2) 。 因 此 ， 如 果 使 
用 深度 优先 搜索 或 广度 优先 搜索 ， 在 一 个 残存 网 络 中 找到 一 条 路 径 的 时 间 应 是 OVENS., 


while 循环 的 每 一 遍 执行 所 需 的 时 间 因 此 为 OOE) ， 这 与 算法 第 1 一 2 行 的 初始 化 成 本 一 样 ， 从 而 整 


个 FORD-FULKERSON 算法 的 运行 时 间 为 OCE| f* |). 





日、 回顾 22.1 节 的 内 容 ， 我 们 使 用 同样 的 方式 (u， 忆 .来 表示 边 (4，v) 的 属性 f， 就 如 我 们 表示 任何 其 他 对 象 的 属性 一 般 。 
日 ”只 有 当 边 的 容量 为 无 理 数 时 ，Ford-Fulkerson 方法 才 有 可 能 不 能 终止 。 
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图 26-6 ”基本 的 FORD-FULKERSON 算法 的 执行 过 程 。(a) 一 (Ce) while 循环 的 每 遍 执 行 过 程 。 每 个 图 的 
左边 部 分 描述 的 是 算法 第 3 行 的 残存 网 络 Cr ， 覆 盖 阴 影 的 路 径 是 增 广 路 径 p。 右 边 的 图 描述 的 
是 将 流 了 增加 户 的 量 后 所 形成 的 新 流 f。(a) 图 中 残存 网 络 就 是 输入 网 络 G。(f) 在 最 后 一 次 
while 循环 测试 时 的 残存 网 络 。 该 网 络 没有 增 广 路 径 ， 因 此 (e) 图 所 显示 的 流 了 已 经 是 最 大 流 。 
在 本 例 中 ,算法 所 发 现 的 最 大 流 的 值 为 23 
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当 容 量 都 是 整数 值 且 最 优 的 流量 值 | 广 | 较 小 时 ，FORD-FULKERSON 算法 的 运行 时 间 相 当 
不 错 。 图 26-7(a) 描 述 的 是 当 | f* | 的 取 值 较 大 时 可 能 发 生 的 情况 。 该 网 络 的 一 个 最 大 流 取 值 为 
2 000 000: 1000 000 单位 的 流量 流 经 路 径 s>u>t， 另 外 1 000 000 单位 的 流量 流 经 路 径 svt, 
如 果 FORD-FULKERSON 算法 找到 的 第 一 条 增 广 路 径 为 >u->v>t， 如 图 26-7(a) 所 示 ， 则 在 第 
一 次 迭代 后 ， 流 的 值 为 1。 这样 产 生 的 残存 网 络 如 图 26-7(b) 所 示 ， 然 后 流 的 值 将 为 2。 
图 26-7(c) 描 述 的 是 结果 残存 网 络 。 在 每 个 奇数 次 迭代 中 ， 选 择 增 广 路 径 s>u->v->t， 在 每 个 偶 
BOGE, PEPE PRE ;>v>u>t， 并 如 此 继续 下 去 。 这 样 将 一 共 执 行 2 000 000 次 递增 操 
作 ， 每 次 将 流量 增加 1 个 单位 。 





(a) (b) Cc) 


图 26-7 (a) 一 个 流 网 络 ，FORD-FULKERSON #323277 WAT OCE| f* |), 其 中 f* 是 一 个 最 大 流 ， 
在 本 图 中 | f* | =2000 000。 覆 盖 阴 影 的 路 径 是 增 广 路 径 ， 其 残存 容量 为 1。(b) 结 果 残 存 网 络 ， 
增 广 路 径 不 同 于 (a) 部 分 的 增 广 路 径 ， 但 容量 仍然 为 1。(c) 结 果 残 存 网 络 


Edmonds-Karp 算法 

我 们 可 以 通过 在 算法 第 3 行 寻 找 增 广 路 径 的 操作 中 使 用 广度 优先 搜索 来 改善 FORD- 
FULKERSON 算法 的 效率 。 也 就 是 说 ， 我 们 在 残存 网 络 中 选择 的 增 广 路 径 是 一 条 从 源 结 点 s 到 
汇 点 t 的 最 短路 径 ， 其 中 每 条 边 的 权重 为 单位 距离 。 我 们 称 如 此 实现 的 Ford-Fulkerson 方法 为 
Edmonds-Karp 算法 。 现 在 来 证 明 Edmonds-Karp 算法 的 运行 时 间 为 OVE’). 

我 们 的 分 析 取 决 于 残存 网 络 Cr 中 结 点 之 间 的 距离 。 下 面 的 引 理 使 用 符号 lu, v) RRR 
存 网 络 Cr PMA u 到 结 点 v 的 最 短路 径 距 离 ， 其 中 每 条 边 的 权重 为 单位 距离 。 

引 理 26.7 如 果 Edmonds-Karp 算法 运行 在 流 网 络 G 二 (V，E) 上 ,该 网 络 的 源 结 点 为 s 汇 点 
为 +， 则 对 于 所 有 的 结 点 vEV 一 {s，t}， 残 存 网 络 Gr 中 的 最 短路 径 距离 Sr(5，z) 随 着 每 次 流量 的 
递增 而 单调 递增 。 

证 明 ”我 们 的 证 明 思 路 是 ， 对 于 某 个 结 点 v€EV 一 {s，t}， 存 在 一 个 流量 递增 操作 ， 导 致 从 源 
结 点 s 到 结 点 v 的 最 短路 径 距 离 减少 ， 然 后 以 此 来 导出 一 个 矛盾 。 设 /是 在 第 一 个 导致 某 条 最 短路 
径 距 离 减少 的 流量 递增 操作 之 前 的 流量 ， 设 了" 为 该 流量 递增 操作 之 后 的 流量 。 设 "为 所 有 在 递增 
操作 中 最 短路 径 距 离 被 减少 的 结 点 中 ，6y.《(s， 马 最 小 的 结 点 ， 因 此 ，64 (s, KOl, v). BH P= 
suv ABA ME Gr 中 从 源 结 点 * 到 结 点 v 的 一 条 最 短路 径 ， 因 此 ，(u，w)EEp ,并且 


ôr (ssu) = df Cs,v) — 1 (26. 12) 
因为 无 论 怎样 选择 结 点 v， 我 们 知道 从 源 结 点 s 到 结 点 的 距离 并 没有 减少 ， 即 
Ôp (ssu) 60s,u) (26. 13) 


RIDA U, VEE, HAR? MRA, VEE, WA 
DCs KOs u) +1 (根据 引 理 24.10 的 三 角 不 等 式 ) 
Sop (su) +1 (根据 不 等 式 (26. 13)) 
= òp (s,v) (根据 等 式 (26. 12)) 
而 上 述 结果 与 我 们 的 假设 Op (Cs, Vels, WHF. 
WIA REA (Cu, v) EE, Alu, ve Ep? 递增 操作 必定 增加 从 结 点 v 到 结 点 的 流量 。 
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Edmonds-Karp 算法 总 是 沿 最 短路 径 来 增加 流 ， 因 此 ， 残 存 网 络 Gy 中 从 源 结 点 * 到 结 点 的 最 短 
路 径 上 的 最 后 一 条 边 是 (vw，u) 。 因 此 ， 
sls u) = Os — 1 
<6 (s,z) 一 1 (根据 不 等 式 (26. 13)) 
=6(s,v)—2 (根据 等 式 (26. 12)) 

这 与 我 们 的 假设 op (s，) 过 6/(s， 功 相 蔬 盾 。 因 此 可 以 得 出 结论 ， 我 们 关于 存在 这 样 一 个 结 点 v 
的 假设 是 不 正确 的 。 m 

下 面 的 定理 给 出 了 Edmonds-Karp 算法 的 迭代 次 数 的 上 界 。 

定理 26.8 如 果 Edmonds-Karp 算法 运行 在 源 结 点 为 s 汇 点 为 的 流 网 络 G 二 (V，E) 上 ， 则 
该 算法 所 执行 的 流量 递增 操作 的 总 次 数 为 O(VE)。 

证 明 在 残存 网 络 Gr 中 ， 如 果 一 条 路 径 p 的 残存 容量 是 该 条 路 径 上 边 (u，wv) 的 残存 容量 ， 
也 就 是 说 ， 如 果 cclu, v), WREAU, VAHT KB p 上 的 关键 边 。 在 沿 一 条 增 广 路 径 
增加 流 后 ， 处 于 该 条 路 径 上 的 所 有 关键 边 都 将 从 残存 网 络 中 消失 。 而 且 ， 任 何 一 条 增 广 路 径 上 都 
至 少 存在 一 条 关键 边 。 我 们 将 证 明 ， 对 于 | 五 | 中 的 每 条 边 来 说 ， 其 成 为 关键 边 的 次 数 最 多 为 
|V|/2%. 

Kulu 为 集合 中 的 结 点 ， 这 两 个 结 点 由 五 中 的 一 条 边 连 接 在 一 起 。 由 于 增 广 路 径 都 是 
最 短路 径 ， 当 边 (x， 切 第 一 次 成 为 关键 边 时 ， 我 们 有 

Op Csu) = lsu) +1 
— HI MAITIE, Wu, VRARE PKR. Wis, HARE EAA) RE 
上 ， 直 到 从 到 w 的 网 络 流 减 小 后 为 止 ， 并 且 只 有 当 (x， 了 出 现在 增 广 路 径 上 时 ， 这 种 情况 才 会 
发 生 。 如 果 当 这 一 事件 发 生 时 f" 是 G 的 流 ， 则 有 
Op (ssu) = Of (ssu) +1 
由 于 根据 引 理 26.7, & ls, WSO (s, v), ALLA 
Op Csu) = Of Csu) +1 S 6/6550) +1 = lsu) +2 

因此 ， 从 边 (u，) 成 为 关键 边 到 下 一 次 再 成 为 关键 边 ， 从 源 结 点 * 到 结 点 的 距离 至 少 增加 2 个 
单位 ， 而 从 源 结 点 s 到 结 点 的 最 初 距离 至 少 为 0， 从 s A) u 的 最 短路 径 上 的 中 间 结 点 中 不 可 能 
包括 结 点 s、z 或 者 +( 因 为 边 (u，v) 处 于 一 条 增 广 路 径 上 意味 着 u 取 1)。 因 此 ,一 直到 结 点 MA 
不 可 到 达 的 结 点 前 ， 其 距离 最 多 为 |V| 一 2。 因 此 ， 在 边 (u，wv) 第 一 次 成 为 关键 边 时 ， 它 还 可 以 
至 多 再 成 为 关键 边 (|V| 一 2)/2==|V|/2 一 1 次 ， 即 边 (4，wv) 成 为 关键 边 的 总 次 数 为 |V|/2。 由 于 
一 共有 OCE) 对 结 点 可 以 在 一 个 残存 网 络 中 有 边 连接 彼此 ， 因 此 在 Edmonds-Karp 算法 执行 的 全 
部 过 程 中 ， 关 键 边 的 总 数 为 OC(VE)。 每 条 增 广 路 径 至 少 有 一 条 关键 边 ， 因 此 定理 成 立 。 a 

由 于 在 用 广度 优先 搜索 寻找 增 广 路 径 时 ，FORD-FULKERSON 中 的 每 次 迭代 可 以 在 OE) BY 
间 内 实现 ， 所 以 Edmonds-Karp 算法 的 总 运行 时 间 为 OC(VE?)。 我 们 在 后 面 将 看 到 ， 推 送 - 重 贴 标 
签 算法 能 够 取得 更 好 的 界 。26. 4 节 给 出 了 一 个 时 间 复 杂 度 为 O(V?E) 的 最 大 流 算法 ， 该 算法 是 
26.5 节 所 讨论 的 OV ) 算 法 的 基础 。 


练习 

26.2-1 证 明 式 (26. 6) 中 的 和 值 等 于 式 (26.7) 中 的 和 值 。 

26.2-2 在 图 26-1(b) 中 ， 横 跨 切 割 ({s，vws。，vws}，{ww，vw，z}) 的 流 是 多 少 ? 该 切割 的 容量 又 是 
多 少 ? 

26.2-3 在 图 26-1(a) 所 示 的 流 网 络 上 演示 Edmonds-Karp 算法 的 执行 过 程 。 

26.2-4 在 图 26-6 的 例子 中 ， 对 应 图 中 所 示 最 大 流 的 最 小 切割 是 什么 ? 在 例子 中 出 现 的 增 广 路 
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径 里 ， 哪 一 条 路 径 抵消 了 先前 被 传输 的 流 ? 

26.2-5 在 26.1 节 中 ， 我 们 通过 增加 具有 无 限 容 量 的 边 ， 把 一 个 多 源 结 点 多 汇 点 的 流 网 络 转换 
为 单 源 结 点 单 汇 点 的 流 网 络 。 证 明 : 如 果 原 来 的 多 源 结 点 多 汇 点 网 络 的 容量 是 有 限 的 ， 
则 转换 后 的 结果 网 络 中 任何 一 个 流 的 值 都 是 有 限 值 。 

26.2-6 假定 在 一 个 多 源 结 点 多 汇 点 的 流 网 络 中 ， 每 个 源 结 点 s; 生产 出 恰好 p; 个 单位 的 流 ， 因 
此 ， D SGi O= Pie 假定 每 个 汇 点 6 消费 恰好 9 个 单位 的 流 ， 因 此 D7 fC = 


gS D p= Da. 说 明 如 何 把 寻找 一 个 满足 这 些 额外 条 件 的 流 /的 问题 转换 


为 在 一 个 单 源 结 点 单 汇 点 的 流 网 络 中 寻找 最 大 流 的 问题 。 

26.2-7 证 明 引 理 26. 2。 

26.2-8 假定 我 们 对 残存 网 络 进行 重新 定义 ， 禁止 一 切 进入 源 结 点 :的 边 。 证 明 : FORD- 
FULKERSON 算法 仍然 能 够 正确 计算 出 最 大 流 。 

26.2-9 ”假定 f 和 了 f' 都 是 流 网 络 G 中 的 流 ， 计算 流 f^f。 加 增 后 的 流 满足 流量 守恒 性 质 吗 ? 满 
足 容量 限制 吗 ? 

26.2-10 说 明 在 流 网 络 G 二 (V，E) 中 ， 如 何 使 用 一 个 最 多 包含 |E| 条 增 广 路 径 的 序列 来 找到 一 
个 最 大 流 。( 提 示 : 找到 最 大 流 后 再 确定 路 径 。) 

26.2-11 无 向 图 的 边 连通 性 是 指使 图 变 为 非 连通 图 所 需要 删除 的 最 少 边 数 &。 例 如 ， 树 的 边 连 
通 性 为 1， 所 有 结 点 形成 的 环 路 的 边 连 通 性 为 2。 请 说 明 如 何在 最 多 |V | 个 流 网 络 上 运 
行 最 大 流 算 法 来 确定 无 向 图 G 二 (V，E) 的 边 连 通 性 ， 这 里 的 每 个 流 网 络 的 结 点 数 为 
OC(V)， 边 的 条 数 为 OCE). 

26.2-12 给 定 一 个 流 网 络 G，G 中 包含 进入 源 结 点 s 的 边 。 设 f 为 网 络 G 中 的 一 个 流 ， 在 该 流 
中 ， 其 中 一 条 进入 源 结 点 的 边 (w，s) 有 f(v，s)= 二 1。 证 明 : AG 中 必 存 在 另 一 个 流 广 ， 
满足 f'(v，;s)= 二 0, 使 得 | f| = 二 | 了"'|。 给 出 一 个 OC(E) 时 间 复 杂 度 的 算法 来 在 给 定 流 f 
的 情况 下 计算 f'， 这 里 假定 所 有 边 的 容量 都 是 整数 值 。 

26.2-13 假定 我 们 希望 找到 一 个 流 网 络 G 的 所 有 最 小 切割 中 包含 边 的 条 数 最 少 的 切割 ， 这 里 假 
定 G 的 所 有 容量 都 是 整数 值 。 说 明 如 何 修 改 G 的 容量 来 创建 一 个 新 的 流 网 络 G'， 使 得 
G' 中 的 任意 一 个 最 小 切割 是 G 中 包含 边 的 条 数 最 少 的 最 小 切割 。 


26.3 最 大 二 分 匹配 

一 些 组 合 问题 可 以 很 容易 地 表述 为 最 大 流 问 题 。26. 1 节 所 讨论 的 多 源 结 点 多 汇 点 最 大 流 问 
题 就 是 一 个 例子 。 其 他 一 些 组 合 问题 在 表面 上 看 似乎 与 流 网 络 没有 多 少 关 系 ， 但 实际 上 却 能 够 
归 约 到 最 大 流 问 题 。 本 节 就 来 讨论 这 样 的 一 个 问题 : 在 一 个 二 分 图 中 找 出 一 个 最 大 匹配 。 为 了 解 
决 这 个 问题 ， 我 们 将 用 到 由 Ford-Fulkerson 方法 所 提供 的 完整 性 性 质 (integrality property) 。 我 们 
将 看 到 如 何 使 用 Ford-Fulkerson 方法 在 OC(VE) 时 间 内 来 解决 图 G=(V，E) 的 最 大 二 分 匹配 问题 。 

最 大 二 分 匹配 问题 

给 定 一 个 无 向 图 G 二 (V，E), 一 个 匹配 是 边 的 一 个 子 集 MCE, 使 得 对 于 所 有 结 点 vEV， 
子 集 M 中 最 多 有 一 条 边 与 结 点 v 相连 。 如 果子 集 M 中 的 某 条 边 与 结 点 v 相连 ， 则 称 结 点 v 由 M 
所 匹配 ; 否则 ， 结 点 v 就 是 没有 匹配 的 。 最 大 匹配 是 最 大 基数 的 匹配 ， 也 就 是 说 ， 对 于 任意 匹配 

有 |M| 宇 |M'| 的 匹配 M。 在 本 节 的 讨论 中 ,我们 将 注意 力 集中 在 寻找 二 分 图 的 最 大 匹配 
E. 在 一 个 二 分 图 中 ， 结 点 集合 可 以 划分 为 V 二 LUR， 其 中 工 和 R 是 不 相交 的 ， 并 且 边 集合 EE 
中 所 有 的 边 都 横 跨 工 和 RR。 进一步 假定 结 点 集合 V 中 的 每 个 结 点 至 少 有 一 条 边 。 图 26-8 描述 的 
是 二 分 图 中 匹配 的 概念 。 
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(a) (b) Cc) 


图 26-8 一 个 二 分 图 G 二 (V，E)， 结 点 集 划 分 为 V 二 LUR。(a) 基 数 为 2 的 匹配 ， 由 覆盖 阴影 
的 边 所 表示 。(b) 基 数 为 3 的 最 大 匹配 。(c) 对 应 的 流 网 络 G'"， 图 中 显示 的 是 最 大 流 。 
每 条 边 的 容量 为 单位 容量 。 和 覆盖 阴影 的 边 的 流量 为 1， 其 他 所 有 的 边 没有 流量 。 从 子 
集 工 指向 子 集 R 的 覆盖 阴影 的 边 对 应 的 是 图 (b) 中 最 大 匹配 所 用 到 的 边 


在 二 分 图 中 寻找 最 大 匹配 问题 有 着 许多 的 实际 应 用 。 例 如 ， 把 一 个 机 器 集合 工 和 要 同时 执 
行 的 任务 集合 R 相 匹配 。 瓦 中 有 边 (x， 了 就 说 明 一 台 特 定 的 机 器 uE L 能 够 完成 一 项 特定 的 任务 
vER。 最 大 匹配 能 够 让 尽 可 能 多 的 机 器 运行 起 来 。 

寻找 最 大 二 分 匹配 

使 用 Ford-Fulkerson 方法 可 以 在 关于 |V| 和 |E| 的 多 项 式 时 间 内 ， 找 出 无 向 二 分 图 
G 二 (V，E) 的 最 大 匹配 。 解 决 这 一 问题 的 关键 技巧 是 构建 一 个 流 网 络 ， 其 中 的 流 对 应 于 匹配 ， 
如 图 26-8(Cc) 所 示 。 我 们 将 二 分 图 G 所 对 应 的 流 网 络 G' 二 (V'，E') 定 义 如 下 :; 设 源 结 点 s 和 汇 点 
i 为 不 属于 结 点 集 V 的 新 结 点 ， 并 设 V'= 二 VU{s，t}。 如 果 图 CHARERMAWV=LUR, WE 
中 从 工 指向 R 的 边 都 是 流 网 络 G 的 边 。 此 外 ，G "中 的 边 还 包括 如 下 的 |V| 条 新 有 向 边 ， 

E' = {(s,u):u€ L} U {((u,v):(usv) E E} U {(v,t):v € R} 
要 完成 流 网 络 的 构建 ， 需 要 给 EE' 中 的 每 条 边 赋予 单位 容量 。 由 于 结 点 集 V 中 的 每 个 结 点 至 少 有 一 
条 相连 的 边 ，|E| 宇 |V|/2。 因 此 , |E| 志 |1E'|=|E| 十 |V|<3|1E|, 所 以 |E'|==8( 怒 。 

下 面 的 引 理 证 明了 图 G 中 的 一 个 匹配 直接 对 应 G 所 对 应 的 流 网 络 G' 中 的 一 个 流 。 对 于 流 网 
络 G 二 (V，E) 中 的 一 个 流 f 来 说 ， 如 果 对 于 所 有 的 边 (u，v) EVXV，f(u，wv) 都 是 整数 值 ， 则 
称 流 f 是 整数 值 的 。 

引 理 26.9 设 G 二 (V， 轧 为 一 个 二 分 图 ， 其 结 点 划分 为 V= 二 LUR, 设 G' 二 (V'，E') 是 图 G 所 
对 应 的 流 网 络 。 如 果 M 是 G 中 的 一 个 匹配 ， 则 流 网 络 G' 中 存在 一 个 整数 值 的 流 f， 使 得 | f| 一 
| M| 。 相 反 ， 如 果 是 G' 中 的 一 个 整数 值 的 流 ， 则 G 中 存在 一 个 匹配 M, 使 得 | M| =f. 

证 明 首先 证 明 图 G 中 的 一 个 匹配 M 对 应 流 网 络 G 中 一 个 整数 值 的 流 f。 定 义 流 f 如 下 : 
如 果 边 (x，w)EM,， Mj f(s, W=fu, 二 fl(v，t) 二 1。 对 于 所 有 其 他 属于 EE' 的 边 (u，v)， 定 
X fl(u， 马 二 0。 读 者 可 以 很 容易 地 验证 这 样 所 定义 的 流 满足 容量 限制 和 流量 守恒 性 质 。 

从 直观 上 看 ， 每 条 边 (u，v) EM 对 应 流 网 络 G' 中 流 经 路 径 su->v->t 的 一 个 单位 的 流 。 而 
A, 除了 源 结 点 s 和 汇 点 t 之 外 ， 由 子 集 M 中 的 边 所 诱导 的 路 径 都 是 结 点 不 相交 的 8 。 横 跨 切割 
(LU {s}, RU {2}) 的 净 流 量 等 于 |M| 。 因 此 ， 根 据 引 理 26.4, 流 f 的 值 为 |f|==|M|。 

要 证 明 反 向 的 论断 , 设 f 为 G' 中 的 一 个 整数 值 的 流 ， 并 设 





O 除 s 和 zt 之 外 ， 两 条 不 同 的 路 径 中 不 存在 相同 的 结 点 。 一 一 译 者 注 
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M= {(u,v):u E L,v E R, # flu.v) > 0} 
每 个 结 点 UCL 只 有 一 条 进入 的 边 ， 即 (5，z) ， 其 容量 为 1。 因 此， 每 个 结 点 wEL 至 多 有 1 个 单 
位 的 流 进 入 ， 而 如 果 有 1 个 单位 的 流 进 入 ， 根 据 流量 守恒 性 质 ， 离 开 该 结 点 的 流 也 必须 有 1 个 单 
位 。 此 外 ， 由 于 f 是 整数 值 的 流 ， 对 于 每 个 结 点 vE 工 ， 流 入 的 这 1 个 单位 的 流 只 能 最 多 从 一 条 
边 进入 ， 也 只 能 最 多 从 一 条 边 流 出 。 因 此 ，1 个 单位 的 流 进入 结 点 u 当 且 仅 当 恰好 存在 一 个 结 点 
vER, 使 得 f(u，wv) 二 1， 并 且 在 离开 每 个 结 点 wEL 的 边 中 至 多 有 一 条 出 边 带 有 正 值 的 流 。 对 每 
个 结 点 vE 尺 也 有 一 个 对 称 的 结论 。 因 此 ， 集 合 M 是 一 个 匹配 。 

要 证 明 | M| = | j/| ， 只 要 注意 到 对 于 每 个 匹配 的 结 点 vE 工 ， 有 fs, W=1, FAMFRA 
Alu, v)€E—M, A fl(u，v) 二 0。 因 此 ， 横 跨 切割 (LU {s}, RU DiR íE LU {s}, RU{) 
等 于 | M| 。 因 此 ， 根 据 引 理 26.4， 流 的 值 为 | f| =| MI. 加 

基于 引 理 26. 9， 我 们 希望 得 出 结论 ， 二 分 图 G 中 的 一 个 最 大 匹配 对 应 于 流 网 络 G 中 的 一 个 
最 大 流 ， 并 且 ， 因 此 可 以 通过 在 对 应 流 网 络 G' 上 运行 一 个 最 大 流 算法 来 计算 图 G 中 的 最 大 匹配 。 
这 一 推理 过 程 中 存在 的 唯一 障碍 是 最 大 流 算法 可 能 返回 流 网 络 G 中 一 个 非 整 数 的 流 f(u，v)， 即 
使 流 的 值 | f| 本身 必须 是 整数 。 不 过 ， 下 面 的 定理 将 说 明 ， 如 果 使 用 Ford-Fulkerson 方法 ， 则 这 
个 问题 不 会 发 生 。 

定理 26. 10( 完 整 性 定理 ) 如 果 容 量 函数 c 只 能 取 整 数值 ， 则 Ford-Fulkerson 方法 所 生成 的 
RAR f 满足 |f | 是 整数 值 的 性 质 。 而且， 对 于 所 有 的 结 点 和 vw，f(u，v) 的 值 都 是 整数 。 


证 明 通过 对 迭代 次 数 进行 归纳 来 进行 证 明 ， 具 体 证 明 留 作 练 习 26. 3-2。 B 
下 面 来 证 明 引 理 26.9 的 一 个 推论 。 
推论 26. 11 二 分 图 G 中 的 一 个 最 大 匹配 M 的 基数 等 于 其 对 应 的 流 网 络 G' 中 某 一 最 大 流 HM. 


证 明 下 面 的 证 明 使 用 引 理 26. 9 中 的 术语 。 假定 M 是 图 G 中 的 一 个 最 大 匹配 ， 且 其 相应 的 
流 网 络 G 中 的 流 了 不 是 最 大 流 。 那 么 G PHE—-T+RAT SS. WEIS ISI f|。 由 于 G' 的 容量 
都 是 整数 值 ， 因 此 ， 根 据 定理 26. 10， 可 以 假设 是 整数 值 。 因 此 ，f' 对 应 G 中 的 一 个 匹配 M '， 
且 其 基数 为 | M | =| f' | 二 |f|=|M|, 这 与 M 是 最 大 匹配 这 一 假设 相 矛 盾 。 用 类 似 的 方法 
可 以 证 明 : 如 果 f 是 G' 中 的 一 个 最 大 流 ， 则 其 对 应 的 匹配 是 G 的 一 个 最 大 匹配 。 E 

因此 ， 给 定 一 个 二 分 无 向 图 G， 可 以 通过 创建 流 网 络 G" ， 在 其 上 运行 Ford-Fulkerson 方法 来 
找到 一 个 最 大 匹配 。 这 个 最 大 匹配 M 可 以 直接 从 找到 的 整数 最 大 流 f 获得 。 由 于 二 分 图 中 的 任 
何 匹配 的 基数 的 最 大 值 为 min(L，R) =O(CV)，G ' 中 的 最 大 流 的 值 为 O(V)。 因 此 ,可 以 在 
OVE ') 二 OCVE) 时 间 内 找到 一 个 二 分 图 的 最 大 匹配 ， 因 为 | E'| 一 8@(E)。 


练习 

26.3-1 在 图 26-8(c) 上 运行 Ford-Fulkerson 算法 ， 给 出 每 次 流量 递增 后 的 残存 网 络 。 将 集合 工 
中 的 结 点 从 上 至 下 编号 1~5， 集合 R 中 的 结 点 从 上 至 下 编号 6~9。 对 于 每 次 迭代 ， 选 
择 字 典 次 序 最 小 的 增 广 路 径 。 

26.3-2 证明 定理 26. 10。 

26.3-3 设 G 二 (VP) 是 一 个 二 分 图 ， 其 结 点 划分 为 V 二 LUR, 设 G'=(V'，E') 为 其 对 应 的 流 
网 络 。 在 FORD-FULKERSON 执行 过 程 中 ， 对 在 G' 中 找 出 的 任意 增 广 路 径 的 长 度 给 出 
一 个 适当 的 上 界 。 

*26.3-4 完全 匹配 是 指 图 中 所 有 结 点 都 得 到 匹配 的 匹配 。 设 G 二 (V，E) 是 结 点 划分 为 V=LUR 
的 无 向 二 分 图 ， 其 中 |L| 三 | 有 RR| 。 对 于 任意 XGV， 定 义 X 的 邻居 为 ， 

NCK) = (7yEV: 对 某 个 zxEX,(Cz,y) € E) 

即 由 与 X 的 某 元 素 相 邻 的 结 点 所 构成 的 集合 。 请 证 明 Hall CH: 图 G 中 存在 一 个 完全 
匹配 当 且 仅 当 对 于 每 个 子 集 ASL， 有 |4| 科 |NC4) | 。 
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426.3-5 ”对 于 一 个 结 点 划分 为 V 二 LUR 的 二 分 图 G 二 (V，E) 来 说 ， 如 果 每 个 属于 结 点 集合 V 的 
结 点 v 的 度数 正好 是 4， 则 称 该 二 分 图 为 d 正则 的 。 对 于 每 个 d 正则 的 二 分 图 ， 都 有 
|LI=|R|. WH: 每 个 4 正则 二 分 图 的 匹配 基数 都 是 |L|。( 提 示 : 证 明 对 应 的 流 网 
络 的 一 个 最 小 切割 的 容量 为 |L| 。) 


“26. 4 推送 - 重 贴标签 算法 
在 本 节 ， 我 们 讨论 用 来 计算 最 大 流 的 “推送 - 重 贴标签 ?方法 。 到 目前 为 止 ， 许 多 渐 近 效率 很 
高 的 最 大 流 算法 都 是 推送 - 重 贴标签 算法 ， 最 大 流 算 法 的 最 快 实现 也 是 基于 推送 - 重 贴标签 方法 。 
推送 - 重 贴标签 方法 还 能 有 效 地 解决 其 他 流 问题 ， 如 最 小 成 本 流 问题 。 在 本 节 的 讨论 中 ， 我 们 将 
引入 Goldberg 的 “通用 ”最 大 流 算法 ， 该 算法 有 一 个 非常 简单 的 实现 ， 其 运行 时 间 为 O0V 下 )， 这 
个 时 间 是 对 Edmonds-Karp 算法 的 OCVE?) 时 间 的 一 种 改进 。26. 5 节 将 对 通用 算法 进行 调 优 ， 从 
而 获得 另 一 个 运行 时 间 为 O(V? ) 的 推送 - 重 贴标签 算法 。 
推送 - 重 贴标签 算法 比 Ford-Fulkerson 方 法 的 局 域 性 更 强 。 它 不 是 对 整个 残存 网 络 进行 检查 ， 然 
后 选择 一 条 增 广 路 径 ， 而 是 一 个 结 点 一 个 结 点 地 进行 查看 ， 每 一 步 只 检查 当前 结 点 的 邻 结 点 。 而 且 ， 
与 Ford-Fulkerson 方法 不 同 ， 推 送 - 重 贴标签 算法 并 不 在 整个 执行 过 程 中 保持 流量 守恒 性 质 。 不 过 , 在 
执行 过 程 中 ， 推 送 - 重 贴 标签 算法 却 维持 一 个 预 流 (preflow)， 该 预 流 是 一 个 VXV->R 的 函数 f, AR 
数 满足 容量 限制 性 质 和 下 面 弱化 了 的 流量 守恒 性 质 : 对 于 所 有 的 结 点 w€V 一 {s)， 


Df — fv) >0 
即 进入 一 个 结 点 的 流 可 以 超过 流出 该 结 点 的 流 。 我 们 称 下 面 的 量 
eu) = >) f(vsu) — >) fluv) (26. 14) 


v véV 


为 进入 结 点 u 的 超额 流 (excess flow) 。 一 个 结 点 的 超额 流 是 进入 该 结 点 的 流 超过 流出 该 结 点 的 流 
的 部 分 。 如 果 对 于 结 点 ueV—{s, t}, A ew>0, WEA u HEH (overflowing) 。 

我 们 将 先 描 述 推送 - 重 贴标签 方法 后 面 的 直觉 思想 。 然 后 再 讨论 该 方法 所 使 用 的 两 个 操作 
“推送 ” 预 流 和 对 结 点 进行 重 贴标签 ”。 最 后 ， 我 们 将 给 出 一 个 一 般 的 推送 - 重 贴标签 算法 并 分 析 
其 正确 性 和 运行 时 间 。 

直观 思想 

我 们 可 以 通过 观察 液体 流动 的 过 程 来 理解 推送 - 重 贴标签 方法 所 包含 的 直观 思想 : 考虑 一 个 流 网 
络 C 一 (V， 刀 ， 我 们 可 以 将 其 看 做 是 一 个 具有 给 定 容 量 的、 由 相互 连通 的 管道 所 构成 的 系统 。 如 果 将 
这 个 比喻 应 用 到 Ford Fulkerson 方法 上 ， 可 以 说 网 络 中 的 每 条 增 广 路 径 均 引 发 出 一 条 无 分 支点 、 从 源 
结 点 流向 汇 点 的 额外 液体 流 。 

Ford Fulkerson 方法 以 迭代 的 方式 加 入 更 多 的 流 ， 直 到 不 能 再 加 入 时 为 止 。 

从 直观 上 来 看 ， 一 般 的 推送 - 重 贴 标签 算法 的 思想 在 某 种 程度 上 来 说 有 所 不 同 。 跟 以 前 一 样 ， 
有 向 边 代 表 管 道 。 但 作为 管道 连通 点 的 结 点 有 两 个 有 趣 的 性 质 。 首 先 ， 为 了 容纳 额外 的 流 ， 每 个 
结 点 有 一 个 往外 流 的 管道 ， 通 向 一 个 任意 大 的 可 以 累积 这 些 液 体 的 水 库 。 其 次 ， 每 个 结 点 、 其 水 
库 及 其 所 有 的 管道 连接 点 位 于 同一 个 平台 上 ， 该 平台 的 高 度 随 着 算法 的 推进 而 增加 。 

结 点 的 高 度 决定 了 流 的 推送 方向 : 我 们 只 从 高 处 往 低 处 推送 流 ， 也 就 是 说 ， 流 只 能 从 一 个 高 
度 较 高 的 结 点 向 高 度 较 低 的 结 点 推送 。 虽 然 从 低 结 点 到 高 结 点 的 流 可 能 是 正 的， 但 推送 流 的 操 
作 只 向 低 处 推送 。 我 们 将 源 结 点 的 高 度 固定 在 |V|， 而 汇 点 的 高 度 固定 在 0。 所 有 其 他 结 点 的 高 
度 在 初始 时 也 都 是 0， 但 将 随 着 时 间 的 推移 不 断 增 加 。 该 算法 首先 从 源 结 点 往 下 发 送 尽 可 能 多 的 
流 到 汇 点 。 其 发 送 的 量 为 源 结 点 所 发 出 的 所 有 管道 的 容量 之 和 ;， 也 就 是 说 ， 它 发 送 的 容量 为 切割 
(s，V 一 {s)) 的 容量 。 当 流 进入 一 个 中 间 结 点 时 ， 它 们 被 收集 在 该 结 点 的 水 库 中 。 从 这 里 ， 我们 
最 终 将 把 它们 向 下 面 的 结 点 推送 。 
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我 们 可 能 发 现 ， 离 开 结 点 的 唯一 没有 充满 流 的 管道 通 向 的 是 一 个 与 结 点 处 于 同一 个 高 度 
的 结 点 或 者 比 结 点 更 高 的 结 点 。 在 这 种 情况 下 ， 要 消除 溢出 结 点 4 的 超额 流量 ， 必 须 增加 该 结 
点 的 高 度 ， 这 就 是 所 谓 的 “ 重 贴标签 ” 结 点 u 的 操作 。 我 们 将 结 点 的 高 度 增加 到 比 其 最 低 的 邻 结 
点 的 高 度 多 1 个 单位 的 高 度 ， 这 里 要 求 结 点 u 到 该 邻 结 点 的 管道 必须 未 被 充满 。 因 此 ， 在 一 个 结 
点 被 重 贴标签 后 ， 它 将 至 少 有 一 个 流出 管道 ， 并 且 可 以 通过 它 推送 更 多 的 流 。 

最 终 ， 所 有 可 能 到 达 汇 点 的 流 都 已 经 到 达 汇 点 。 因 为 所 有 管道 都 遵守 容量 限制 性 质 ， 不 能 接 
受 更 多 的 流 了 。 横 跨 任 何 切 割 的 流量 仍然 由 切割 的 容量 所 限制 。 为 了 让 预 流 成 为 一 个 “合法 ”的 
流 ， 本 算法 通过 继续 对 结 点 进行 重 贴标签 操作 ， 使 其 高 度 高 于 源 结 点 的 高 度 |V| ， 把 收集 在 溢出 
结 点 的 水 库 中 的 超额 流量 发 送 回 源 结 点 ， 正 如 我 们 将 看 到 的 ,一旦 所 有 的 水 库 都 为 空 ， 预 流 则 不 
但 是 “合法 ”的 流 ， 而 且 还 是 一 个 最 大 流 。 

基本 操作 

根据 前 面 的 讨论 ， 我 们 看 到 推送 - 重 贴标签 算法 执行 的 基本 操作 有 两 个 : 从 一 个 结 点 将 超额 
的 流 推送 到 一 个 邻 结 点 ;对 一 个 结 点 进行 重 贴标签 操作 (改变 该 结 点 的 高 度 ) 。 这 些 操作 适用 的 场 
景 依赖 于 结 点 的 高 度 ， 下 面 我 们 就 来 给 出 结 点 高 度 的 准确 定义 。 

设 G 一 (V， 王 ) 是 一 个 源 结 点 为 s CAN t 的 流 网 络 , 设 f 为 G 的 一 个 预 流 。 如 果 函 数 h: 
V>NWEAC)=|V), hO=0, HERFRA, WEE, AhwW<h(wv)+1, Wh Æ— 
BERKO. 

根据 上 面 的 定义 ， 我 们 立即 获得 下 面 的 引 理 。 

引 理 26.12 KRG=V, DA-+*KHAS, RFACHMA, LAAVEHARDR, 4 
THEARA Ru, vEV, WRAW>AlWw) +1, Mu, VRERGRMAP HA, 

推送 操作 

如 果 结 点 是 一 个 溢出 结 点 ，cr(xw， 切 过 0， 并 且 hlw) 一 h(v) 十 1， 则 基本 操作 PUSH, v) 
适用 于 结 点 4 和 w。 下 面 的 伪 代 码 所 执行 的 任务 是 对 预 流 f Mu, o 两 个 结 点 的 超额 流 进行 更 新 。 
该 伪 代 码 假设 可 以 在 给 定 <c 和 上 了 的 情况 下 ， 在 常数 时 间 内 计算 出 残存 容量 clu, v). RITKE 
在 结 点 上 的 超额 流 保存 在 属性 x.。 上 ， 将 zx 的 高 度 保 存在 属性 x. 疡 中 。 表 达 式 Ay(u，wv) 是 一 个 
临时 变量 ， 用 来 存放 可 以 从 结 点 推送 到 结 点 ”的 流 。 

PUSH(u,v) 

// Applies when: « is overflowing, c;(u,v)>0,and u. h=v. h+1. 
// Action: PushA; (u,v) =min(u. e,c;(u,v)) units of flow from u to v. 
A; (u,v) =min(u. eycr (u,v)) 
if(u,v) EE 
(u,v). f= u,v). ft d;sCu,v) 
else(v,u). f=(v,u). f—Ay (u,v) 


u. e=u. e— Af (u,v) 


oO n OUO FF wD F&F 


v. e=v. e+ Arlu, v) 


PUSH 代码 的 工作 原理 如 下 。 因 为 结 点 有 一 个 正 的 超额 流 u.e， 且 边 (u，wv) 的 残存 容量 也 是 正 
值 ， 所 以 可 以 增加 从 结 点 流向 结 点 v AL, SHR BE Ap Cu, v)=min(we, clu, v)), XX 
种 幅度 的 流 增 加 不 会 导致 u. e 成 为 负 值 或 者 容量 cu, VERME., AER 3 行 计算 的 是 值 Aj(u, o), 
第 4~6 行 负责 对 流 f 进行 更 新 。 算 法 第 5 行 增加 边 (xu，v) 上 的 流 ， 因 为 我 们 在 将 流 推 向 一 条 也 是 
原始 边 的 残存 边 。 第 6 行将 边 (w，w) 上 的 流量 进行 缩减 ， 因 为 该 残存 边 实际 上 是 原始 网 络 中 一 条 





日 ”在 文献 中 ， 高 度 函 数 也 通常 称 为 “距离 函数 ”， 一 个 结 点 的 高 度 也 称 为 “距离 标签 ”。 本 书 使 用 “高 度 ” 这 个 术语 的 
原因 是 其 更 能 揭示 算法 背后 的 直观 思想 。 我 们 保留 了 “ 重 贴标签 * 这 个 术语 ， 用 来 代表 增加 一 个 结 点 高 度 的 操作 。 
一 个 结 点 的 高 度 与 其 离 汇 点 i 的 距离 相关 ， 正 如 在 转 置 图 GT 的 一 个 广度 优先 搜索 操作 中 所 找到 的 。 
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边 的 反 向 边 。 最 后 ， 算 法 的 第 7 一 8 FRA u 和 w 的 超额 流 。 因 此 ， 如 果 在 PUSH 调用 
前 f 是 预 流 ， 则 在 PUSH 操作 后 ，f 仍然 是 预 流 。 

YER, BYR PUSH 代码 中 没有 什么 操作 依赖 于 结 点 u 和 结 点 wv 的 高 度 ， 但 是 仍然 限定 该 操 
作 只 能 在 满足 条 件 u.h 二 v.h 十 1 的 情况 下 被 调用 。 因 此 ， 我们 只 将 超额 流向 高 度 差 为 1 的 下 层 结 
点 推送 。 根 据 引 理 26. 12， 在 高 度 相差 超过 1 的 两 个 结 点 之 间 不 存在 残存 边 ， 因 此 ， 只 要 属性 有 h 
确实 是 一 个 高 度 函数 ， 向 高 度 差 超 过 1 的 下 层 结 点 推送 流 不 能 给 我 们 带 来 任何 价值 。 

我 们 称 操作 PUSH, v) AGE u 到 结 点 v 的 一 个 推送 操作 。 如 果 一 个 推送 操作 适用 于 某 
条 从 结 点 4 发 出 的 边 (u，v)， 则 称 推送 操作 适用 于 结 点 x。 如 果 在 该 操作 后 ， 残 存 网 络 中 的 边 
(xz， 切 达到 饱和 状态 ( 即 在 操作 之 后 有 clu, v) = 二 0)， 则 该 推送 操 称 为 饱和 推送 ; 否则 ， 该 推送 
操作 称 为 非 饱 和 推送 。 如 果 一 条 边 达 到 饱和 状态 ， 它 将 从 残存 网 络 中 消失 。 下 面 的 简单 引 理 说 明 
了 非 饱和 推送 所 导致 的 一 种 结果 。 

引 理 26. 13 在 从 结 点 双 到 结 点 忆 的 一 个 非 饱和 推送 操作 后 ， 结 点 & 将 不 再 溢出 。 

证 明 ”由 于 推送 操作 为 非 饱和 操作 ， 被 推送 的 实际 流量 Aj(u，wv) 在 推送 操作 前 必定 等 于 
ue. HY u.e 被 缩减 的 量 就 是 这 个 量 自身 ， 因 此 ，u.e 在 推送 操作 后 的 值 将 为 0。 = 

重 贴标签 操作 

如 果 结 点 溢出， 并 且 对 于 所 有 的 边 (u，v) EE,;， 有 wu.h<<v.h， 则 基本 操作 RELABEL(w) 
适用 于 结 点 wx。 换 名 话说， 我 们 可 以 对 一 个 溢出 结 点 进行 重 贴标签 的 操作 。 对 于 每 个 结 点 vu， 如 
果 存 在 从 结 点 u 到 结 点 v 的 残存 容量 ,但 却 因 为 结 点 "不 在 结 点 x 的 下 方 ， 而 不 能 将 流 从 推送 
到 vv， 我 们 就 可 以 对 溢出 结 点 u 进行 重 贴 标签 操作 。( 回 忆 前 面 讨论 的 内 容 ， 根 据 定义 ， 源 结 点 s 
和 汇 点 t 都 不 可 能 溢出 ， 因 此 s 和 + 没有 资格 被 重 贴标签 。) 

RELABEL(u) 

1 // Applies when: u is overflowing and for all v&V such that(u,v) EE,, 

we have u. hv. h. 


2 // Action: Increase the height of u. 
3 u.h=1+min{v. h: (u,v) € Ey} 


当 调用 操作 RELABEL@) 时 ， 我 们 称 结 点 x 被 重 贴 标签 。 注 意 ， 当 结 点 u RAMEN, 
Ej 必须 包含 至 少 一 条 从 结 点 发 出 的 边 ， 这 样 将 使 得 代码 中 的 求 最 小 值 操作 所 针对 的 对 象 不 是 
一 个 空 集 。 这 条 性 质 可 以 从 结 点 是 一 个 溢出 结 点 的 假设 推导 出 来 ， 而 这 又 会 进一步 告诉 我 们 : 
u.e = >i f(v,u)— >) f(usv) >0 
vEV veV 


由 于 所 有 的 流 都 是 非 负 的 ， 因 此 ， 必 然 至 少 有 一 个 结 点 w， TEAR Co, u). f>0. i, cus v)>0 则 
BREU, v CE; Auk, 操作 RELABEL(w) 给 结 点 u 所 赋予 的 高 度 是 高 度 函 数 所 能 允许 的 最 
大 高 度 。 

通用 算法 

通用 的 推送 - 重 贴标签 算法 使 用 下 面 的 子 程序 来 在 流 网 络 中 创建 一 个 初始 的 预 流 : 

INITIALIZE-PREFLOW(G, s) 

1 for each vertexv€ G. V 

2 v. h=0 

3 vu. e=0 

4 for each edge(u,v) EG. E 

5 (u,v). f=0 

6 sh=|GV| 
T 


for each vertexvE€ s. Adj 
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8 (s,v). f=c(s,v) 
9 v. e=C(5,v) 


10 s. e=s. e—c(s,v) 


INITIALIZE-PREFLOW 创建 一 个 由 下 面 公式 定义 的 预 流 f: 
_ fclu,v) Huss 
(u,v). f= i 其 他 (26. 15) 
也 就 是 说 ， 我 们 将 从 源 结 点 s 发 出 的 所 有 边 都 充满 流 ， 而 其 他 边 上 都 没有 流 。 对 于 每 个 与 源 结 点 
s 相 邻 的 结 点 ww， 一 开始 有 立 e=cls, v), HEK s. e 初始 化 为 所 有 这 些 容量 之 和 的 相反 数 。 该 通 
用 算法 的 初始 高 度 函 数 由 下 面 公 式 定义 : 
IV| #u=s 
u. h = 26. 16 
els e P 
3K (26. 16) 所 定义 的 是 一 个 高 度 函 数 ， 因 为 满足 条 件 u. h>v. ht] 的 边 (u，v) 全 都 是 那些 满足 条 
件 u=s 的 边 ， 并 且 这 些 边 都 已 经 达到 饱和 状态 ， 这 就 意味 着 这 些 边 不 在 残存 网 络 中 。 
先进 行 初始 化 ， 然 后 按 非 特定 次 序 执行 一 个 序列 的 推送 和 重 贴标签 操作 ， 就 能 得 出 
GENERIC-PUSH-RELABEL 算法 : 
GENERIC-PUSH-RELABEL(G) 
1 INITIALIZE-PREFLOW(G,s) 
2 while there exists an applicable push or relabel operation 


3 select an applicable push or relabel operation and perform it 


下 面 的 引 理 说 明 ， 只 要 存在 溢出 结 点 ， 两 种 基本 操作 就 至 少 一 种 可 以 应 用 到 该 溢出 结 点 上 。 

引 理 26. 14 (可 以 对 溢出 结 点 执行 推送 或 重 贴标签 操作 ) 设 G 二 (V，E) 是 一 个 源 结 点 为 s 汇 
点 为 上 的 流 网 络 ， 设 f 为 一 个 预 流 ， hh 为 了 的 任意 高 度 函 数 。 如 果 是 一 个 溢出 结 点 ， 则 要 么 可 
以 对 结 点 & 执行 推送 操作 ， 要 么 可 以 对 其 执行 重 贴标签 操作 。 

证 明 ”对 于 任意 残存 边 (u，v))， 有 hlu) 志 h(v) 十 1， 因 为 是 一 个 高 度 函 数 。 如 果 推 送 操作 
不 适用 于 溢出 结 点 wu， 则 对 于 所 有 的 残存 边 (u，v)， 必 定 有 有 hCw) 二 h(v) 十 1， 而 这 意味 着 hu) 
hl(v)。 因 此 ， 重 贴标签 操作 必定 适用 于 结 点 u。 a 

推送 - 重 贴标签 方法 的 正确 性 

为 了 证 明 通 用 的 推送 - 重 贴标签 算法 解决 了 最 大 流 问题 ， 下 面 将 首先 证 明 如 果 该 算法 终止， 
预 流 f 就 是 一 个 最 大 流 。 我 们 稍 后 再 来 证 明 该 算法 必 将 终止 。 下 面 首先 来 关注 高 度 函 数 h. 

引 理 26. 15( 结 点 高 度 从 来 不 会 降低 ) 在 一 个 流 网 络 G=(V, E) 上 执行 GENERIC-PUSH- 
RELABEL 算法 的 过 程 中 ， 对 于 每 个 结 点 EV， 其 高 度 v.h 从 来 不 会 减少 。 而且， 每 当 一 个 重 
贴标签 操作 应 用 到 结 点 上 时 ， 其 高 度 有 至 少 增加 1 个 单位 。 

证 明 因为 结 点 高 度 只 在 重 贴 标签 操作 时 发 生 改 变 ， 所 以 只 需要 证 明 引 理 的 第 二 个 论断 即 
可 。 如 果 将 要 对 结 点 u 进行 重 贴标签 操作 ， 则 对 于 所 有 的 结 点 o WRU, v EE, WAE 
uh<v.h. Ak, uh<lt+min{v.h: (wu，v) EE;}， 所 以 该 操作 必定 增加 u. h 的 值 。 a 

31 26.16 设 G==(V,F) 是 一 个 源 结 点 为 s 汇 点 为 t 的 流 网 络 ， 则 GENERICPUSH- 
RELABEL 算法 在 G 上 执行 的 过 程 中 ， 将 维持 属性 及 作为 一 个 高 度 函 数 。 

证 明 通过 对 所 执行 的 基本 操作 的 次 数 进行 归纳 来 予以 证 明 。 在 初始 状态 时 ，h 是 一 个 高 度 
函数 ， 正 如 我 们 已 经 观察 到 的 。 

RIKE: WE h 是 一 个 高 度 函 数 ， 则 RELABEL(w) 的 操作 将 保持 h 作为 一 个 高 度 函 数 。 如 果 残 
PAu, VEE; MAR u Rh, W) RELABEL(w) 将 确保 在 操作 执行 之 后 有 u hv.h 十 1。 现 在 考虑 一 
条 进入 结 点 u MIRIA Cw, u) WIGI 26. 15， 在 操作 RELABEL(w) 之 前 有 wh<u.h 十 1， 这 意味 
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着 在 该 操作 之 后 有 忆 <<vw htl KIE, HE RELABEL(ww 将 保持 hh 作为 高 度 函 数 。 

现在 来 考虑 操作 PUSH(u，v)。 该 操作 可 能 在 E, 中 增加 一 条 边 (vw，w)， 并 且 还 可 能 从 E, 中 删 
除 边 (uw， 功 。 在 前 面 一 种 情况 下 ， 有 wh 二 wh 一 1<u.h 十 1， 因 此 有 仍然 是 一 个 高 度 函数 。 在 后 面 
一 种 情况 下 ， 从 残存 网 络 中 删除 边 (x， 马 将 删除 相应 的 限制 ， 因 此 及 再 次 保持 为 一 个 高 度 函 数 。 国 

下 面 的 引 理 给 出 高 度 函 数 的 一 个 重要 性 质 。 

引 理 26. 17 设 G=(V， 世 ) 是 一 个 源 结 点 为 s 汇 点 为 的 流 网 络 ， 设 上 为 G 中 的 一 个 预 流 ， 
有 为 V 上 的 一 个 高 度 函 数 。 那 么 在 残存 网 络 G 中 不 存在 一 条 从 源 结 点 s 到 汇 点 1 的 路 径 。 

证 明 ”使 用 反 证 法 。 假 定 残存 网 络 Gr 中 存在 一 条 从 源 结 点 s 到 汇 点 t 的 路 径 p， 这 里 p= 
(the tie “ts WW%)，wWw 二 5，V 一 t。 不 失 一 般 性 ，p 是 一 条 简单 路 径 ， 因 此 & 二 |V|。 对 于 i=0， 
l, +, 一 1， 边 (vi，wvii1)EE。 因 为 hh 是 一 个 高 度 函 数 ， 所 以 有 hv) 二 hlvit1) 十 1， 这 里 i= 
0，1，…，k 一 1。 将 路 径 p 上 的 这 些 不 等 式 全 部 加 起 来 ， 得 到 有 h(s) 志 h(2) 十 &。 因 为 h(#) 二 0， 所 
以 有 h(s) 二 & 二 |V|， 这 与 要 求 高 度 函 数 h(s) 二 |V| 相 矛盾 。 E 

下 面 将 证 明 如 果 通 用 的 推送 - 重 贴标签 算法 能 够 终止 ， 则 其 所 计算 出 的 预 流 是 一 个 最 大 流 。 

定理 26. 18( 通 用 的 推送 - 重 贴标签 算法 的 正确 性 ) 设 G 二 (V，EE) 是 一 个 源 结 点 为 s 汇 点 为 t 
的 流 网 络 ， 如 果 算 法 GENERIC-PUSH-RELABEL 在 图 G 上 运行 时 能 够 终止 ， 则 该 算法 所 计算 出 
的 预 流 是 图 G 的 一 个 最 大 流 。 

证 明 在 证 明 中 将 使 用 下 面 的 循环 不 变 式 : 

每 次 GENERIC-PUSH-RELABEL 算法 在 执行 第 2 行 的 while 循环 时 ，f 都 是 图 G 的 一 个 预 流 。 

初始 化 : INITIALIZE-PREFLOW 使 得 f 是 一 个 预 流 。 

保持 : 位 于 算法 第 2 一 3 行 的 while 循环 中 的 唯一 操作 是 推送 和 重 贴标签 操作 。 重 贴标签 操作 
只 影响 高 度 属性 ， 不 影响 流 的 值 ; 因此 ， 这 些 操 作 不 影响 f 是 否 是 一 个 预 流 。 对 于 推送 操作 来 
说 ， 正 如 前 面 所 讨论 的 ， 如 果 f 在 推送 操作 前 是 一 个 预 流 ， 则 在 推送 操作 结束 后 仍然 是 一 个 预 
流 。 因 此 ， 循 环 不 变 式 得 到 维持 。 

终止 : 在 算法 终止 时 , V 一 {s, 收 中 的 每 个 结 点 的 超额 流量 必定 是 0， 因 为 根据 引 理 26. 14 和 
了 总 是 一 个 预 流 的 循环 不 变 式 ， 图 中 不 存在 洲 出 结 点 。 因 此 ，f 是 一 个 流 。 而 引 理 26. 16 说 明 ， 
h 在 终止 时 是 一 个 高 度 函 数 ， 再 根据 引 理 26. 17， 在 残存 网 络 Gr 中 不 存在 一 条 从 源 结 点 s 到 汇 点 
t 的 路 径 。 根 据 最 大 流 最 小 切割 定理 (定理 26. 6)，f 是 一 个 最 大 流 。 

推送 - 重 贴标签 方法 的 分 析 

为 了 证 明 通 用 的 推送 - 重 贴标签 算法 确实 会 终止 ， 我 们 将 给 出 该 算法 所 执行 的 操作 的 次 数 界 。 
分 别 对 如 下 三 类 操作 求 界 : 重 贴标签 操作 、 饱 和 推送 操作 和 非 饱 和 推送 操作 。 在 获得 每 种 操作 次 
数 的 界 后 ， 就 可 以 直接 构造 一 个 运行 时 间 为 OC(V?E) 的 算法 。 但 是 ， 在 进行 这 种 分 析 之 前 ， 首 先 
需要 证 明 一 个 重要 的 引 理 。 回 顾 前 面 所 讨论 的 内 容 可 知 ， 我 们 允许 在 残存 网 络 中 有 流入 源 结 
点 的 边 。 

引 理 26. 19 设 G 二 (V， 忆 ) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ,， 设 ff 是 G 中 的 一 个 预 流 。 
那么 对 于 任意 溢出 结 点 工 ， 在 残存 网 络 Gj 中 存在 一 条 从 结 点 工 到 源 结 点 8 的 简单 路 径 。 

证 明 对 于 溢出 结 点 x, 设 U={v: 在 Gy 中 存在 一 条 从 结 点 x 到 结 点 v 的 简单 路 径 }， 并 且 
为 了 使 用 反 证 法 ,假设 ;EU， 并 设 U=V 一 U.。 

使 用 式 (26. 14) 对 超额 流量 的 定义 ， 对 U 中 的 所 有 结 点 求 和 和 ， 并 注意 到 V==UUDU， 我 们 
获得 

Dew= Ti (Liew — Pfc) 


u€U 


= D (Bf + ZS) -(E fut Df)) 
u€U vEV i U T 
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三 = 21 DS Cow + 2) Di flow — Dy FC) — dy 2 fw 


EU ve 


= Dyf Cou) 一 2 Daf Curo) 


u€U vE 


我 们 知道 ， ZeD MENE, 因为 对 于 xEU， ea) 二 0， 除 源 结 点 s 以 外 的 所 有 结 点 都 有 非 负 
值 的 超额 流量 ， FEREBBE. sU, KEA 
dy Df Cou) — 2 2p flu >0 (26. 17) 


所 有 边 上 的 流量 均 为 非 负 值 ， 因 此 ， 如 果 式 (26. 17) 成 立 ， 则 必须 有 2 Loy u)>0. Ak, BFE 
Xau EU, v' EU, A fo’, uN. 但 是 ， 如果 SO’, uD, WAAR", v), BOR 
DREGE ox BBE v 存在 一 条 简单 路 径 (路 径 Z~2u'>v')， 而 这 与 的 定义 矛盾 。 = 

下 面 的 引 理 将 给 出 结 点 的 高 度 的 界 ， 该 引 理 的 推论 则 对 重 贴标签 操作 的 总 次 数 进 行 了 限定 。 

引 理 26.20 设 G=(V, 区) 是 源 结 点 为 s 汇 点 为 t 的 一 个 流 网 络 ， 在 G 上 执行 算法 
GENERIC-PUSH-RELABEL 过 程 中 的 任意 时 刻 ， 对 于 所 有 结 点 u€V，, u.h<2|V| 一 1。 

证 明 ”根据 定义 ， 源 结 点 s 和 汇 点 上 从 来 不 会 溢出 ， 因 此 ， 它 们 的 高 度 从 来 不 会 发 生变 化 。 
所 以 总 是 有 .1 一 |V| 和 上 幻 1 一 0， 显 然 ， 这 两 个 值 都 不 比 21V| 一 1 大。 

现在 考虑 任意 结 点 EV 一 {s，z} 。 在 初始 情况 时 ，u.h 二 0<21V| 一 1。 我 们 将 证 明 在 每 次 重 
贴标签 操作 后 ， 仍 然 有 u. h 二 21V| 一 1。 当 结 点 被 重 贴 标签 时 ， 它 必定 是 一 个 溢出 结 点 ， 引 理 
26.19 告诉 我 们 ， 在 残存 网 络 G 中 存在 一 条 从 结 点 到 结 点 * 的 简单 路 径 p。 设 p=, 
1，…，V)， 其 中 w 二 wu，w% 二 s， 并 且 k 夺 |V| 一 1， 因 为 p 是 简单 路 径 。 对 于 i 二 0，1,，…， 
k—1, RTE lu, vn) EE;， 因 此 ， 根 据 引 理 26. 16，wvi. hvn htl HAERERE p 
上 进行 扩展 ， 得 到 u. h=w. hw.h 十 ks.h 二 (IV| 一 1)=2|V| 一 1。 E 

推论 26. 21( 重 贴标签 操作 次 数 的 界 ) 设 G=(V，E) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ， 
则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 对 每 个 结 点 所 执行 的 重 贴标签 操作 的 
次 数 最 多 为 2|V| 一 1 次 ,而 所 有 重 贴标签 操作 不 会 超过 (2|1V| 一 1)(|IV| 一 2)<2|V|?。 

证 明 集合 V 一 {s, t} 中 只 有 |V| 一 2 个 结 点 有 可 能 需要 进行 重 贴标签 的 操作 。 设 结 点 
uEV 一 {s, t}。RELABEL(w) 操 作 将 增加 u. h WE. wh 的 值 在 初始 情况 时 为 0， 根据 引 理 
26. 20， 它 增长 的 幅度 最 多 为 21V| 一 1。 因 此 ， 每 个 结 点 vEV 一 {*， 妇 被 重 贴标签 的 次 数 最 多 为 
2|V| 一 1， 而 重 贴 标签 操作 的 总 次 数 最 多 为 (21V| 一 DC(V| 一 2)<2|V|?。 = 

5 | BH 26. 20 同时 也 帮助 我 们 对 饱和 推送 操作 的 次 数 进行 限定 。 

引 理 26. 22( 饱 和 推送 操作 次 数 的 上 界 ) 设 G=(V， EE) 是 源 结 点 为 s 汇 点 为 1 的 一 个 流 网 络 ， 
则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 饱 和 推送 操作 的 次 数 少 于 2|V| |E|。 

证 明 ”对 于 任意 一 对 结 点 uw，vEV， 把 从 结 点 到 结 点 v 和 从 结 点 v 到 结 点 的 饱和 推送 操 
作 合 并 在 一 起 计数 ， 统 称 为 结 点 u 和 结 点 wv 之 间 的 饱和 推送 操作 。 如 果 存 在 任何 这 样 的 推送 操 
作 ， 则 边 (w，v) 和 边 (v， 忆 中 至 少 有 一 条 是 玉 中 的 一 条 边 。 现 在 假定 从 结 点 u 到 结 点 v 之 间 发 生 
了 一 次 饱和 推送 操作 。 这 时 ，vw. hh 二 =u.h 一 1。 为 了 使 从 结 点 到 结 点 v 的 另 一 次 推送 操作 可 以 发 
生 ， 本 算法 必须 首先 将 流 从 结 点 v 推送 到 结 点 w， 而 这 种 操作 只 有 在 v h=u. ht1 的 情况 下 才能 
发 生 。 由 于 uh 的 取 值 从 来 不 会 降低 ， 为 了 让 v h=u. h+1 EERS, v h 的 值 必须 增加 至 少 2 
SAL. AE, u h 的 值 在 两 次 从 结 点 v 到 结 点 的 饱和 推送 操作 之 间 必 须 增加 至 少 2 个 单位 。 
由 于 高 度 的 初始 值 为 0， 根 据 引 理 26. 20， 高 度 从 来 不 会 超过 21V| 一 1， 这 意味 着 对 于 任意 一 个 
结 点 来 说 ， 其 高 度 增加 2 个 单位 的 次 数 都 小 于 |V| 。 由 于 在 结 点 u 和 结 点 wv 之 间 的 任意 两 次 饱和 
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推送 操作 之 间 ，u.h Mo. h 两 个 值 中 ， 至 少 有 一 个 值 将 增加 2 个 单位 ， 结 点 和 结 点 v E 
和 推送 操作 的 次 数 必定 少 于 21V| 。 将 该 数值 乘 以 边 的 条 数 ， 便 可 得 出 : 饱和 推送 操作 总 次 数 的 
上 界 为 21V| | 已 | 。 a 
下 面 的 引 理 对 通用 推送 - 重 贴 标签 算法 中 的 非 饱和 推送 操作 的 次 数 进行 了 限制 。 
引 理 26. 23( 非 饱和 推送 操作 次 数 的 上 界 ) 设 G=(V,，E) 是 源 结 点 为 s 汇 点 为 t 的 一 个 流 网 
则 在 G 上 执行 算法 GENERIC-PUSH-RELABEL 的 过 程 中 ， 非 饱和 推送 操作 的 次 数 少 于 
AVIVI HIEN 
证 明 ”我 们 在 证 明 中 将 使 用 聚合 分 析 。 首 先 定义 势能 函数 O= ae v.h。 在 初始 情况 下 ， 


O=0, H 旬 的 值 在 每 次 重 贴 操作 、 饱 和 推送 操作 和 非 饱 和 推送 操作 后 都 可 能 发 生 改 变 。 饱 和 推 
送 操作 和 重 贴标签 操作 都 会 导致 @ 值 的 增加 ， 首 先 对 这 种 增加 的 上 界 进行 限定 。 然 后 再 证 明 每 
个 非 饱和 推送 操作 将 © 的 值 降低 至 少 1 个 单位 ， 并 且 使 用 这 些 限 值 来 导出 非 饱和 推送 操作 次 数 
的 上 界 。 

让 我 们 检查 一 下 下 值 可 能 增长 的 两 种 方式 。 首 先 ， 对 一 个 结 点 u 进行 重 贴标签 操作 给 更 值 
带 来 的 增加 量 少 于 2|V| ， 因 为 用 于 求 和 的 集合 是 相同 的 (或 求 和 所 覆盖 的 集合 是 相同 的 )， 而 重 
贴标签 操作 不 能 将 结 点 u 的 高 度 增加 超过 其 最 大 可 能 的 高 度 。 根 据 引 理 26. 20， 这 个 高 度 最 多 为 
21V| 一 1。 其 次 ,一 个 从 结 点 u 到 结 点 v 的 饱和 推送 操作 给 惠 值 所 增加 的 量 少 于 21V| ， 因 为 没 
有 高 度 变化 ， 并 且 只 有 结 点 v 可 能 成 为 溢出 结 点 ， 而 结 点 v 的 高 度 最 多 为 21V| 一 1。 

现在 来 证 明 一 个 从 结 点 到 结 点 wv 的 非 饱 和 推送 将 © 的 值 降低 至 少 1 个 单位 。 为 什么 这 样 说 
We? 在 非 饱 和 推送 操作 前 ， 结 点 在 溢出 ， 而 结 点 v 可 能 溢出 ， 也 可 能 没有 洲 出 。 根 据 引 理 
26. 13， 结 点 u 在 推送 操作 后 不 会 再 溢出 。 此 外 ， 除 非 v 是 源 结 点 ， 否 则 它 在 推送 操作 后 可 能 洲 
出 ， 也 可 能 不 溢出 。 因 此 ， 势 能 函数 旬 减 少 的 量 恰好 是 u.h， 并 且 其 增加 的 量 要 么 是 0， 要 么 是 
v.h。 由 于 uh 一 v.h 二 1]， 净 效果 是 势能 函数 至 少 降低 一 个 单位 。 

因此 ， 在 算法 的 运行 过 程 中 ，@ 的 总 增长 量 都 来 源 于 重 贴标签 操作 和 饱和 推送 操作 ， 而 推论 
26. 21 和 引 理 26. 22 将 这 种 增长 限制 在 少 于 (21V1)C21V|)+ CIVDEIVIIED=4|V]|? 
(|V| 十 |E|) 的 范围 内 。 由 于 B 宇 909，@ 值 减少 的 总 量 ， 也 就 是 非 饱 和 推送 操作 的 总 次 数 ， 小 于 
4|VI?CIVI+IEl). = 

在 对 重 贴标签 操作 、 饱 和 推送 操作 、 非 饱和 推送 操作 的 次 数 进行 了 限定 后 ， 我 们 就 可 以 对 
GENERIC-PUSH-RELABEL 算法 进行 分 析 ， 还 可 以 对 任何 基于 推送 - 重 贴 标签 方法 的 算法 进行 分 析 。 

定理 26. 24 在 任意 流 网 络 G 二 (V，EE) 上 执行 GENERIC-PUSH-RELABEL 算法 的 过 程 中 ， 
基本 操作 的 总 次 数 是 OWE). 

证 明 从 推论 26. 21 和 引 理 26. 22 及 引 理 26. 23 可 立即 推 得 定理 中 的 结论 。 @ 

因此 ， 算 法 GENERIC-PUSH-RELABEL 在 O(V2E) 个 操作 后 终止 。 剩 下 的 就 是 给 出 实现 每 
个 操作 的 有 效 方法 和 选择 合适 的 操作 予以 执行 。 

推论 26.25 ”对 于 任意 流 网 络 G 一 (V， 屯 ) ， 都 存在 一 种 通用 推送 - 重 贴标签 算法 的 实现 ， 其 
运行 时 间 为 OVE). 

证 明 练习 26. 4-2 要 求 读者 来 说 明 如 何 实现 通用 推送 - 重 贴标签 算法 ， 使 得 每 个 重 贴标签 的 
操作 成 本 为 OC(V)， 每 个 推送 操作 的 成 本 为 O(1) 。 它 同时 还 要 求 读 者 设计 一 个 数据 结构 来 允许 用 
户 在 O(G1) 时 间 内 选择 一 个 合适 的 操作 。 本 推论 将 从 这 些 结果 中 立即 得 到 。 a 


练习 
26.4-1 证 明 : 在 算法 INITIALIZE-PREFLOW(G，;s) 终 止 后 ， 有 5.e 志 一 |f* |， 其 中 广 是 流 
网 络 G 的 一 个 最 大 流 。 
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26.4-2 说明 如 何 实现 通用 推送 - 重 贴标签 算法 ， 使 得 每 个 重 贴标签 的 操作 成 本 为 OC(V)， 每 个 推 
送 操 作 的 成 本 为 O(1)， 并 且 可 以 在 O(1) 时 间 内 选择 一 个 合适 的 操作 ， 从 而 使 得 整个 算 
法 的 运行 时 间 为 OCV E). 

26.4-3 证明 : 通用 推送 - 重 贴标签 算法 只 用 了 总 共 OCVE) 的 时 间 来 执行 所 有 OV ) 个 重 贴标签 
操作 。 

26. 4-4 假定 使 用 推送 - 重 贴标签 算法 找到 了 流 网 络 G 二 (V，E) 的 一 个 最 大 流 ， 给 出 一 个 快速 算 
法 来 找到 G 的 一 个 最 小 切割 。 

26.4-5 给 出 一 个 有 效 的 推送 - 重 贴标签 算法 ， 使 得 其 可 以 在 一 个 二 分 图 中 找到 一 个 最 大 匹配 。 
分 析 你 的 算法 的 效率 。 

26.4-6 假定 在 流 网 络 G 二 (V，E) 中 所 有 边 的 容量 都 在 集合 {1，2，…，&}) 里 。 分 析 通 用 推送 - 
重 贴 标签 算法 的 运行 时 间 ， 请 以 |V| 、|E| 和 来 予以 表示 。( 提 示 : 每 条 边 在 变 为 饱 
和 之 前 可 以 支持 多 少 次 非 饱 和 推送 操作 ?) 

26.4-7 WEH: 我 们 可 以 将 INITIALIZE-PREFLOW 算法 的 第 6 行 改 为 如 下 : 

6s.h = |G.V|—2 

而 不 会 影响 通用 推送 - 重 贴标签 算法 的 正确 性 和 渐 近 性 能 。 

26.4-8 tòu, VARNA Gr PAAA u 到 结 点 v 的 距离 ( 边 的 条 数 )。 证 明 : GENERIC 
PUSH-RELABEL 算法 维持 u.h 二 |V| PES ROR u.h<6;(u, t), 维持 性 质 u. h> 
|V| WR u.h—|V|<d;(u, s). 

*26.4-9 ”如 前 一 个 练习 ， 设 6/(u，wv) 为 残存 网 络 Cr PMR 到 结 点 v 的 距离 。 请 说 明 如 何 修 
改 通 用 推送 - 重 贴标签 算法 ， 以 使 得 维持 u h< |V] EREE u. h= lu, t), FF 
性 质 u.h 宇 |V | 意味 着 u.h 一 |V| 二 6,/(u，s)。 你 所 设计 算法 用 于 维持 该 性 质 所 用 的 总 时 
间 应 该 为 OVE). 

26.4-10 证明 : 在 流 网 络 G=(V, E) bist GENERIC-PUSH-RELABEL 算法 所 执行 的 非 饱 和 
推送 操作 的 总 次 数 为 4|1V1?|E| ， 这 里 假定 1V| 宇 4。 


“26.5 前 置 重 贴 标签 算法 
推送 - 重 贴标签 方法 允许 我 们 以 任意 次 序 执 行 基本 操作 。 但 是 ， 如 果 仔 细 地 选择 这 个 次 序 ， 
并 对 网 络 数据 结构 进行 高 效 的 管理 ， 我 们 便 可 以 以 比 推论 26. 25 所 给 出 的 OC(V?*E) 时 间 复 杂 度 更 
快 的 速度 来 解决 最 大 流 问 题 。 下 面 将 要 讨论 的 算法 是 前 置 重 贴标签 算法 ， 该 算法 是 一 个 运行 时 
EA OV ) 的 推送 - 重 贴标签 算法 ， 其 运行 时 间 在 一 般 情 况 下 不 亚 于 OCE) ， 而 在 稠密 网 络 情况 
下 要 优 于 OV E). 
前 置 重 贴标签 算法 在 执行 过 程 维 持 一 个 网 络 中 的 结 点 的 链表 。 算 法 从 头 到 尾 对 链表 进行 扫 
描 ， 每 次 选择 一 个 溢出 结 点 w， 然 后 对 所 选 结 点 进行 “释放 ”， 即 对 所 选 结 点 执行 推送 操作 和 重 贴 
标签 操作 ， 直 到 该 结 点 不 再 拥有 正 值 的 超额 流量 为 止 。 每 次 在 算法 对 一 个 结 点 进行 重 贴标签 操 
作 时 ， 我 们 都 将 该 结 点 移动 到 链表 的 最 前 面 (这 就 是 “前 置 重 贴标签 算法 ?名字 的 由 来 )， 而 算法 则 
开始 一 次 新 的 扫描 。 
前 置 重 贴标签 算法 的 正确 性 和 时 间 复 杂 度 分 析 都 依赖 于 所 谓 的 “许可 边 ” 的 概念 。 许 可 边 是 
指 在 残存 网 络 中 ， 流 可 以 经 其 进行 推送 的 边 。 在 对 由 许可 边 所 组 成 的 网 络 的 一 些 性 质 进行 证 明 
后 ,我 们 将 研究 结 点 的 释放 操作 ， 然 后 阐述 并 分 析 前 置 重 贴标签 算法 。 
许可 边 和 网 络 
设 图 G 二 (V，E) 是 一 个 源 结 点 为 ; 汇 点 为 + 的 流 网 络 ，f 是 G 的 一 个 预 流 ，h 是 一 个 高 度 
mA. WW, V, WE clu, V0 H hD =h) tl, WHC, VERFT. B, 
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边 (zx， 切 是非 许可 边 。 许 可 网 络 则 指 的 是 图 Gua =V, Epa) HP Ej 是 许可 边 的 集合 。 

从 上 述 定义 可 知 ， 许 可 网 络 由 那些 可 以 在 其 上 推送 流 的 边 所 构成 。 下 面 的 引 理 表明 这 种 网 
络 是 一 个 有 向 无 环 图 。 

引 理 26. 26( 许 可 网 络 是 无 环 的 ) wKRAG=(V, DA-+*+ RASA SILAAtCHAMSA, f 
是 G 的 一 个 预 流 , AAA SEAR, MTAA Gur =V, Ep, RAR. 

证 明 使 用 反 证 法 。 假定 许可 网 络 Gi 包含 一 条 环 路 p= 二 《vw， Wy ey Ws 其 中 wi 二 H 
k>0,. HFK p 上 的 每 条 边 都 是 许可 边 ， 因 此 有 h《v i) 二 hw) 十 1，i 二 1，2，…，k。 将 这 些 
等 式 加 起 来 ， 我 们 有 : 


Phew)= Saw) +) = = Daca) +8 


因为 环 路 p 上 的 每 个 结 点 在 两 边 的 和 式 中 各 出 现 一 次 ， 因此 得 到 矛盾 的 结果 0 一 k. m 

下 面 的 两 个 引 理 说 明 推 送 操作 和 重 贴标签 操作 是 如 何 改变 许可 网 络 的 。 

引 理 26. 27 如 果 图 G 二 (V， 忆 ) 是 一 个 源 结 点 为 s 汇 点 为 1 的 流 网 络 ，f 是 G 的 一 个 预 流 ， 
假定 疡 是 一 个 高 度 函 数 ， 如 果 结 点 & 是 一 个 溢出 结 点 ， 且 (zx， 切 是 一 条 许可 边 ， 则 PUSH, v) 
操作 适用 于 结 点 上。 该 操作 不 会 创建 任何 新 的 许可 边 ， 但 有 可 能 导致 边 (u， 忆 成 为 非 许可 边 。 

证 明 根据 许可 边 的 定义 ， 可 以 从 结 点 x 往 结 点 推送 流 。 由 于 结 点 x 在 溢出 ，PUSH(xz， 了 z) 
操作 适用 于 结 点 wx。 从 结 点 ， 到 结 点 推送 流 的 操作 所 能 创建 的 唯一 的 新 残存 边 是 边 (vw，wu)。 由 
于 wh 二 uw.h 一 1， 边 (v， 世 不 可 能 成 为 许可 边 。 如 果 推 送 操作 是 一 个 饱和 推送 ， 则 在 操作 之 后 有 
cu, v=OFF AW u, VRAIT YW. w 

51 26.28 设 图 G 二 (V,) 是 一 个 源 结 点 为 s、 汇 点 为 的 流 网 络 ，f 是 G 的 一 个 预 流 ， 
假定 灵 是 一 个 高 度 函 数 ， 如 果 结 点 2 是 一 个 溢出 结 点 ， 且 不 存在 从 结 点 2 发 出 的 许可 边 ， 则 
RELABEL(z) 操 作 适 用 于 结 点 &。 此 外 ， 在 对 结 点 & 进行 重 贴标签 操作 后 ， 将 至 少 存在 一 条 从 结 
点 2 发 出 的 许可 边 ， 但 不 存在 进入 结 点 双 的 许可 边 。 

证 明 ”如 果 结 点 在 溢出 ， 则 根据 引 理 26. 14， 推 送 操作 或 重 贴标签 操作 可 以 应 用 于 结 点 w。 
如 果 没 有 从 结 点 发 出 的 许可 边 ， 则 不 能 从 结 点 往外 推送 任何 流 ， 因 此 ，RELABEL(w) 操 作 可 
以 应 用 于 结 点 w。 在 对 进行 重 贴 标签 操作 后 ， 将 有 .hh 二 1 十 min{v.h: (u, v EE,}。 因 此 ， 如 
果 结 点 "是 该 集合 中 取 值 最 小 的 结 点 ， 边 (xz， 切 将 成 为 非 许可 边 。 因 此 ， 在 重 贴标签 操作 后 ， 将 
至 少 存在 一 条 从 结 点 x 发 出 的 许可 边 。 

要 证 明 在 重 贴标签 操作 后 ， 不 存在 进入 结 点 w 的 许可 边 ， 我 们 可 以 使 用 反 证 法 。 假 定 存 在 一 
个 结 点 v， 使 得 (vw，w) 是 一 条 许可 边 。 那 么 在 重 贴标签 操作 后 ， 有 v.h 二 wu.h 十 1， 因 此 ， 在 重 贴 
标签 之 前 有 v. hh 二 u.h 十 1。 根 据 引 理 26. 12， 在 高 度 差 超过 1 的 结 点 对 之 间 不 存在 残存 边 。 而 且 ， 
对 一 个 结 点 进行 重 贴标签 操作 并 不 会 改变 残存 网 络 。 因 此 ， 边 (vw，w) 不 属于 残存 网 络 ， 从 而 它 不 
可 能 是 许可 网 络 的 一 条 边 。 Gi 

邻接 链表 

在 前 置 重 贴标签 算法 中 ， 我 们 将 所 有 的 边 都 组 织 为 “邻接 链表 ”。 给 定 流 网 络 G=(V, E), 
对 于 结 点 xEV， 其 邻接 链表 u N 是 结 点 x ERG 中 的 邻接 结 点 所 构成 的 一 个 单 链 表 。 因 此 ， 如 
RUU, WCERFU(v, WEE, WAAR v 将 出 现在 链表 u. N 中 。 邻 接 链表 u N 包含 的 结 点 
恰好 是 那些 可 能 存在 残存 边 (u，w) 的 结 点 v。 属 性 u. N. head 指向 的 是 邻接 链表 wx. N 中 的 第 一 个 
Zim v. next-neighbor 指向 的 是 在 链表 wu. N 中 位 于 结 点 v 后面 的 一 个 结 点 ( 即 v 的 后 继 结 点 )。 
如 果 wv 是 链表 中 的 最 后 一 个 结 点 ， 则 该 指针 的 值 为 NIL. 

前 置 重 贴标签 算法 以 任意 次 序 遍 历 每 个 邻接 链表 ， 该 次 序 在 算法 的 整个 执行 过 程 中 维持 不 
变 。 对 于 每 个 结 点 w， 属 性 u. current 指向 的 是 x. N 链表 中 当前 正在 考虑 的 结 点 。 在 初始 状态 下 ， 
u. current 被 设置 为 u. N. head, 
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释放 溢出 结 点 

对 于 溢出 结 点 wx， 如 果 将 其 所 有 多 余 的 流通 过 许可 边 推送 到 相 邻 的 结 点 上 ， 则 称 该 结 点 得 到 
释放 。 在 释放 过 程 中 ， 需 要 对 结 点 u 进行 重 贴标签 操作 ， 这 使 得 从 结 点 u 发 出 的 边 成 为 许可 边 。 
下 面 是 释放 操作 DISCHARGE 的 伪 代 码 ; 

DISCHARGE(u) 

1 while u. e>0 

2 v=u. current 

3 if v == NIL 
4 RELABEL(u) 
5 u. current=u. N. head 
6 elseif c;(u,v)>0 and u.h==v.h+1 
7 PUSH (u,v) 
8 


else u. current=v. next-neighbor 


图 26-9 描述 的 是 上 述 算法 第 1 一 8 ÍT while 循环 的 几 次 执行 。 只 要 结 点 4 还 有 正 值 的 超额 流 
量 ， 该 循环 就 持续 执行 。 每 次 迭代 执行 下 面 三 种 操作 中 的 一 种 ， 具 体 执行 哪 种 操作 取决 于 邻接 链 
R u. N 中 当前 结 点 v 的 情况 。 
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图 26-9 对 结 点 y 进行 的 释放 操作 。 一 共 需 要 15 iki while 循环 的 DISCHARGE 操作 ， 才 将 结 点 y 
的 所 有 超额 流 推送 出 去 。 图 中 仅 显 示 了 结 点 y 的 邻接 结 点 和 流 网 络 中 进入 或 离开 结 点 y 
的 边 。 在 图 的 每 个 部 分 ， 结 点 中 的 数值 为 其 在 该 部 分 图 的 第 一 次 迭代 开始 时 的 超额 流量 
值 ， 每 个 结 点 都 显示 相应 的 高 度 标尺 上 。 在 每 次 迭代 开始 时 ， 邻 接 链 表 y. N 的 内 容 显 
示 在 图 的 右面 ， 而 迭代 的 次 数 显示 在 项 上 。 窗 盖 阴 影 的 邻接 结 点 是 y. current。(a) 初 始 
情况 下 ， 结 点 y 上 有 19 个 单位 的 超额 流量 ， 并 且 y. current=s, HEAR 1、2 和 3 只 不 过 
是 将 y. current 指针 往 前 推进 ， 因 为 没有 任何 从 结 点 y 发 出 的 许可 边 存 在 。 在 第 4 次 迭 
AREF, y. current 二 NIL( 邻 接 链表 下 面 的 履 盖 阴影 的 圆圈 )， 因 此 ， 算 法 对 结 点 y 进行 重 
贴标签 操作 ， 且 y. current 被 复位 到 邻接 链表 的 开头 。(b) 在 重 贴标签 操作 后 ， 结 点 y 的 
高 度 为 1。 在 第 5 次 和 第 6 VERH, 边 (y，s) 和 边 (y，z) 都 被 发 现 是 非 许可 边 ， 但 在 
第 7 次 迭代 中 ,算法 将 8 个 单位 的 超额 流量 从 结 点 y 推送 到 结 点 z。 因 为 这 次 推送 ， 指 
EF y. current 在 该 次 迭代 中 没有 往 前 推进 。(c) 因 为 第 7 次 迭代 的 推送 操作 将 边 (y，z) 推 
至 饱和 状态 ， 该 条 边 在 第 8 次 迭代 时 被 发 现 是 非 许可 边 。 在 第 9 次 迭代 时 ，y. current= 
NIL， 因 此 , 算法 对 结 点 y 将 再 次 进行 重 贴标签 操作 ， 且 y. current 被 复位 到 链表 的 最 
前 端 。(d) 在 第 10 次 迭代 时 ， 边 (y，s) 是 非 许可 边 , 但 第 11 次 迭代 时 ,算法 将 5 个 单 
位 的 超额 流量 从 结 点 y 推送 到 结 点 工 。(e) 因 为 y. current 指针 在 第 11 次 迭代 时 没有 往 
前 推进 ， 在 第 12 次 迭代 时 ， 该 算法 发 现 边 (y，xz) 是 非 许 可 边 。 第 13 次 迭代 则 发 现 边 
(y，z) 是 非 许可 边 ， 在 第 14 次 迭代 时 ,算法 对 结 点 y 进行 重 贴 标签 操作 并 对 指针 
y. current ETR. (DER 15 次 迭代 时 ， 算 法 将 6 个 单位 的 超额 流量 从 结 点 y 推送 到 
Baws. QAR y 现在 已 经 没有 超额 流量 ，DISCHARGE 算法 终止 。 在 本 例 中 ， 算 
法 DISCHARGE 在 开始 和 结束 时 ， 当 前 的 指针 都 指向 邻接 链表 的 开头 ， 但 在 一 般 情况 
下 ， 这 个 假设 不 一 定 成 立 
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442 。 第 六 部 分 图 A 法 


1. 如 果 结 点 v 是 NIL， 则 运行 至 邻接 链表 u NN 的 末尾 。 此 时 ， 算法 第 4 行将 对 结 点 wu 进行 
重 贴标签 操作 ， 算 法 第 5 行将 结 点 的 当前 邻 结 点 设 为 邻接 链表 . N 的 第 一 个 元 素 。( 下 面 的 引 
HE 26. 29 将 证 明 重 贴标签 操作 在 本 场景 下 是 适用 的 。) 

2. 如 果 结 点 "是非 NIL， 并 且 边 (x， 切 是 一 条 许可 边 (由 算法 第 6 行 的 测试 所 决定 )， 则 算法 
第 7 行将 结 点 xz 的 部 分 (也 可 能 是 全 部 ) 超 额 流量 推送 到 结 点 v 上 。 

3. 如 果 结 点 v 是 非 NIL, 但 边 (u，wv) 是 非 许可 边 ， 则 算法 第 8 行将 邻接 链表 u NN 中 的 
u. current 指针 往 前 推进 一 个 位 置 。 

这 里 请 注意 ， 如 果 针 对 一 个 溢出 结 点 来 调用 DISCHARGE 操作 ， 则 DISCHARGE 所 执行 
的 最 后 一 个 操作 必定 是 对 结 点 所 执行 的 推送 操作 。 为 什么 ?因为 该 算法 终止 的 唯一 条 件 是 当 
x.e 为 0 时 ， 重 贴标签 操作 和 将 指针 u. current 往 前 推进 的 操作 都 不 会 影响 u.e 的 取 值 。 

我 们 必须 确保 ， 当 DISCHARGE 操作 调用 PUSH 或 RELABEL 操作 时 ， 该 操作 确实 是 当时 
适用 的 操作 。 下 面 的 引 理 将 证 明 这 个 事实 。 

引 理 26. 29 如 果 DISCHARGE 操作 在 第 7 行 调用 PUSH(x， 了 七 操作 ， 则 推送 操作 适用 于 边 
(u, v), $e DISCHARGE 操作 在 第 4 行 调用 RELABEL(z) 操 作 ， 则 重 贴标签 操作 适用 于 结 点 uo 

证 明 ”算法 第 1 行 和 第 6 行 的 测试 确保 推送 操作 仅 在 该 操作 适用 时 才 会 被 调用 ， 因 此 ， 引 理 
的 第 一 部 分 得 到 证 明 。 

要 证 明 引 理 的 第 二 格 部 分 ， 根 据 算 法 第 1 行 的 测试 和 引 理 26. 28 ， 我 们 只 需要 证 明 所 有 从 结 
Bu 发 出 的 边 都 是 许可 边 即 可 。 如 果 在 DISCHARGE(w) 的 调用 开始 时 ， 指 针 u. current 指向 的 是 
结 点 v 的 邻接 链表 的 表 头 ， 在 调用 结束 时 指针 指向 的 是 链表 的 末尾 之 后 ， 则 结 点 vx 的 所 有 发 出 边 
都 是 非 许 可 边 ， 并 且 重 贴标签 操作 可 以 应 用 于 结 点 uw。 但 是 ， 在 DISCHARGE(w) 的 调用 过 程 中 ， 
指针 u. current 仅仅 遍历 了 链表 的 一 部 分 ， 程 序 就 结束 并 返回 了 。 此 时 ， 我 们 可 以 针对 其 他 结 点 
调用 DISCHARGE(z) 操 作 ， 但 u. current 指针 将 在 下 一 次 对 DISCHARGE(w) 的 调用 中 继续 在 链 
表 中 向 前 推进 。 现 在 考虑 对 链表 进行 一 次 完整 遍历 时 所 发 生 的 事情 。 在 一 次 完整 的 遍历 中 ， 指 针 
在 开始 时 指向 邻接 链表 u N 的 开头 ， 结 束 时 指向 链表 末尾 的 后 面 一 个 位 置 ， 即 u. current=NIL, 
一 旦 u. current 指针 到 达 了 链表 的 末尾 ， 算 法 就 将 对 结 点 凿 进行 重 贴标签 操作 ， 并 开始 新 一 轮 的 
遍历 。 在 一 次 遍历 中 ， 如 果 u. current 指针 要 推进 到 结 点 vEw. N WEHA, WA, V VEER 
法 第 6 行 的 测试 中 被 判定 为 非 许 可 边 。 因 此 ， 在 该 次 遍历 结束 时 ， 每 条 从 结 点 x 发 出 的 边 都 在 遍 
历 的 某 个 阶段 被 裁定 为 非 许 可 边 。 这 里 需要 注意 的 关键 是 ， 在 一 次 遍历 的 末尾 ， 所 有 从 结 点 x 发 
出 的 边 仍 然 是 非 许可 边 。 为 什么 ? 根据 引 理 26. 27， 对 于 推送 操作 来 说 ， 不 管 流 是 从 哪个 结 点 所 
推送 出 来 的 ， 都 不 能 创建 任何 许可 边 。 因 此 ， 任 何许 可 边 必定 由 重 贴标签 操作 所 创建 。 但 结 点 z 
在 遍历 中 并 没有 进行 重 贴标签 操作 ， 根 据 引 理 26. 28， 任 何在 遍历 (这 是 调用 DISCHARGE(z) 的 
结果 ) 中 被 重 贴标签 的 结 点 在 重 贴标签 操作 后 将 没有 进入 的 许可 边 。 因 此 ， 在 遍历 结束 时 ， 所 
有 从 结 点 2 发 出 的 边 都 仍 是 非 许可 边 ， 而 这 就 完成 了 我 们 的 证 明 。 图 

前 置 重 贴标签 算法 

在 前 置 重 贴标签 算法 中 ,我们 维持 一 个 链表 工 ， 该 表 由 V 一 {s, 中 的 所 有 结 点 构成 。 这 里 
的 关键 性 质 是 ， 链 表 工 中 的 结 点 均 按照 许可 网 络 里 面 的 拓扑 排序 次 序 存放 ， 就 如 我 们 将 在 下 面 
的 循环 不 变 式 中 所 看 到 的 。( 由 引 理 26. 26 可 知 ， 许 可 网 络 是 一 个 有 向 无 环 图 。) 

在 前 置 重 贴标签 算法 的 伪 代 码 中 ， 假 定 针对 每 个 结 点 u, BHR u. N 都 已 经 被 创立 。 该 算 
法 同时 还 假定 u. next 指针 指向 链表 工 中 紧 随 结 点 的 结 点 ( 结 点 2 的 后 继 结 点 )， 并 且 ， 与 往常 
一 样 ， 如 果 结 点 是 链表 的 最 后 一 个 结 点 ， 则 xxext 王 NIL。 

RELABEL-TO-FRONT(G, 552) 

1 INITIALIZE-PREFLOW(G, s) 

2 L=G.V—{s,t},in any order 
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3 for each vertex u€ G.V—{s,t} 

4 u. current=u. N. head 

5 u=L. head 

6 while uANIL 

T old-height=u. h 

8 DISCHARGE(u) 

9 if u. h>old-height 

10 move u to the front of list L 


11 u=u. next 


前 置 重 贴标签 算法 的 工作 过 程 如 下 : 算法 第 1 行 对 网 络 的 预 流 和 高 度 进 行 初始 化 ， 初 始 化 所 用 到 的 
值 与 通用 推送 - 重 贴标签 算法 所 用 的 值 相同 。 算 法 第 2 行 对 链表 工 进行 初始 化 ， 在 该 步 初始 化 操作 结束 
时 ， 链 表 工 中 包含 的 是 所 有 可 能 出 现 潜在 溢出 的 结 点 ， 而 结 点 之 间 的 次 序 则 是 任意 的 。 算 法 第 3 一 4 行 对 
每 个 结 点 的 current 指针 进行 初始 化 ， 使 其 指向 结 点 的 邻接 链表 的 第 一 个 结 点 ( 表 头 结 点 )。 

如 图 26-10 Bras, 算法 第 6~11 行 的 while 循环 对 链表 工 进行 遍历 并 释放 结 点 。 算 法 第 5 行 
从 链表 的 第 一 个 结 点 开始 检查 。 每 次 通过 while 循环 时 ， 算 法 第 8 行 对 结 点 u 进行 释放 操作 。 如 
FRSA KA u TE DISCHARGE 过 程 执行 了 重 贴标签 操作 ， 则 算法 的 第 10 行 负责 将 其 移动 到 链表 工 的 
最 前 面 。 对 于 结 点 v 来 说 ， 通 过 比较 其 释放 操作 前 的 高 度 与 释放 后 的 高 度 ( 第 9 行 )， 可 以 判断 出 
结 点 & 是否 执 行 了 重 贴标签 操作 。 结 点 在 释放 前 的 高 度 保 存在 算法 第 7 行 的 变量 old-height 中 。 
算法 第 11 行 以 链表 工 Pu 结 点 后 面 的 一 个 结 点 作为 下 一 次 迭代 的 基点 。 如 果 算 法 第 10 行将 结 点 
& 移 到 了 链表 的 最 前 面 ， 则 下 一 次 迭代 所 用 到 的 结 点 是 “在 新 位 置 上 的 后 继 结 点 。 
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图 26-10 ”前 置 重 贴标签 算法 的 执行 过 程 。(a) 在 while 循环 第 一 次 迭代 之 前 的 流 网 络 。 在 初始 时 ， 有 26 个 
单位 的 流 从 源 结 点 * 发 出 。 图 的 右面 显示 的 是 初始 链表 工 一 (z，y， 忆 。 在 初始 情况 下 ，* 一 xz。 在 
链表 工 中 的 每 个 结 点 之 下 为 该 结 点 的 邻接 链表 ， 其 中 我 们 在 当前 的 邻 结 点 上 加 了 阴影 。 算 法 对 
结 点 工 进 行 释 放 操作 ， 在 该 释放 操作 中 ， 我 们 对 其 进行 了 重 贴标签 操作 ， 操 作 后 结 点 z 的 高 度 为 
1， 此 外 ， 算 法 还 将 结 点 工 的 5 个 单位 的 超额 流量 推送 到 结 点 >， 一 下 的 7 个 单位 的 超额 流量 推送 
到 终结 点 t。 因 为 z 执 行 了 重 贴 标签 操作 ， 所 以 算法 将 其 移动 到 链表 工 的 最 前 面 ， 在 本 图 中 ， 这 
种 移动 并 不 改变 链表 工 的 结构 。(b) 在 结 点 x 之 后 ,链表 工 中 的 下 一 个 被 释放 的 结 点 是 结 点 yo 
图 26-9 描述 的 是 在 这 种 情况 下 释放 结 点 y 的 详细 过 程 。 因 为 结 点 y 也 执行 了 重 贴标签 操作 ， 它 
也 被 移动 到 链表 工 的 开头 。(c) 现 在 ， 结 点 工 在 链表 工 中 位 于 结 点 y 的 后 面 ， 因 此 它 再 次 被 释放 ， 
将 所 有 5 个 单位 的 超额 流量 推送 到 终结 点 :。 因 为 结 点 z 在 本 次 释放 操作 中 没有 执行 重 贴标签 操 
作 ， 所 以 它 在 链表 工 中 的 位 置 保持 不 变 。(d) 由 于 结 点 = 在 链表 工 中 紧 随 着 结 点 zx， 故 该 结 点 将 
被 释放 。 其 高 度 在 重 贴标签 操作 后 为 1， 其 所 有 8 个 单位 的 超额 流量 都 被 推送 到 终结 点 :。 因 为 
结 点 执行 了 重 贴标签 操作 ， 所 以 其 也 被 移动 到 链表 工 的 前 端 。(e®) 结 点 y 现在 位 于 结 点 z 之 后 ， 
因此 将 再 次 被 释放 。 但 是 因为 结 点 y 已 经 没有 超额 流量 ，DISCHARGE 操作 将 立即 返回 , 结 点 y 
维持 在 链表 工 中 的 位 置 不 变 。 在 此 之 后 ， 结 点 z 被 释放 。 因 为 结 点 工 也 已 经 没有 超额 流量 ， 
DISCHARGE 操作 将 再 一 次 返回 ， 结 点 工 维持 原 位 置 不 变 。 此 时 ， 前 置 重 贴标签 算法 到 达 链表 工 
的 末尾 ,算法 终止 。 这 时 再 没有 溢出 的 结 点 ， 预 流 就 是 一 个 最 大 流 
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图 26-10 (4) 


为 了 证 明 前 置 重 贴标签 算法 确实 计算 出 了 一 个 最 大 流 ， 我 们 将 证 明 它 就 是 通用 推送 - 重 贴 标 
签 算法 的 一 种 实现 。 首 先 ， 我 们 观察 到 ， 该 算法 仅 在 推送 操作 和 重 贴标签 操作 适用 的 时 候 才 执行 
这 些 操作 ， 因 为 引 理 26. 29 保证 DISCHARGE 操作 只 在 这 些 操作 适用 的 情况 下 才 调 用 它们 。 剩 
下 的 只 需要 证 明 当 前 置 重 贴标签 算法 终止 时 ， 没 有 任何 基本 的 操作 可 以 适用 。 正 确 性 论断 的 剩 
余部 分 依赖 于 下 面 的 循环 不 变 式 : 

在 前 置 重 贴标签 算法 第 6 行 的 测试 中 ,链表 工 是 可 允许 网 络 Gyi 二 (V，E,ji) 中 结 点 的 一 个 
拓扑 排序 ,并且 在 链表 工 PATH Au 前 面 的 结 点 没有 超额 流量 。 

初始 化 : 执行 INITIALIZE-PREFLOW 操作 后 立即 可 得 ，s.h 二 |V| 并 且 对 于 所 有 的 
vEV— {s}, uv h=0. HFIVIS2 AAV 至 少 包 含 源 结 点 s 和 汇 点 t+)， 没 有 边 是 许可 边 。 因 此 
Ej 二 多 ， 并 且 和 集合 V 一 {s, 人 中 结 点 之 间 的 任意 次 序 都 是 Gj,; 的 一 个 拓扑 排序 。 
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另外 ， 因 为 在 初始 情况 下 ， 结 点 是 链表 工 的 表 头 ， 它 前 面 没有 其 他 结 点 ， 因 此 在 其 前 面 没 
有 超额 流量 的 结 点 。 

保持 : 要 证 明 while 循环 的 每 次 迭代 都 维持 拓扑 排序 的 次 序 ， 首 先 观察 到 许可 网 络 只 在 推送 
操作 和 重 贴标签 操作 中 发 生 改 变 。 根 据 引 理 26. 27， 推 送 操作 不 能 将 边 改 变 为 许可 边 。 因 此 ， 只 
有 重 贴标签 操作 能 够 创建 许可 边 。 但 是 ， 在 对 一 个 结 点 u 进行 重 贴标签 操作 后 ， 根 据 引 理 
26. 28， 不 存在 进入 结 点 u 的 许可 边 , 但 可 能 有 从 结 点 发 出 的 许可 边 。 因 此 ， 通 过 将 u 移动 到 
ERL 的 前 端 ， 该 算法 确保 所 有 从 发 出 的 许可 边 都 满足 拓扑 排序 的 次 序 。 

为 了 证 明 在 链表 工 中 处 于 结 点 前 面 的 结 点 都 没有 超额 流量 ,我 们 把 下 一 个 次 迭代 中 将 
作为 结 点 的 结 点 标记 为 '。 在 下 一 次 迭代 中 位 于 结 点 & 之 前 的 结 点 包括 当前 的 结 点 u( 因 
为 算法 第 11 行 )， 以 及 要 么 没有 其 他 结 点 (如 果 结 点 xz 执行 了 重 贴标签 操作 ) 要 么 与 原来 相同 
的 结 点 (如 果 结 点 xz 没有 执行 重 贴标签 操作 ) 。 当 对 结 点 wu 进行 释放 时 ， 结 点 x 在 此 操作 之 后 
将 没有 超额 流量 。 因 此 ， 如 果 结 点 vx 在 释放 过 程 中 执行 了 重 贴标签 操作 ， 则 所 有 位 于 结 点 u 
之 前 的 结 点 都 没有 超额 流量 。 如 果 结 点 在 释放 过 程 中 没有 执行 重 贴标签 操作 ， 则 链表 中 位 
于 该 结 点 之 前 的 结 点 中 没有 任何 结 点 在 该 次 释放 操作 中 获得 多 余 的 流量 ， 因 为 链表 工 在 释放 
操作 的 整个 过 程 中 都 维持 着 拓扑 排序 的 次 序 ( 正 如 前 面 已 经 指出 的 ， 许 可 边 只 能 由 重 贴标签 
操作 创建 ， 而 不 能 由 推送 操作 创建 )， 因 此 每 次 推送 操作 所 导致 的 超额 流量 只 能 往 链表 后 面 
的 结 点 ( 结 点 或 已 上 移动 。 再 一 次 ， 位 于 结 点 u 之 前 的 结 点 中 没有 超额 流量 。 

终止 : 当 循 环 终止 时 ， 结 点 “刚刚 超过 了 链表 工 的 末尾 ， 因 此 ， 循 环 不 变 式 确 保 每 个 结 
点 的 超额 流量 为 0。 因 此， 没有 基本 操作 可 以 应 用 。 

前 置 重 贴标签 算法 的 分 析 

我 们 现在 来 证 明 前 置 重 贴标签 算法 在 任何 流 网 络 G 二 (V，E) 上 的 运行 时 间 为 OV). AA 
该 算法 是 通用 推送 - 重 贴标签 算法 的 一 种 实现 ， 我 们 将 充分 利用 推论 26. 21 的 结论 。 该 推论 告诉 
我 们 ， 每 个 结 点 的 重 贴标签 操作 次 数 不 会 超过 OC(V)， 而 所 有 结 点 的 重 贴标签 操作 的 总 次 数 不 会 
超过 OC ) 。 此 外 ， 练 习 26. 4-3 告诉 我 们 ， 算 法 花 在 重 贴 标签 操作 上 的 总 时 间 不 会 超过 OCVE)， 
而 引 理 26. 22 则 告诉 我 们 ， 饱 和 推送 操作 的 总 次 数 为 OVE). 

定理 26. 30 前 置 重 贴标签 算法 在 任何 流 网 络 G 二 (V， 世 ) 上 的 运行 时 间 为 OV). 

证 明 考虑 前 置 重 贴标签 算法 中 两 次 相 邻 的 重 贴标签 操作 之 间 的 “区 段 ?>。 这 样 的 区 段 一 共 
有 OV?) 个 ， 因 为 一 共有 OV ) 个 重 贴标签 操作 。 每 个 区 段 由 最 多 |V| 次 DISCHARGE 调用 所 
组 成 。 如 果 DISCHARGE 操作 不 执行 重 贴标签 操作 ， 则 下 一 次 对 DISCHARGE 的 调用 针对 的 将 
是 链表 工 中 更 往 后 的 结 点 ， 而 链表 工 的 长 度 少 于 |V| 。 如 果 DISCHARGE 执行 了 重 贴 标签 操作 ， 
下 一 次 对 DISCHARGE 的 调用 将 属于 一 个 不 同 的 区 段 。 由 于 每 个 区 段 至 多 包含 | 立 | 次 对 
DISCHARGE 的 调用 ， 而 一 共 只 有 OW ) 个 区 段 ， 因 此 ， 算 法 RELABEL-TO-FRONT 第 8 行 的 
DISCHARGE 被 调用 的 总 次 数 为 O(V ) 。 因 此 ， 算 法 RELABEL-TO-FRONT 中 while 循环 所 执 
行 的 总 工作 ， 除 掉 DISCHARGE 中 所 执行 的 工作 后 ， 最 多 为 OC(V’)。 

现在 必须 对 算法 执行 过 程 中 DISCHARGE 中 的 工作 进行 限定 。DISCHARGE 操作 中 的 
while 循环 的 每 次 迭代 执行 三 种 操作 中 的 一 种 。 下 面 将 对 执行 每 种 操作 的 总 工作 量 分 别 进行 
分 析 。 

首先 来 分 析 重 贴标签 操作 (算法 的 第 4 一 5 行 )。 练 习 26. 4-3 为 所 有 OCV?) 个 重 贴标签 操作 的 
运行 时 间 提 供 一 个 OC(VE) 的 上 界 。 

现在 ， 假 定 算法 第 8 行 的 DISCHARGE 操作 对 指针 u. current 指针 进行 了 更 新 。 在 每 次 对 一 
个 结 点 进行 重 贴标签 操作 时 ， 更 新 操作 将 发 生 O(Cdegree(z) ) 次 ， 对 于 所 有 结 点 来 说 ， 这 种 操作 
一 共 发 生 OV + degree(u) ) 次 。 因 此 ， 根 据 握手 引 理 ( 练 习 B. 4-1)， 对 于 所 有 的 结 点 ， 将 指针 在 
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邻接 链表 中 往 前 推进 的 总 工作 量 为 OVE). 

DISCHARGE 所 执行 的 第 三 种 操作 是 推送 操作 (算法 第 7 行 );。 我 们 已 经 知道 饱和 推送 操作 的 
总 次 数 为 OOVE) 。 注 意 观 察 ， 如 果 算 法 执行 一 个 非 饱和 推送 操作 ，DISCHARGE 将 立即 返回 ， 
因为 推送 操作 会 将 超额 流量 缩减 到 0。 因 此 ， 在 每 次 DISCHARGE 调用 中 最 多 只 能 有 一 次 非 饱和 
推送 操作 。 正 如 我 们 已 经 看 到 的 ，DISCHARGE 被 调用 的 次 数 为 OCV*)， 因 此 ， 用 于 执行 非 饱和 


推送 操作 的 总 时 间 成 本 为 OV’). 

因此 ， 前 置 重 贴标签 算法 的 总 运行 时 间 为 OV HVE), thE OV). 5 
练习 
26.5-1 请 以 图 26-10 所 示 的 方式 ， 在 图 26-1(a) 所 示 的 流 网 络 上 演示 前 置 重 贴标签 算法 的 执行 


*26. 5-2 


26. 5-3 


*26. 5-4 


26.5-5 


思考 题 

《逃逸 问题 ) nXn 的 网 格 是 由 n 行 和 n 列 结 点 所 构成 的 无 向 图 ， 如 图 26-11 所 示 。 我 们 将 
位 于 第 i 行 和 第 ; 列 的 结 点 表示 为 (4，71) 。 除 了 位 于 边界 的 结 点 外 ， 网 络 中 其 他 所 有 结 点 
都 有 刚好 4 个 邻 结 点 。 边 界 结 点 指 的 是 满足 t= 1, in, j=l jn AAG, j) 

在 这 样 的 网 格 里 给 定 mr’ 个 起 始 结 点 (zi， Mids (Tzs dodo ts (Em? Ym)» WR (RE 
做 的 事情 是 判断 是 否 存在 从 这 些 起 始 结 点 到 任意 m 个 不 同 的 边界 结 点 之 间 的 m 条 结 点 分 
离 的 路 径 ( 每 条 路 径 之 间 没 有 共同 结 点 ) 。 例 如 ， 在 图 26-11(a) 所 示 的 网 格 中 有 一 个 逃逸 线 
路 ,但 图 26-11(b) 的 网 格 则 没有 逃逸 线路 。 


26-1 


过 程 。 假 设 链表 工 中 结 点 的 最 初 顺序 是 (vw，v。，vs，v4);， 并 且 各 个 邻接 链表 的 内 
容 如 下 : 

v. N= (5502503) 

ws N= (55% U 90 > 

Us. N= (0, swa Vst) 

ty. N= (h stt) 
我 们 希望 以 如 下 方式 来 实现 推送 - 重 贴标签 算法 : 在 算法 中 维持 一 个 先进 先 出 的 队列 ， 
用 来 存放 溢出 结 点 。 算 法 重复 将 队列 头 部 的 结 点 进行 释放 ， 任 何在 释放 前 没有 溢出 但 在 
释放 后 出 现 溢出 的 结 点 均 被 放置 在 队列 的 末尾 。 在 队列 头 部 的 结 点 被 释放 后 ， 该 结 点 即 
被 删除 。 当 队列 为 空 时 ， 算 法 终止 。 说 明 如 何 实现 该 算法 ， 以 便 在 OCV® ) 时 间 内 计算 出 
一 个 最 大 流 。 
证 明 : 如 果 RELABEL 操作 对 u. h 的 更 新 只 是 简单 地 计算 wu.h 二 wu.h 十 1， 通 用 算法 仍然 
能 够 正确 工作 。 另 外 ， 请 说 明 该 变化 对 前 置 重 贴标签 算法 的 分 析 会 有 何 种 影响 ? 
WH: 如 果 总 是 释放 高 度 最 高 的 溢出 结 点 ， 则 可 以 使 推送 - 重 贴标签 算法 在 OCV? ) 时 间 
内 完成 。 
假定 在 推送 - 重 贴 标签 算法 执行 过 程 中 的 某 个 时 刻 ， 存 在 一 个 整数 0 二 k 二 1V| 一 1, 使 
得 没有 任何 一 个 结 点 的 高 度 为 ( 即 不 存在 结 点 v， 使 得 v.h 二 &)。 证 明 : 所 有 高 度 大 于 
k 的 结 点 都 位 于 某 个 最 小 切割 的 源 结 点 这 一 边 。 如 果 这 样 一 个 存在 ， 则 跨越 式 启发 
(gap heuristic) 将 对 每 个 v. h>k 的 结 点 vEV 一 {s} 进 行 更 新 ,将 v h 设置 为 max(vh, 
1V| 十 1)。 证 明 : 结果 属性 是 一 个 高 度 函 数 。( 在 实际 中 ， 跨 越 式 启发 对 于 高 效率 地 
实现 推送 - 重 贴标签 算法 起 着 关键 作用 。) 
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图 26-11 用 于 逃逸 问题 的 网 格 。 黑 色 的 点 为 起 始 结 点 ， 其 他 结 点 为 白色 。(a) 有 逃逸 
线路 的 网 格 ， 逃 逸 线路 上 都 加 了 阴影 。(b) 没 有 逃逸 线路 的 网 格 
a. 考虑 一 个 结 点 和 边 都 有 容量 限制 的 流 网 络 。 也 就 是 说 ， 进 入 任何 给 定 结 点 的 正 流 都 要 
受到 容量 的 限制 。 证 明 : 在 一 个 结 点 和 边 都 有 容量 的 流 网 络 中 确定 最 大 流 的 问题 可 以 
归 约 为 同等 规模 流 网 络 中 的 普通 最 大 流 问 题 。 
b. 给 出 一 个 有 效 的 算法 来 解决 逃逸 问题 ， 并 分 析 算法 的 运行 时 间 。 
〈 有 最 小 路 径 履 盖 问 题 ) 有 向 图 G 二 (V，E) 的 一 个 路 径 覆 盖 是 指 一 个 结 点 不 相交 的 路 径 集 
BP, (GRAV 中 的 每 个 结 点 恰好 在 了 的 一 条 路 径 上 出 现 。 路 径 的 起 始 结 点 和 终结 点 
可 以 是 任意 结 点 ， 也 可 以 有 任意 的 长 度 ， 包 括 0 长度。 图 G 的 一 个 最 小 路 径 覆盖 是 一 个 包 
含 路 径 条 数 最 少 的 路 径 覆 盖 。 
a. 给 出 一 个 有 效 算 法 来 找到 有 向 无 环 图 G 二 (V，E) 的 一 个 最 小 路 径 覆 盖 。( 提 示 : 假定 
V=(1, 2, ++, n), EER G'=(V', E), Hep 
V'= {zo 919° sn} U {os Yina Yad 
E'= {(a»2;):i € V} U (Ory): E€ V} U (leny): GJ) € E} 
然后 在 图 G' 上 运行 最 大 流 算法 。) 
b. 你 的 算法 是 否 适用 于 带 环 路 的 有 向 图 ， 请 详细 解释 。 
(算法 咨询 ) Gore 教授 希望 创办 一 家 算法 咨询 公司 。 教 授 选 出 了 算法 中 的 nn 个 重要 子 领 
域 ( 大 概 相 当 于 本 书 的 每 个 不 同 部 分 )， 并 用 集合 ASA, As es A FURR. EN 
个 子 领域 As， 教授 可 以 用 c 美元 聘请 该 领域 的 一 位 专家 。 咨 询 公 司 已 经 列 出 了 一 个 潜在 
工作 的 集合 J 二 {J ，J:，…，J。)。 为 了 完成 工作 J;， 公 司 需 要 在 子 领域 的 子 集合 RCA 
中 聘请 专家 。 每 位 专家 可 以 同时 从 事 多 项 工作 。 如 果 公 司 选择 接受 工作 J, WADA 
在 集合 R 中 的 所 有 子 领 域 中 聘请 专家 ， 同时， 公司 从 该 项 目 中 可 以 收入 的 营业 人 额 
为 p; 美元 。 
Gore 教 授 的 工作 是 决定 聘请 哪些 子 领域 的 专家 ， 接 受 哪些 工作 ， 以 便 使 公司 的 净 营 业 额 
达到 最 高 ， 这 里 净 营 业 额 指 的 是 从 工作 中 获得 的 总 输入 减 去 聘请 专家 的 总 成 本 的 差额 。 
考虑 下 面 的 流 网 络 Gs 该 网 络 包 含 一 个 源 结 点 S> 结 点 Air Azs s Aps 结 点 
Jas ts Jms UR—MERM to 对 于 上 二 1，2，…，72， 流 网 络 包含 一 条 边 (*，A) ， 其 容 
BA cls, AD=a, 而 对 于 i 二 1，2，…，m， 流 网 络 包含 一 条 边 (J;，t)， 容 量 为 
c(i, O=pio MFR=1, 2, ++, nMi=1, 2, =, m MRAECR, WEA GASH 
(As Jd, 其 容量 为 cA,, Ji) =. 
a. 证 明 : 如 果 对 于 一 个 有 限 容量 的 切割 (S$，T)， 有 JET， 则 对 于 每 个 结 点 A € R;,， 有 
AGT: 
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b. 请 说 明 如 何 从 图 G 的 一 个 最 小 切割 的 容量 和 给 定 的 p; 值 中 计算 公司 的 最 大 净 收 入 。 

c. 请 给 出 一 个 有 效 算法 来 判断 哪些 工作 应 该 接受 ， 哪 些 专 家 应 该 聘请 。 分 析 算 法 的 运行 
时 间 ， 并 以 m, n 和 7 二 沁 |Ri| 来 予以 表示 。 

(最 大 流 的 更 新 ) 设 G 二 (V，E) 是 一 个 源 结 点 为 s 汇 点 为 1 的 流 网 络 ， 其 容量 全 部 为 整数 

值 。 假 定 我 们 已 经 给 定 G 的 一 个 最 大 流 。 

a 如 果 将 单条 边 (u，v) EE 的 容量 增加 1 个 单位 ， 请 给 出 一 个 O(V 十 E) 时 间 的 算法 来 对 


最 大 流 进行 更 新 。 
b 如 果 将 单条 边 (u，wv) EE 的 容量 减少 1 个 单位 ， 请 给 出 一 个 OC(V 十 EE) 时 间 的 算法 来 对 
最 大 流 进行 更 新 。 


(使 用 伸缩 操作 来 计算 最 大 流 ) 设 G 二 (V，E) 为 一 个 源 结 点 为 ; 汇 点 为 t 的 流 网 络 ， 对 于 
每 条 边 (u，v) EE， 其 容量 cu, v AERE. 设 C= maxe (us is 
a. 证 明 : 图 G 的 一 个 最 小 切割 的 容量 最 多 为 C | 已 | 。 
b. 对 于 给 定数 值 K， 说明 如 何在 OC(E) 时 间 内 找到 一 条 容量 至 少 为 K 的 增 广 路 径 ， 假 如 这 
样 的 路 径 存 在 。 
使 用 下 面 的 经 过 修改 的 FORD-FULKERSON-METHOD 来 计算 图 G 的 最 大 流 : 


MAX-FLOW-BY-SCALING(G, s,t) 
C=—=maxw,were Cc (u,v) 
initialize flow f to 0 
K=2"d 
while K>1 


augment flow f along p 
K=K/2 


1 
2 
3 
4 
5 while there exists an augmenting path p of capacity at least K 
6 
7 
8 return f 


c. 证 明 : 算法 MAX-FLOW-BY-SCALIING 返回 的 是 一 个 最 大 流 。 
d. 证明 : 每 次 在 算法 第 4 行 被 执行 时 ， 和 残存 网 络 G 的 一 个 最 小 切割 的 容量 最 多 为 2K|E|。 
e HEAR: 对 于 每 个 数值 K， 算法 第 5 一 6 行 的 内 部 while 循环 执行 的 次 数 为 OEK. 
f. 证 明 : 算法 MAX-FLOW-BY-SCALING 可 以 在 OCE lgC) 时 间 内 实现 。 
(Hopcroft-Karp 二 分 匹配 算法 ) 在 本 题 中 ， 为 了 找到 一 个 二 分 图 的 最 大 匹配 ， 我 们 将 描 
述 一 个 由 Hopcroft 和 Karp 提出 的 更 快速 算法 。 算 法 的 运行 时 间 为 OC(YVE)。 给 定 一 个 无 
向 二 分 图 G 二 (V，E)， XF V=LUR 并 且 所 有 的 边 都 恰好 有 一 个 端点 在 集合 工 中 。 设 M 
为 图 G 的 一 个 匹配 。 对 于 图 G 中 的 一 条 简单 路 径 尸 ， 如 果 该 路 径 的 起 点 是 工 中 一 个 未 匹 
配 的 结 点 ， 终 结 点 是 集合 R 中 一 个 未 匹配 的 结 点 ， 而 路 径 上 的 边 交替 属于 M 和 EE 一 M， 
则 称 路 径 已 是 一 条 相对 于 M 的 增 广 路 径 ( 该 增 广 路 径 的 定义 与 流 网 络 中 的 增 广 路 径 相关 ， 
但 并 不 相同 )。 在 本 题 中 ， 我 们 将 一 条 路 径 看 做 是 一 系列 的 边 ， 而 不 是 一 系列 的 结 点 。 一 
条 关于 匹配 M 的 最 短 增 广 路 径 是 一 条 包含 最 少 边 数 的 增 广 路 径 。 
给 定 两 个 集合 A AB, WERE AOB 定义 为 (A 一 B)U(B 一 A)， 即 仅 在 一 个 集合 中 出 
现 的 元 素 。 
a. 证 明 : WR MERG 的 一 个 匹配 ， 己 是 一 条 关于 M 的 增 广 路 径 ， 则 对 称 差 MOP 也 是 
一 个 匹配 并 且 | MOP|=|M|+1. Bb, 证明: WP, Pa, +, Pe, 为 关于 M 的 结 
点 分 离 的 增 广 路 径 ， 则 对 称 差 MDP, UP: U…U P4) 是 一 个 基数 为 | M| 十 & 的 匹配 。 
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下 面 是 Hopcroft-Karp 二 分 匹配 算法 的 一 般 结构 : 

HOPCROFT-KARP(G) 

1 M=2 

2 repeat 

3 let P={P,,P2-++,P,}be a maximal set of vertex-disjoint 

shortest augmenting paths with respect to M 

4 M=MÐP UP: UUP) 

5 until P== 

6 return M 
该 问题 的 剩余 部 分 要 求 读者 分 析 上 述 算法 的 迭代 次 数 ( 即 repeat 循环 的 迭代 次 数 ) 并 给 
出 算法 第 3 行 的 一 种 实现 。 
给 定 图 G 的 两 个 匹配 M AM, 证 明 : RG’, MDM ) 中 的 每 个 结 点 的 度数 最 多 
为 2。 同 时 证 明 图 G 是 由 一 些 不 相交 的 简单 路 径 或 环 路 组 成 。 另 外 ， 试 说 明 每 条 这 样 
的 简单 路 径 或 环 中 的 边 交替 属于 M 和 M* 。 证 明 : WRM M | ， 则 MM" 至 少 
包含 |M | 一 |M| 条 关于 M 的 结 点 不 相交 的 增 广 路 径 。 

设 /为 关于 匹配 M 的 最 短 增 广 路 径 的 长 度 ， 已 ， 已 ，…， 书 为 关于 M 的 长 度 为 ? 
的 结 点 不 相交 增 广 路 径 的 最 大 集合 。 设 M 一 MO(P1U PU…UP)， 并且 假定 PP 是 相 
对 于 M 的 一 条 最 短 增 广 路 径 。 
证 明 : 如 果 路 径 了 与 路 径 Pis Pas a Pi 之 间 没 有 共同 结 点 ， 则 路 径 PP 有 多 于 1 条 边 。 
现在 假定 路 径 已 与 路 径 P, Po ee Pi 之 间 存 在 共同 结 点 。 设 A MDMP 
的 集合 。 证明: 4 一 (CPUPU…UPoDBP 并 且 |A|>(&+T1)7。 同 时 证 明 : BE P fo 
含 的 边 多 于 i A. 
证 明 : 如 果 关 于 M 的 一 条 最 短 增 广 路 径 有 7 条 边 ， 则 最 大 匹配 的 规模 至 多 
HIMI 十 | 网 AP 
证 明 : Hopcroft-Karp 二 分 匹配 算法 中 repeat 循环 的 迭代 次 数 至 多 为 2 VV。( 提 示 : 在 
第 VV 次 迭代 后 ，M 能 增长 多 少 ?) 


a 9 


PD 


yn 


g. 给 出 一 个 OGE) 时 间 复 杂 性 的 算法 ， 可 以 找到 一 个 关于 给 定 匹配 M 的 结 点 不 相交 最 短 
增 广 路 径 P, ，P ，…， 忆 的 最 大 集合 。 证 明 : 算法 HOPCROFT-KARP 的 总 运行 时 间 
为 OU/VE) « 
本 章 注 记 


Ahuja, Magnanti 和 Orlin[7], Even[103], Lawler[224], Papadimitriou 和 SteiglitzL271] 和 
Tarjan[ 330 都 是 网 络 流 及 相关 算法 方面 的 很 好 的 参考 资料 。Goldberg、Tardos 和 Tarjan 139 xt 
网 络 流 问 题 的 各 种 算法 进行 了 概括 ，Schrijver[L 304] 则 是 一 篇 有 趣 的 关于 网 络 流 领域 的 历史 发 展 
的 评述 。 

Ford-Fulkerson 方法 是 由 Ford 和 Fulkerson[ 109 ] 提 出 的 ， 他 们 首次 形式 化 地 研究 了 网 络 流 领 
域 中 的 诸多 问题 ， 包 括 最 大 流 问题 和 二 分 匹配 问题 。Ford-Fulkerson 方法 的 许多 早期 实现 都 使 用 
了 广度 优先 搜索 来 寻找 增 广 路 径 。Edmonds 和 Karp[102]、Dinic[89] 则 相互 独立 地 证 明了 这 种 策 
略 是 一 种 多 项 式 时 间 算 法 。 一 个 与 此 相关 的 使 用 块 流 (blocking flow) 的 思路 也 是 由 DinicL89] 首 先 
提出 的 。KarzanovL202] 则 首先 提出 了 预 流 的 概念 。 推 送 - 重 贴标签 方法 则 归功 于 Goldberg[136]]、 
Goldberg 和 Tarjan[ 140]. Goldberg 和 Tarjan 给 出 了 一 个 时 间 复 杂 度 为 O(V3 ) 的 算法 ， 该 算法 使 
用 一 个 队列 来 维持 一 个 溢出 结 点 的 集合 ， 他 们 同时 还 给 出 了 一 个 使 用 动态 树 的 算法 ， 其 运行 时 
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间 为 OCVE lg(V*/E 十 2))。 其 他 一 些 研究 人 员 则 发 明了 基于 推送 - 重 贴标签 操作 的 最 大 流 算法 。 
Ahuja 和 Orlin[9] 和 Ahuja, Orlin 和 Tarjan[10] 给 出 了 使 用 伸缩 操作 来 计算 最 大 流 的 算法 。 
Cheriyan 和 MaheshwariL62J] 提 出 了 将 高 度 最 大 的 溢出 结 点 的 流量 推送 出 来 的 思想 。Cheriyan 和 
HagerupL61] 提 出 了 对 邻接 链表 进行 随机 排列 的 想法 ， 一 些 研究 者 L[14，204，276] 则 基于 这 一 思 
想 开 发 了 更 为 聪明 的 去 随机 化 操作 ， 从 而 获得 一 系列 更 快 的 算法 。King、Rao 和 TarjanL204] 所 
描述 的 算法 是 这 种 算法 中 最 快 的 ， 其 运行 时 间 为 OCVE log rogn V e 

到 目前 为 止 ， 在 渐 近 意义 上 表现 最 快 的 最 大 流 问 题 算法 由 Goldberg 和 RaoL138] 所 提出 ， 其 
ZITHA OCmin(V*", EV? )Elg(V?/E+2) gC), XE C= maxc (u，v)。 该 算法 不 使 用 推送 - 
重 贴标签 方法 ， 而 是 基于 对 块 流 的 寻找 。 以 前 所 有 的 最 大 流 算法 ， 包括 本 章 所 讨论 的 算法 ， 都 使 

用 了 距离 的 概念 (推送 - 重 贴标签 算法 使 用 了 一 个 类 似 概 念 : 高 度 )， 在 这 些 算法 中 ， 每 条 边 的 隐 

含 长 度 都 为 1。 而 Goldberg 和 RaoL138] 所 提出 的 新 算法 采取 了 一 种 不 同 的 思路 ， 将 高 容量 边 的 
长 度 赋予 0 值 ， 将 低 容 量 边 的 长 度 赋予 1 值 。 非 形式 化 地 ， 根 据 这 些 长 度 ， 从 源 结 点 到 汇 点 的 最 
短路 径 更 可 能 拥有 高 容量 ， 这 意味 着 算法 需要 执行 的 迭代 次 数 将 较 少 。 

在 实际 情况 中 ， 在 基于 增 广 路 径 或 线性 规划 的 最 大 流 问 题 的 解 中 ， 推 送 - 重 贴标签 算法 占据 
了 主导 地 位 。Cherkassky 和 GoldbergL634 给 出 的 研究 说 明了 在 实现 推送 - 重 贴标签 算法 时 使 用 启 
发 式 操 作 的 重要 性 。 该 文章 提 到 了 两 种 启发 式 操作 : 第 一 个 启发 式 操作 是 在 残存 网 络 中 周期 性 
地 执行 广度 优先 搜索 来 获取 更 加 精确 的 高 度 值 ， 第 二 个 启发 式 操作 是 所 谓 的 跨越 式 启发 ， 该 启 
发 式 操 作 在 练习 26. 5-5 中 进行 了 描述 。Cherkassky 和 Goldberg 断定 ， 最 好 的 推送 - 重 贴标签 算法 
的 变 体 是 每 次 都 选择 释放 高 度 值 最 大 的 溢出 结 点 。 

到 目前 为 止 ， 最 好 的 解决 最 大 二 分 匹配 问题 的 算法 是 由 Hopcroft 和 Karp[176] 所 发 现 ， 其 运 
行 时 间 为 OOVVE) ， 该 算法 在 思考 题 26-6 中 有 描述 。Lovdsz 和 Plummer[239] 则 是 匹配 问题 方面 

非常 好 的 参考 书 。 
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这 一 部 分 中 包含 了 一 些 选 编 的 算法 问题 ,扩展 和 补充 了 本 书 中 前 
面 介绍 的 内 容 。 一 些 章节 介绍 新 的 计算 模型 ， 如 电路 或 者 并 行 计算 机 。 
其 他 的 一 些 章节 讨论 一 些 特殊 的 领域 ， 如 计算 几何 学 或 者 数论 。 最 后 
两 章 讨 论 设计 高 效 算法 的 一 些 已 知 的 局 限 ， 并 介绍 一 些 应 对 这 些 局 限 
的 方法 。 

第 27 章 给 出 一 种 基于 动态 多 线程 的 并 行 计算 模型 。 该 章 首先 介绍 
该 模型 的 基本 理论 ， 展 示 如 何 通 过 工作 量 和 持续 时 间 来 量化 并 行 性 。 
然后 讨论 了 几 种 非常 有 趣 的 多 线程 算法 ,包括 和 矩阵 相 习 和 归并 排序 。 

第 28 章 研究 矩阵 上 操作 的 高 效 算法 。 该 章 中 展示 两 种 一 般 的 方 
法 一 一 LU 分 解 和 LUP 分 解 一 一 通过 高 斯 消 元 法 在 O ) 时 间 内 求解 线性 
方程 组 。 此 外 ， 还 证 明年 阵 求 着、 和 拖 阵 乘法 可 以 在 同样 的 时 间 复 杂 度 内 完 
成 。 该 章 最 后 说 明 当 一 个 线性 方程 组 没有 精确 解 时 ， 如 何 计算 最 小 二 乘 的 
近似 解 。 

第 29 章 研究 线性 规划 ， 其 中 在 给 定 有 限 资源 和 竞争 约束 的 前 提 下 ， 
我 们 希望 能 够 最 大 化 或 者 最 小 化 一 个 目标 。 线 性 规划 问题 产生 于 多 种 实际 
应 用 领域 。 这 一 章 中 家 盖 如 何 形式 化 和 解决 线性 规划 问题 的 内 容 。 介 绍 的 
方法 包括 最 古老 的 线性 规划 算法 一 一 单纯 形 算法 。 和 本 书 中 很 多 算法 不 同 
的 是 ， 单 纯 形 算法 在 最 坏 情形 下 并 不 能 在 多 项 式 时 间 内 完成 ， 但 是 在 实践 
中 它 相 当 有 效 并 且 得 到 了 广泛 的 应 用 。 

第 30 章 研究 多 项 式 上 的 操作 ,并 展示 如 何 采用 众所周知 的 信号 处 理 
技术 一 一 快速 仁 里 叶 变 换 (FFT) 一 一 在 O(nlgn) 时 间 内 完成 两 个 次 数 为 n 
的 多 项 式 的 乘法 。 该 章 中 还 讨论 了 FFT 的 高 效 实现 方法 ， 包 括 并 行 电路 。 

第 31 章 展示 整数 数论 算法 。 在 回顾 了 初等 数论 以 后 ， 本 章 介 绍 了 计 
算 最 大 公约 数 的 欧 几 里 得 算法 ， 接 着 给 出 了 求解 模 线性 方程 和 计算 一 个 整 
数 的 需 模 另外 一 个 整数 的 算法 。 本 章 还 介绍 了 数论 算法 的 一 个 重要 应 用 : 
RSA 公 和 钥 加 密 系统 。 这 个 加 密 系 统 不 仅 能 够 用 来 加 密 消息 ， 以 使 攻击 者 
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不 能 阅读 消息 ， 而 且 还 能 够 提供 数字 签名 。 接 着 ， 本 章 展示 了 Miller-Rabin 随机 性 素数 测试 ， 应 
用 它 可 以 非常 高 效 地 找到 大 素数 。 最 后 ， 本 章 介绍 了 Pollard 提出 的 分 解 整数 的 “rho” 启 发 式 算 
法 ， 并 讨论 了 整数 因子 分 解 研究 的 现状 。 

第 32 章 研究 了 一 个 在 文本 编辑 程序 中 经 常 出 现 的 问题 : 在 给 定 的 文本 字符 串 中 ， 找 到 一 个 
给 定 模 式 字符 串 的 所 有 出 现 位置 。 在 讨论 朴素 方法 后 ， 本 章 展示 了 Rabin 和 Karp 的 一 种 很 优美 
的 方法 。 然 后 ， 在 考察 了 一 个 基于 有 限 自动 机 的 高 效 解决 方法 以 后 ， 论 述 Knuth-Morris-Pratt 算 
法 ， 它 通过 巧妙 的 预先 处 理 模式 ， 修 改 了 基于 自动 机 的 算法 以 节省 空间 。 

第 33 章 讨论 计算 几何 中 的 一 些 问题 。 在 讨论 了 计算 几何 的 基本 性 质 后 ， 本 章 展示 了 如 何 采 
用 一 种 “扫除 "方法 来 高 效 判断 一 组 线段 是 否 有 交点 。 两 种 找到 一 些 点 集合 凸 包 的 非常 聪明 的 算 
法 (Graham 扫描 算法 和 Jarvis 步 进 算法 ) 也 都 说 明了 扫除 方法 的 作用 。 本 章 最 后 ， 介 绍 了 从 平面 
中 一 些 给 定点 集合 中 找到 最 邻近 点 对 的 有 效 算法 。 

第 34 章 讨论 NP 完全 问题 。 很 多 有 趣 的 计算 问题 都 是 NP 完全 的 ， 但 是 至 今 还 没有 解决 这 一 
问题 的 多 项 式 时 间 算 法 。 本 章 展示 了 判别 一 个 问题 是 NP 完全 的 问题 技术 。 许 多 经 典 的 问题 被 证 
明 是 NP 完 全 的 : 判别 一 个 图 是 否 有 一 个 哈密 顿 环 ， 判 别 一 个 布尔 表达 式 是 否 是 可 满足 的 ， 以 及 
判别 一 个 给 定 的 整数 集合 是 否 存 在 一 个 子 集 ， 其 元 素 之 和 等 于 给 定 的 目标 值 。 本 章 还 证 明了 著 
名 的 旅行 商 问 题 是 NP 完全 的 。 

第 35 章 说 明 如 何 运用 近似 算法 有 效 地 找到 NP 完全 问题 的 近似 解 。 对 于 一 些 NP 完全 问题 ， 
接近 最 优 解 的 近似 解 很 容易 找到 ， 但 是 对 于 其 他 一 些 NP 完全 问题 ， 即 使 使 用 已 知 的 最 好 的 近似 
算法 ， 其 性 能 也 随 着 问题 规模 的 增加 而 明显 降低 。 本 章 介绍 了 这 样 一 种 可 能 性 : 对 于 一 些 问题 ， 
我 们 增加 计算 时 间 ， 就 可 能 获得 更 好 的 近似 解 。 本 章 通过 讨论 顶点 覆盖 问题 (有 权重 和 没有 权重 
的 情形 )、3-CNF 可 满足 性 的 一 个 优化 版 本 、 旅 行商 问题 、 集 合 履 盖 问 题 ， 以 及 子 集 和 问题 ， 阐 
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述 了 这 种 可 能 性 。 
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本 书 中 绝 大 多 数 算法 都 是 适合 单 处 理 器 计算 机 上 运行 的 串 行 算法 (serial algorithm) ， 即 在 任 
一 时 刻 仅 有 一 条 指令 被 执行 。 本 章 我 们 将 扩展 算法 模型 ， 讨 论 并 行 算法 (parallel algorithm)。 并 
行 算法 能 够 在 多 处 理 器 计算 机 上 运行 ， 并 且 允 许多 条 指令 同时 执行 。 特 别 地 ， 我 们 将 探讨 动态 多 
线程 算法 的 完美 模型 ， 它 适合 算法 的 设计 和 分 析 ， 并 且 能 在 实际 应 用 中 有 效 实现 。 

并 行 计算 机 ( 即 拥有 多 个 处 理 单元 的 计算 机 ) 已 经 越 来 越 普遍 ， 它 们 的 价格 和 性 能 差异 非常 
大 。 相 对 便宜 的 台式 机 和 笔记 本 电脑 中 的 片上 多 处 理 器 (chip multiprocessor) 都 包含 一 块 多 核 
(multicore) 的 集成 电路 芯片 ， 该 芯片 上 装 有 多 个 处 理 “ 核 >?， 每 个 核 是 一 个 完整 的 处 理 器 并 能 访问 
共同 的 存储 器 。 性 价 比 适 中 的 是 一 些 单 计 算 机 (常常 是 一 些 简易 的 PC 类 机 器 ) 构 成 的 集群 ， 它 们 
使 用 特定 网 络 互 连 起 来 。 价 格 最 高 的 是 超级 计算 机 ， 它 们 大 多 使 用 定制 的 体系 结构 和 定制 的 网 
络 来 提供 高 性 能 (每 秒 运行 的 指令 条 数 )。 

多 处 理 器 计算 机 已 经 以 各 种 形式 出 现 了 数 十 年 。 在 计算 机 科学 发 展 的 早期 ,虽然 计算 界 为 
叮 行 计算 建立 了 随机 存 取 的 机 器 模型 ， 然 而 对 于 并 行 计 算 ， 却 没有 任何 单一 模型 被 广泛 认可 。 主 
要 原因 是 ， 各 个 供应 商 在 并 行 计算 机 的 体系 结构 模型 上 还 没有 一 致 的 意见 。 例 如 ， 一些 并 行 计算 
机 具有 共享 存储 (shared memory) 的 特征 ， 其 中 每 个 处 理 器 都 可 以 直接 访问 存储 器 的 任何 位 置 。 
另 一 些 并 行 计算 机 则 采用 分 布 式 存储 (distributed memory), ， 此 时 每 个 处 理 器 的 存储 器 是 私有 的 ， 
为 了 使 一 个 处 理 器 能 访问 另 一 个 处 理 器 的 存储 器 ， 必 须 在 处 理 器 间 发 送 一 条 显 式 消 息 。 但 随 着 
多 核 技术 的 出 现 ， 现 在 每 台新 的 笔记 本 电脑 和 人 台式 机 器 都 是 一 个 共享 存储 的 并 行 计 算 机 ， 看 起 
来 似乎 朝 共享 存储 的 多 处 理 器 方向 发 展 。 尽 管 这 尚 需 一 些 时间 来 验证 ， 但 在 本 章 中 ， 我 们 介绍 这 
种 技术 。 

片上 多 处 理 器 和 其 他 共享 存储 并 行 计 算 机 的 编程 都 有 一 个 共同 之 处 ， 就 是 使 用 静态 线程 
(static threading) 。 静 态 线程 提供 了 一 个 “虚拟 处 理 器 ”的 软件 抽象 ， 即 线程 (thread) ， 这 些 线程 
共享 一 个 相同 的 存储 器 。 每 个 线程 维护 一 个 关联 的 程序 计数 器 ， 并 能 与 其 他 线程 相互 独立 地 执 
行 代码 。 操 作 系统 加 载 一 个 线程 到 处 理 器 上 执行 ， 并 且 在 其 他 的 线程 需要 运行 时 再 把 它 交换 出 
来 。 虽 然 操 作 系统 允许 程序 员 去 创建 和 销毁 线程 ， 但 这 些 操作 相对 较 慢 。 因 此 ， 对 于 大 多 数 应 
用 ， 线 程 在 计算 期 间 都 维持 着 ， 这 是 称 之 为 “静态 的 ?原因 。 

遗憾 的 是 ， 共 享 存储 并 行 计算 机 上 直接 使 用 静态 线程 编程 比较 困难 并 且 容 易 出 错 。 其 中 一 
个 原因 是 ， 在 线程 间 动 态 地 划分 任务 使 得 每 个 线程 接受 大 致 相同 的 负载 ， 这 已 成 为 一 项 较为 复 
杂 的 工作 。 除 了 最 简单 的 应 用 之 外 ， 程 序 员 必 须 使 用 复杂 的 通信 协议 来 实现 一 个 任务 的 负载 平 
衡 调 度 。 这 种 状况 促使 了 并 发 平台 (concurrency platform) 的 产生 ， 它 提供 一 个 软件 层 来 协调 、 调 
度 和 管理 这 些 并 行 计 算 资 源 。 一 些 并 发 平台 作为 运行 时 库 来 建立 ， 而 另 一 些 则 提供 带 有 编译 器 
和 运行 时 支持 的 完整 的 并 行 语言 。 

动态 多 线程 编程 

动态 多 线程 (dynamic multithreading) 是 一 类 重要 的 并 发 平台 ， 也 是 本 章 将 采用 的 模型 。 在 动 
态 多 线程 中 ， 程 序 员 只 需 描述 应 用 中 的 并 行 性 ， 不 必 关 心 通信 协议 、 负 载 平 衡 和 静态 线程 编程 的 
其 他 各 种 问题 。 这 种 并 发 平台 包含 一 个 调度 器 ， 它 能 自动 地 进行 负载 平衡 计算 ， 大 大 减轻 了 程序 
员 的 负担 。 虽 然 动 态 多 线程 领域 仍 在 发 展 ， 但 它们 几乎 都 支持 两 个 特征 : te ESE TT SET OR 
环 。 符 套 并 行 允许 派生 一 个 子 过 程 ， 且 人 允许 派生 的 子 过 程 在 计算 自己 结果 的 同时 调用 者 继续 执 








T2 
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行 。 并 行 循环 如 同 普 通 的 for 循 环 一 样 ， 只 是 因 循 环 中 的 迭代 可 以 并 发 执行 而 有 所 不 同 。 
这 两 个 特征 形成 了 本 章 将 介绍 的 动态 多 线程 模型 的 基础 。 这 个 模型 的 一 个 关键 方面 是 ， 程 


序 员 只 需 指 定 计 算 中 的 逻辑 并 行 、 基 础 并 发 平台 上 的 线程 调度 和 线程 间 计 算 的 负载 平衡 。 我 们 


将 探讨 该 模型 上 的 多 线程 算法 ， 以 及 基础 并 发 平台 如 何 有 效 地 调度 计算 。 
动态 多 线程 模型 具有 如 下 几 个 重要 的 优点 : 
。 它 是 串 行 编程 模型 的 一 个 简单 扩展 。 通 过 在 伪 代 码 中 加 入 三 个 “并 发 ”关键 词 (parallel、 
spawn 和 sync) 来 描述 一 个 多 线程 算法 。 此 外 ， 如 果 从 多 线程 伪 代 码 中 删除 这 些 并 发 关键 
词 ， 剩 下 的 文本 就 是 原 问题 的 串 行 伪 代码 ， 我 们 称 之 为 多 线程 算法 的 “ 串 行 化 ”。 
。 它 从 理论 上 提供 了 一 种 基于 “工作 量 ” 和 “持续 时 间 ” 概 念 的 简洁 方式 来 量化 并 行 性 。 
。 许多 涉及 藤 套 并 行 的 多 线程 算法 都 比较 自然 地 服从 分 治 模式 。 此 外 ， 正 如 串 行 分 治 算法 
通过 求解 递归 式 来 分 析 那 样 ， 这 类 多 线程 算法 的 分 析 也 是 如 此 。 
。 该 模型 符合 并 行 计算 发 展 的 实际 情况 。 越 来 越 多 的 并 发 平台 支持 动态 多 线程 的 一 种 形式 
或 其 他 形式 ， 包 括 Cilk[51, 118], Cik++[71], OpenMP[59], Task Parallel Library 
[230]， 以 及 Threading Building Blocks[ 292]. 
27.1 节 介 绍 动态 多 线程 模型 ， 并 提出 工作 量 、 持 续 时 间 和 并 行 度 的 度量 标准 ， 它 们 将 用 于 
分 析 多 线程 算法 。27. 2 节 探 讨 如 何 使 用 多 线程 进行 矩阵 相 乘 。27. 3 节 讨 论 稍 难 些 的 多 线程 归并 
排序 问题 。 


27.1 动态 多 线程 基础 


以 递归 计算 斐 波 那 契 数 为 例 ， 开 始 对 动态 多 线程 的 探讨 。 回 想 一 下 ， 斐 波 那 契 数 是 由 递归 式 
(3. 22) 来 定义 的 : 


F, =0 
F =1 
F; =F; + Fr 5; 2 = 2 
这 是 一 个 简单 的 、 递 归 的 串 行 算法 ， 用 于 计算 第 ”个 斐 波 那 契 数 : 
FIB(n) 
l ifn<l 
2 return 7 
3 else x=FIB(n—1) 
4 y=FIB(n—2) 
5 return r+ y 


读者 应 该 并 不 想 使 用 这 种 方法 来 计算 较 大 的 斐 波 那 契 数 ， 因 为 这 种 方法 做 了 很 多 重复 的 工 
作 。 图 27-1 展示 了 计算 Fs 时 的 递归 过 程 实例 树 。 例 如 ， 对 FIB(6) 的 调用 会 递归 调用 FIB(5)， 
然后 再 调用 FIB(4)。 但 是 ， 调 用 FIB(5) 又 导致 对 FIB(4) 的 调用 。 两 个 FIB(4) 实 例 都 返回 相同 的 
计算 结果 (F 王 3)。 因 为 FIB 调用 过 程 并 不 做 保存 ， 第 二 次 FIB(4) 的 调用 重复 做 了 第 一 次 调用 的 
工作 。 

设 T(n) 表 示 FIB(n) 的 运行 时 间 。 因 为 FIB(n) 包 含 两 个 递归 调用 ， 再 加 一 项 常数 时 间 的 其 他 
工作 ， 于 是 得 到 递归 式 : 

Tn) = Tin—1) + Tin— 2) +01) 

用 替代 法 得 到 ， 递 归 式 的 解 T(n) =OCF,). FIA, Tin)<aF,—b, Ht a>1, 6>0 

且 都 是 常数 。 代 和 人 后， 得 到 
Tn) <(aF,,. — b) + (aF,-2 — b) + OC) = al F,, HF) — 26+ 01) 
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=aF,—b—(b—@(1)) <aF,—6 
Ro EBEK, KF 9(1) 所 决定 的 常数 。 再 取 一 个 足够 大 的 x， 满 足 初 始 条 件 。 于 是 ， 由 公 
式 (3. 25) 得 到 分 析 界 
Tn) = @( 风 ) (27.1) 
这 里 p=0H5)/2 是 黄金 分 割 率 。 由 于 F, 以 ”指数 增长 ， 这 个 过 程 用 来 计算 斐 波 那 契 数 是 个 相 
当 慢 的 方法 。( 更 快 的 方法 见 思 考题 31-3。) 





图 27-1 计算 FIB(6) 时 递归 计算 过 程 的 实例 树 。 每 个 有 相同 参数 的 FIB 实例 ， 都 做 一 样 的 工作 并 产 
生 一 样 的 结果 ， 这 是 一 个 低 效 但 有 趣 的 计算 斐 波 那 契 数 的 方法 


RE FB 过 程 不 是 一 个 计算 斐 波 那 契 数 的 好 方法 ， 却 是 在 多 线程 算法 分 析 中 说 明 关 键 概念 的 
一 个 好 例子 。 注 意 到 FIB(n) 中 ,第 3 行 和 第 4 行 分 别 调用 了 两 个 递归 函数 FIB(n 一 1) 和 FIB(n 一 2)， 
这 两 个 递归 函数 是 彼此 独立 的 : 它们 能 以 两 种 次 序 中 的 一 种 被 调用 ， 并且 调用 进行 的 计算 并 不 
会 影响 到 另 一 个 。 因 此 ， 这 两 个 递归 调用 可 以 并 行 执行 。 

通过 在 伪 代 码 中 加 入 并 发 关键 字 spawn 和 syne 来 表示 并 行 性 。 下 面 说 明 如 何 使 用 动态 多 线 
程 来 重 写 FIB 过 程 : 

P-FIB(n) 

1 ifn<l 


2 return 7 

3 else x=spawn P-FIB(n—1) 
4 y=P-FIB(n—2) 

5 Sync 

6 return x+y 


注意 到 ， 如 果 从 P-FIB 中 去 掉 并 发 关键 字 spawn 和 sync， 得 到 的 伪 代 码 和 FIB 完全 相同 (除了 开 
头 的 函数 名 和 两 个 递归 调用 需 重 命 名 外 )。 定 义 一 个 多 线程 算法 的 串 行 化 (serialization) 为 去 除 掉 
多 线程 关键 字 spawn, sync 和 并 行 循环 的 parallel 后 的 串 行 部 分 。 实 际 上 ， 多 线程 伪 代 码 具 有 很 
好 的 特性 ， 其 串 行 化 总 是 求解 原 问题 的 普通 串 行 伪 代 码 。 

如 在 第 3 行 中 ， 当 关键 字 spaw 执行 一 个 过 程 调用 时 ， 就 出 现 了 岩 套 并 行 。spawn 的 语义 不 
同 于 传统 的 过 程 调 用 ， 执 行 调用 spawn 的 过 程 ( 即 父 进 程 ) 可 以 与 派生 子 过 程 ( 即 子 进程 ) 并 行 执 
行 ， 而 不 是 像 串 行 执行 一 样 等 待 子 过 程 计算 完 。 这 种 情况 下 ， 派 生子 进程 计算 P-FIB(n 一 1) 的 同 
时 ， 父 进程 以 并 行 方式 可 以 继续 计算 第 4 行 中 的 P-FIB(n 一 2)。 因 为 PFIB 过 程 是 递归 的 ， 这 两 
个 子 过 程 调用 自己 又 产生 了 赃 套 并 行 ， 它 们 派生 的 子 过 程 也 是 如 此 ， 因 此 产生 了 一 个 潜在 的 、 非 
常 大 的 子 计算 树 ， 所 有 计算 都 能 并 行 执行 。 


456 + 第 七 部 分 算法 问题 选编 


但 是 ， 关 键 字 spawn 并 不 意味 着 一 个 过 程 调 用 必须 要 与 其 派生 子 过 程 同时 执行 ， 这 里 只 是 允 
许 这 样 。 并 发 关键 字 表达 了 计算 的 逻辑 并 行 (logical parallelism), 说 明了 计算 中 哪些 部 分 可 以 并 
行 处 理 。 运 行 时 由 一 个 调度 器 (scheduler) 负 责 ， 随 着 计算 的 展开 决定 哪些 子 计 算 实 际 并 发 执行 ， 
并 将 它们 分 配 到 可 用 的 处 理 器 上 。 接 下 来 ,我 们 将 讨论 调度 器 背后 的 知识 。 

直到 执行 了 syne 同步 语句 ( 见 第 5 行 )， 一 个 过 程 才能 安全 地 使 用 其 派生 子 过 程 的 返回 值 。 
关键 字 sync 表明 ， 过 程 在 执行 syne 后 面 的 语句 前 ， 必 须 等 到 它 的 所 有 派生 子 过 程 计算 完成 。 在 
P-FIB 过 程 中 ， 在 第 6 FF return 语句 前 需要 有 一 个 syne 语句 来 避免 不 正常 情况 的 出 现 ， 比 如 ， 在 
z 被 计算 出 来 前 就 开始 计算 z 与 y 的 和 。 除 了 使 用 syne 语句 进行 显 式 同 步 外 ， 每 个 过 程 在 返回 前 
都 隐 式 地 执行 一 个 sme 语句 ， 以 此 确保 其 所 有 的 子 过 程 均 结束 运行 。 

多 线程 执行 的 模型 

将 多 线程 计算 (可 由 处 理 器 执行 的 运行 时 指令 的 集合 ， 代 表 多 线程 程序 ) 看 成 一 个 有 向 无 环 
图 G 二 (V，E)， 又 称 为 计算 有 向 无 环 图 (computation dag)， 是 非常 有 帮助 的 。 例 如 ， 图 27-2 展 
示 了 对 应 于 P-FIB(4) 的 计算 有 向 无 环 图 。 从 概念 上 讲 , V 中 的 顶点 代表 指令 ，E 中 的 边 代表 指 
令 间 的 依赖 关系 ， 其 中 (u，wv) EE 表示 指令 必须 在 v 之 前 执行 。 然 而 为 了 方便 起 见 ， 如 果 一 
段 指令 中 不 包含 并 行 控制 ( 即 没 有 spawn, syne 和 来 自 派 生 进程 的 retum， 这 种 return 是 显 式 
return 语句 ， 或 是 程序 执行 完毕 后 隐 式 执行 的 return) ， 可 以 将 它们 串 成 一 个 链 (strand) ， 这 样 每 
个 链 可 以 代表 一 个 或 者 更 多 的 指令 。 涉 及 并 行 控制 的 指令 并 不 包含 在 链 中 ， 但 它们 会 在 有 向 无 
环 图 中 被 表示 出 来 。 例 如 ， 如 果 一 个 链 有 两 个 后 继 ， 则 其 中 一 个 肯定 是 派生 的 ;如 果 一 个 链 有 
多 个 前 驱 ， 就 表明 由 于 有 sync 语句 而 将 这 些 前 驱 汇 合 在 一 起 。 因 此 ， 在 一 般 情况 下 ,集合 V 就 
是 链 的 集合 ， 有 向 边 集合 EE 是 由 并 行 控制 产生 的 链 之 间 的 关联 。 如 果 G 有 一 条 从 链 u BIH 的 
有 向 路 径 ， 我 们 称 这 两 个 链 是 (逻辑 上 ) 串 联 的 (in series), BU, Hu Mev 是 (逻辑 上 ) 并 联 的 
Cin parallel), 





图 27-2 一 个 表示 PFIB(4) 计 算 的 有 向 无 环 图 。 每 个 圈 代 表 一 个 链 ， 黑 圈 代 表 基 础 情形 或 
是 到 第 3 行 P-FIB(n 一 1) 派 生 语句 前 的 部 分 程序 (实例 ); 灰 圈 代表 第 4 行 调用 P-FIB 
(n 一 2) 到 第 5 行 syne 前 的 部 分 程序 ， 它 执行 完 后 一 直 要 等 待 派生 P-FIB(n 一 1) 的 返 
lel; 白 圈 代 表 sync 指令 之 后 的 程序 ， 也 就 是 x 和 yy 求 和 直到 返回 结果 那 部 分 。 属 于 
同一 过 程 的 一 组 链 用 圆 角 和 矩形 圈 起 来 ， 浅 色 阴 影 代表 派生 的 过 程 ， 深 色 阴 影 代表 调 
用 的 过 程 。 派 生 边 和 调用 边 指向 下 ， 连 接 边 水 平 指向 右 ， 返回 边 指向 上 。 假 设 每 条 
链 的 执行 是 1 个 单位 时 间 ， 整 个 工作 需要 17 个 单位 时 间 ， 因 为 这 里 有 17 个 链 。 持 续 
时 间 是 8 个 单位 时 间 ， 因 为 关键 路 径 ( 使 用 阴影 标 出 的 边 ) 包 含 了 8 个 链 
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能 将 多 线程 计算 画 成 一 个 由 链 构 成 的 有 向 图 ， 并 组 入 到 一 棵 过 程 实例 树 中 。 例 如 ， 图 27-1 
显示 了 P-FIB(6) 的 一 棵 过 程 实例 树 ， 其 图 中 并 没有 显示 链 的 详细 结构 。 图 27-2 对 树 中 的 结 点 部 
分 进行 了 放大 ， 显 示 了 链 中 各 个 过 程 的 组 成 。 所 有 连接 链 的 有 向 边 或 者 在 一 个 过 程 内 执行 ， 或 者 
沿 着 过 程 树 的 无 向 边 执行 。 

我 们 能 对 一 个 计算 有 向 无 环 图 中 的 边 进行 分 类 ， 来 表示 不 同 链 之 间 的 依赖 关系 类 型 。 图 27-2 
中 水 平 画 出 的 一 条 连接 边 (continuation edge) (u, u HE u 连接 到 它 的 后 继 x 上 ， 它 们 在 同一 个 
TEXIA. M u 派生 链 这 时 ， 有 向 无 环 图 包含 一 条 派生 边 (spawn edge) (wu，v)， 它 在 图 中 指 
向 下 。 调 用 边 (call edge) 代 表 正 常 的 过 程 调用 ， 其 也 指向 下 。 链 派生 链 w 与 链 v 调用 链 不 同 ， 
因为 派生 导出 一 条 从 BBE ' 的 水 平 连接 边 ， 意 味 着 w 可 以 和 ww 同时 执行 ,然而 一 个 函数 调用 
却 没 有 这 条 边 。 当 一 个 链 妈 返回 到 它 的 调用 函数 时 ， 在 函数 调用 过 程 中 , 链 z 是 紧 随 在 syne 之 
后 的 链 ， 计 算 有 向 无 环 图 中 包含 返回 边 (return edge)(u，x)， 它 的 方向 是 向 上 的 。 计 算 开 始 于 初 
始 链 (initial strand) (图 27-2 中 标 为 P-FIB(4) 的 黑色 顶点 )， 且 终止 于 结束 链 (final strand) (图 27-2 
中 标 为 P-FIB(4) 的 白色 顶点 )。 

我 们 将 会 在 一 个 理想 并 行 计 算 机 上 研究 多 线程 算法 的 执行 ， 它 包含 一 组 处 理 器 和 串 行 一 致 
(sequentially consistent) 的 共享 存储 器 。 串 行 一 致意 味 着 共享 存储 器 可 能 在 实际 中 同时 执行 多 条 
处 理 器 的 读 和 写 指 令 ， 执 行 的 结果 与 每 一 步 中 只 有 一 个 处 理 器 的 一 条 指令 被 执行 的 结果 一 样 。 
也 就 是 说 ， 存 储 器 的 行为 就 好 像 每 条 指令 按照 某 种 全 局 的 线性 次 序 以 串 行 方式 被 执行 ， 这 种 全 
局 次 序 维护 着 每 个 处 理 器 产生 的 自身 指令 的 次 序 。 对 于 动态 多 线程 计算 ， 它 是 由 并 发 平台 自动 
将 指令 调度 到 各 个 处 理 器 上 的 。 共 享 存储 器 的 行为 像 是 把 多 线程 计算 的 指令 交错 地 产生 一 个 线 
性 次 序 ， 来 实现 计算 有 向 无 环 图 的 一 个 偏 序 。 程 序 的 一 次 执行 次 序 可 以 不 同 于 另 一 次 的 执行 次 
序 ， 这 取决 于 调度 。 但 是 通过 假定 执行 的 某 种 线性 次 序 与 计算 有 向 无 环 图 一 致 ， 可 以 理解 任意 一 
次 执行 的 行为 。 

除了 引入 关于 语义 的 假设 ， 理 想 并 行 计算 机 模型 还 引入 了 一 些 性 能 假设 。 特 别 地 ， 要 假设 这 
种 并 行 机 中 的 每 个 处 理 器 拥有 同等 的 计算 能 力 ， 并 且 忽 略 调度 的 开销 。 尽 管 最 后 一 个 假设 听 起 
来 过 于 乐观 ， 实 际 上 对 于 拥有 充分 的 “并 行 度 ”( 随 后 给 出 这 个 术语 的 精确 定义 ) 的 算法 ,任务 调度 
的 开销 是 十 分 小 的 。 

性 能 度量 

可 以 使 用 两 种 衡量 标准 来 度量 多 线程 算法 的 理论 效率 : 工作 量 (work) 和 持续 时 间 (span)。 多 
线程 计算 的 工作 量 是 指 在 一 个 处 理 器 上 执行 整个 计算 的 总 时 间 。 换 句 话 说， 工作 量 就 是 每 个 链 
消耗 时 间 的 总 和 。 如 果 计 算 有 向 无 环 图 中 的 每 个 链 耗费 单位 时 间 ， 那 么 工作 量 正 是 图 中 的 顶点 
数 。 持 续 时 间 则 是 计算 有 向 无 环 图 中 沿 着 任意 一 条 路 径 链 的 最 长 执行 时 间 。 同 样 ， 如 果 计 算 有 向 
无 环 图 中 每 个 链 耗费 单位 时 间 ， 持 续 时 间 就 是 图 中 最 长 的 路 径 或 关键 路 径 中 的 顶点 数 。( 回 想 在 
24. 2 节 中 ， 可 以 在 @(V 十 E) 时 间 内 在 图 G 二 (V，E) 中 找到 一 条 关键 路 径 。) 例 如 ， 图 27-2 计算 有 
向 无 环 图 中 ， 总 共有 17 个 顶点 且 关 键 路 径 上 有 8 个 顶点 ， 如 果 每 个 链 耗费 单位 时 间 ， 则 工作 量 
是 17 个 单位 时 间 ， 持 续 时 间 是 8 个 单位 时 间 。 

一 个 多 线程 计算 的 实际 运行 时 间 不 仅 取 决 于 其 工作 量 和 持续 时 间 ， 也 取决 于 有 多 少 可 用 的 
处 理 器 数 以 及 调度 器 如 何 对 链 进 行 处 理 器 分 配 。 为 了 表示 多 线程 计算 在 PP 个 处 理 器 上 的 运行 时 
E, RTH PE Pts. Bila, Be Tp 表示 一 个 算法 在 P 个 处 理 器 上 的 运行 时 间 。 工 作 量 是 
单个 处 理 器 上 的 运行 时 间 ， 即 五 。 如 果 每 个 链 都 拥有 自己 的 处 理 器 ( 换 句 话说， 也 就 是 有 无 限 多 
的 处 理 器 )， 此 时 的 运行 时 间 就 是 持续 时 间 。 于 是 用 T< 来 表示 持续 时 间 。 

工作 量 和 持续 时 间 为 P 个 处 理 器 上 的 一 个 多 线程 计算 提供 了 下 界 : 

。 对 于 一 个 计算 步 ， 一 台 有 P 了 个 处 理 器 的 理想 并 行 计算 机 最 多 能 做 PP 个 单位 工作 量 ， 所 以 
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在 Tp 时 间 内 最 多 能 做 PTz 的 工作 量 。 因 为 要 做 的 总 工作 量 是 T, FRA PTPST,. W 
边 都 除 以 书后， 就 得 到 工作 量 定律 (work law): 
TRP (27. 2) 

。 一 台 有 了 个 处 理 器 的 理想 并 行 计算 机 不 可 能 快 于 一 台 有 无 限 个 处 理 器 的 机 器 。 从 另 一 种 

方式 看 ,一 台 有 无 限 个 处 理 器 的 机 器 可 以 只 使 用 其 中 的 P 个 处 理 器 来 模拟 一 台 有 PP 个 处 
理 器 的 计算 机 。 因 此 ， 得 到 下 面 的 持续 时 间 定 律 (span law): 
Lp Te (27.3) 

FA CT /Tp 来 定义 在 PP 个 处 理 器 上 进行 计算 的 加 速 比 (speedup)， 它 表明 在 忆 个 处 理 器 上 进行 
计算 比 在 1 个 处 理 器 上 快 了 多 少 倍 。 根 据 工 作 量 定律 ， 有 Trp>T\/P, BT,/Te<P. At, P 
个 处 理 器 上 的 加 速 比 至 多 为 已 。 当 加 速 比 随 着 处 理 器 的 数目 线性 增长 ( 即 工 /Tb 一 @(P)) 时 , 计 
算 表 现 为 线性 加 速 (linear speedup), “4 T:/Tp =P WM, 就 是 完美 线性 加 速 (perfect linear 
speedup) 。 

工作 量 与 持续 时 间 之 比 T/T 给 出 了 多 线程 计算 的 并 行 度 (parallelism)。 我 们 可 以 从 三 个 角 
度 来 诠释 并 行 度 。 作 为 一 个 比值 ， 并 行 度 表示 沿 着 关键 路 径 每 一 步 可 被 并 行 执 行 的 平均 合计 工 
作 量 。 作 为 一 个 上 界 ， 并 行 度 给 出 了 最 大 的 可 能 加 速 比 ， 这 是 在 任何 数目 的 处 理 器 上 所 能 达到 
的 。 最 后 ， 也 许 是 最 重要 的 ， 并 行 度 给 出 了 获得 完美 线性 加 速 的 一 个 限制 。 具 体 地 讲 ， 一旦 处 理 
器 数目 超过 了 并 行 度 ， 计 算 就 不 可 能 达到 完美 线性 加 速 。 为 了 明白 最 后 一 点 ,假设 P>T,/T..; 
此 时 由 持续 时 间 定 律 可 以 推 得 ， 加 速 比 满足 区 /Tbe 志 T/T 二 P。 此 外 ， 如 果 理 想 计算 机 中 的 处 
理 器 数 PP 远 远 超过 了 并 行 度 ， 即 P>T,/T.., BARA 了 /Te 字 P， 所 以 加 速 比 会 远 小 于 处 理 器 
的 数目 。 换 句 话 说， 我 们 使 用 超出 并 行 度 越 多 的 处 理 器 数目 ， 加 速 比 就 会 越 不 完美 。 

作为 一 个 例子 ， 考 虑 图 27-2 中 的 PFIB(4)? 计 算 ， 假 设 每 个 链 耗费 单位 时 间 。 工 作 量 为 T= 
17， 持 续 时 间 为 T= 一 8， 并行 度 是 T/T 二 17/8 二 2.125。 所 以 ,不论 使 用 多 少 个 处 理 器 ， 要 达 
到 加 速 比 的 翻番 及 更 多 都 是 不 可 能 的 。 然 而 ， 对 于 更 大 的 输入 规模 ， 我 们 将 会 看 到 P-FIB(n) 展 示 
出 更 大 的 并 行 度 。 

对 于 一 台 有 已 个 处 理 器 的 理想 计算 机 上 执行 的 一 个 多 线程 计算 ， 定 义 ( 并 行 ) 松 弛 度 
(slackness) 为 (T/T,)/P 二 TT/(PT.,)， 这 是 一 个 有 关 计 算 并 行 度 超出 机 器 中 处 理 器 数目 的 因 
子 。 因 此 ， 如 果 松 弛 度 小 于 1， 就 得 不 到 完美 线性 加 速 ， 这 是 因为 区/(PT.,) 二 1， 且 由 持续 时 间 
定律 知 ，P 个 处 理 器 上 的 加 速 比 满足 T/Tp 志 元/T, 二 P。 实 际 上 ， 随 着 松弛 度 从 1 降 到 0， 加 
速 比 越 来 越 远 离 完 美 线性 加 速 。 然 而 ， 如 果 松 弛 度 大 于 1， 每 个 处 理 器 就 有 工作 量 方面 的 要 求 。 
后 面 我 们 将 看 到 ， 随 着 松弛 度 从 1 开始 继续 增加 ， 一 个 好 的 调度 器 可 以 使 算法 的 加 速 比 越 来 越 接 
近 完 美 线性 加 速 。 

调度 

好 的 性 能 并 不 仅仅 取决 于 减少 工作 量 和 持续 时 间 ， 还 有 其 他 更 多 因素 。 链 也 要 被 有 效 地 调 
度 到 并 行 机 的 各 个 处 理 器 上 。 多 线程 编程 模型 并 没有 指定 链 到 哪些 处 理 器 上 执行 。 然 而 ， 可 以 依 
靠 并 发 平台 的 调度 器 动态 地 将 展开 的 计算 映射 到 各 个 处 理 器 上 。 在 实际 操作 中 ， 调 度 器 将 这 些 
链 映射 为 一 些 静 态 线程 ， 操 作 系 统 再 调度 这 些 线程 到 各 个 处 理 器 上 执行 ， 但 对 于 调度 的 理解 可 
以 不 考虑 这 一 额外 的 间接 层面 。 我 们 可 以 认为 并 发 平台 的 调度 器 直接 将 这 些 链 映 射 到 处 理 器 上 。 

多 线程 调度 器 必须 在 事先 不 知道 何 时 链 被 派生 和 结束 的 情况 下 来 进行 调度 计算 ， 它 必须 是 
在 线 (on-line) 的 。 此 外 ,一 个 好 的 调度 器 能 以 分 布 式 方式 工作 ， 其 中 实现 调度 器 的 线程 协助 计算 
中 的 负载 平衡 。 已 有 一 些 好 的 在 线 分 布 式 调度 器 ， 但 分 析 它 们 十 分 复杂 。 

然而 ， 为 了 使 分 析 简 单 些 ， 我 们 将 探讨 一 个 在 线 集中 式 (centralized) 调 度 器 ， 它 知道 任何 给 
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定时 刻 计 算 的 全 局 状态 。 特 别 地 ， 我 们 要 分 析 贪心 调度 器 (greedy scheduler) ， 它 们 在 每 个 时 间 步 
内 尽 可 能 地 分 配 更 多 的 链 到 处 理 器 上 。 如 果 在 一 个 时 间 步 内 有 至 少 PP 个 链 准 备 执行 ， 我们 称 该 
时 间 步 为 完全 步 (complete step) ， 贪 心 调度 器 就 是 分 配 任何 准备 好 的 书 个 链 到 处 理 器 上 。 如 果 少 
于 也 个 链 准备 执行 ， 此 时 称 该 时 间 步 是 一 个 非 完 全 步 (incomplete step) ， 并 且 调 度 器 将 每 个 准备 
好 的 链 分 配 到 其 所 在 的 处 理 器 上 。 

由 工作 量 定律 ， 在 PP 个 处 理 器 上 希望 的 最 优 运 行 时 间 是 Tp 二 TT/P。 再 由 持续 时 间 定 律 ， 希 
望 的 最 好 运行 时 间 是 Tp 二 T.。。 下 面 的 定理 证 明了 贪心 调度 是 好 的 ， 其 得 到 的 运行 时 间 上 界 是 这 
两 个 下 界 的 和 。 

定理 27.1 在 有 书 个 处 理 器 的 理想 计算 机 上 ， 贪 心 调度 器 执行 一 个 工作 量 为 T 和 持续 时 间 
为 I 的 多 线程 计算 的 运行 时 间 为 : 

Tp <T,/P+T.. (27. 4) 

证 明 从 完全 步 开始 考虑 。 在 每 个 完全 步 中 ，P 个 处 理 器 合计 要 执行 P 个 工作 量 。 现 在 用 
反 证 法 ， 假 设 完全 步 数 严格 大 于 | T,/P]。 那 么 ， 这 些 完全 步 的 总 工作 量 至 少 为 : 

P+ (LT,/PJ+1) =P|T,/P|+P 
=T,—(T, modP)+P (根据 公式 (3. 8)) 
=T (根据 不 等 式 (3. 9)) 
因此 ， PP 个 处 理 器 的 工作 量 超过 了 计算 需要 的 工作 量 ,， 产生 矛盾 。 于 是 得 到 完全 步 数 至 多 为 
L/P 的 结论 。 

现在 ， 考 虑 非 完全 步 。 用 G 代 表 整 个 计算 的 有 向 无 环 图 ， 不 失 一 般 性 ， 假 设 每 个 链 耗 费 单 
位 时 间 。( 可 以 用 一 串 单位 时 间 的 链 来 替代 每 个 较 长 时 间 的 链 。) 用 G' 代 表 在 非 完 全 步 开 始 时 仍 要 
执行 的 G 的 子 图 ，G" 代 表 在 非 完 全 步 结 束 后 其 余 要 执行 的 子 图 。 一 条 有 向 无 环 图 中 的 最 长 路 径 
必须 是 从 一 个 人 度 为 0 的 顶点 开始 的 。 由 于 贪心 调度 器 中 的 非 完 全 步 执 行 了 图 G "中 所 有 人 入 度 为 0 
的 链 ，G" 中 的 最 长 路 径 长 度 一 定 比 G' 中 的 最 长 路 径 长 度 小 1。 换 句 话 说， 一 个 非 完 全 步 使 未 执行 
的 有 向 无 环 图 的 持续 时 间 减 小 了 1。 因 此 非 完 全 步 的 数目 至 多 为 Too 

因为 每 个 时 间 步 或 是 完全 的 或 是 非 完 全 的 ， 所 以 定理 成 立 。 回 

以 下 是 从 定理 27. 1 得 到 的 推论 ， 表 明 贪 心 调度 器 的 性 能 总 是 很 好 。 

推论 27.2 对 于 一 台 有 P 忆 个 处 理 器 的 理想 并 行 计算 机 ， 使 用 贪心 调度 器 调度 的 任何 多 线程 
计算 的 运行 时 间 Tp 都 在 最 优 时 间 的 2 倍 以 内 。 

证 明 设 Ts 是 一 个 由 最 优 调度 器 在 P 个 处 理 器 的 计算 机 上 产生 的 最 短 时 间 ，T 和 并 -分 别 
是 工作 量 和 持续 时 间 。 根 据 工作 量 和 持续 时 间 定 律 ， 即 不 等 式 (27.2) 和 (27. 3)， 可 以 得 到 T > 
max(Ti/P，T-)， 由 定理 27. 1 推 得 ， 

Tp <T,/P+T.. <2 + max(T,/P,T..) <2T; E 

事实 上 ， 接 下 来 的 一 个 推论 表明 ， 随 着 松弛 度 的 增长 ， 对 于 任何 多 线程 计算 ,贪心 调度 器 可 
以 达到 近 完 美 线性 加 速 。 

推论 27.3 设 Tp 是 一 个 贪心 调度 器 在 PP 个 处 理 器 的 理想 并 行 计算 机 上 调度 多 线程 计算 所 产 
生 的 运行 时 间 ，TI 和 T- 分 别 是 计算 的 工作 量 和 持续 时 间 。 如 果 PK(T,/T..), WA Tp~T,/P, 
或 等 价 地 ， 一 个 接近 也 的 加 加 上 比 。 

证 明 如 果 假 设 P<T/T.,， 那么 也 有 T< 入 了/P， 因 此 根据 定理 27.1 可 以 得 到 T< 
T/P 十 T。 守 TI/P。 又 由 工作 量 定律 (27.2) 得 出 TeST,/P, Alt, 我 们 有 结论 Te~T,/P, 或 
等 价 地 ， 加 速 比 是 T,/Tp~P. 加 

符号 “<” 意 为 “ 远 小 于 ”， 但 “ 远 小 于 ”是 小 多 少 呢 ? 根据 经 验 ， 松 弛 度 10 以 上 ( 即 并 行 工作 量 
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10 倍 于 处 理 器 数 及 以 上 ) 一 般 可 以 达到 好 的 加 速 比 。 此 外 ， 不 等 式 (27. 4) 的 贪心 界 中 持续 时 间 项 
小 于 每 个 处 理 器 工作 量 的 10%， 这 适用 于 大 多 数 应 用 场合 。 例 如 ， 如 果 一 个 计算 只 运行 在 10 个 
或 者 100 个 处 理 器 上 ， 说 并 行 度 1 000 000 大 于 10 000 甚至 是 100 的 倍数 差异 ， 都 是 没有 什么 意 
义 的。 正如 思考 题 27-2 所 示 ， 有 时 候 通过 降低 过 度 并 行 度 的 方法 ， 可 以 得 到 考虑 其 他 因素 的 更 
好 算法 ， 在 合理 数量 的 处 理 器 上 有 较 好 的 加 速 性 能 。 

多 线程 算法 的 分 析 

现在 有 了 多 线程 算法 分 析 需 要 的 所 有 工具 ， 并 有 了 不 同 处 理 器 数目 上 的 一 些 好 的 时 间 界 。 
工作 量 的 分 析 相 对 直观 ， 因 为 它 并 不 比分 析 一 个 普通 的 串 行 算法 (即将 多 线程 算法 串 行 化 ) 运 行 
时 间 多 做 些 什么 ， 读 者 应 该 已 经 很 熟悉 了 ， 因 为 本 书 大 部 分 内 容 都 是 关于 这 些 内 容 的 ! 分 析 持 续 
时 间 更 有 趣 些 ， 但 是 只 要 你 掌握 了 ， 一 般 就 不 太 难 。 下 面 用 PEFIB 程序 来 探讨 该 基本 思想 。 

分 析 P-FIB(n) 的 工作 量 T, (m 没 有 任何 困难 ， 因为 前 面 已 经 做 过 这 个 工作 。P-FIB 的 源 程序 
本 质 上 就 是 FIB 的 串 行 化 版 本 ， 所 以 由 等 式 (27. 1), 得 到 Ti MSTS), 

图 27-3 展示 了 如 何 分 析 持 续 时 间 。 如 果 两 个 子 计 算是 串 行 连接 的 ， 它 们 的 持续 时 间 相 加 就 
形成 了 混合 计算 的 持续 时 间 ; 而 如 果 它 们 是 并 行 连接 的 ， 混 合计 算 的 持续 时 间 就 是 这 两 个 子 计 
算 中 持续 时 间 最 大 的 。 对 于 PFB), 第 3 行 中 的 派生 调用 PFIB(n 一 1) 与 第 4 行 中 的 调用 
P-FIB(n 一 2) 并 行 执行 。 因 此 ， 可 以 将 PFIB(n) 的 持续 时 间 表 示 为 

T..(n) =max(T,(n—1),T,(n—2))+Q() 
=T..(n—1) + 00) 
解 之 可 得 T.. (n) =O(n). 


= 


THE: T,(AUB)=T,(A)+T,(B) 工作 量 : T,(AUB)=7,(4)+7,(B) 
持续 时 间 : T-(4UB)=7T-(4)+7-(B) 持续 时 间 : 7T-(4UB)=max(T-(4),7-(B)) 
(a) (b) 


图 27-3 混合 子 计 算 的 工作 量 和 持续 时 间 。(a) 当 两 个 子 计算 串 行 连接 时 ， 混 合 
计算 的 工作 量 就 是 它们 的 工作 量 之 和 ， 持 续 时 间 是 它们 的 持续 时 间 之 
和 。(b) 当 两 个 子 计算 并 行 连接 时 ， 混 合计 算 的 工作 量 虽 是 它们 的 工作 
量 之 和 ,但 持续 时 间 只 是 它们 持续 时 间 的 最 大 值 


P-FIB(n) 的 并 行 度 是 T n/T (ln) 二 8B(/n)， 随 着 nn 变 大 ， 它 增加 得 非常 快 。 因此， 即使 
在 一 个 最 大 规模 的 并 行 计算 机 上 ， 一 个 适当 的 nn 对 于 P-FIB(n) 计 算 足 以 提供 接近 完美 的 线性 加 
速 ， 因 为 这 个 程序 有 着 可 观 的 并 行 松弛 度 。 

并 行 循环 

许多 算法 都 包含 循环 ， 循 环 中 的 所 有 迭代 能 被 并 行 执行 。 后 面 将 会 看 到 ， 使 用 spawn 和 sync 
关键 字 并 行 化 这 些 循环 ， 可 以 很 方便 地 直接 标注 使 得 这 些 循环 并 发 执行 的 迭代 。 利 用 parellel 并 
发 关键 字 ， 伪 代码 通过 在 for 循环 语句 的 for 关键 词 前 添加 parallel 来 实现 这 个 功能 。 

作为 一 个 例子 ， 考 虑 一 个 nXn 阶 的 矩阵 A 二 (a; ) 乘 以 一 个 n 维 向 量 x== (zx;)， 结 果 n 维 向 量 
y= w TA FRA]: 


yi = Xas ;Ljst = 1,2,°,n 
并 行 计算 y 的 所 有 项 来 实现 矩阵 和 向 量 相 乘 ， 具体 如 下 : 
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MAT-VEC(A, x) 

1 n=A. rows 

2 let y be a new vector of length n 
3 parallel for i=1 to n 
4 yi=0 

5 parallel for ;一 1 ton 
6 for j=1 ton 

T Yı yi tayz; 
8 


return y 
在 这 段 代 码 中 ， 第 3 行 和 第 5 行 中 关键 字 parallel for 表示 各 自 循环 的 每 个 迭代 都 可 以 并 发 执行 。 
编译 器 可 以 像 分 治 子 程序 一 样 ， 使 用 舱 套 并 行 来 实现 每 个 parallel for 循环 。 例如， 第 5 一 7 行 中 
的 parallel for 循环 可 以 调用 MAT-VEC-MAIN-LOOP(A, zx, y, n, 1, m) KSB, Hp gees 
产生 如 下 的 辅助 子 过 程 MAT- VEC-MAIN-LOOP;: 


MAT-VEC -MAIN -LOOP(A, x, y, n, i, i’) 

1 ifi==i' 

2 for j=1 ton 

3 和 一 入 十 ai 

4 else mid=|(i+i')/2| 

5 spawn MAT-VEC -MAIN -LOOP(A, x, y, n, i, mid) 
6 MAT-VEC -MAIN -LOOP(A, x, y, n, mid+1, i') 
7 sync 


KAREE UR AE ET OR A FER, TINEA ATT a EN. RAAT — A 
sync， 从 而 创建 一 棵 执行 二 义 树 ， 树 中 的 叶 结 点 是 各 个 循环 迭代 ， 如 图 27-4 所 示 。 





图 27-4 一 个 有 向 无 环 图 表示 MAT-VEC-MAIN-LOOP(A，z，y，8，1，8) 的 计算 。 每 个 圆 
角 和 矩形 中 的 两 个 数字 是 过 程 调用 (派生 调用 或 普通 调用 ) 中 最 后 两 个 参数 的 值 (程序 头 中 
的 i 和 i')。 黑 圈 代 表 链 ， 这 些 链 对 应 的 或 是 基础 情形 或 是 直到 第 5 行 中 派生 过 程 
MAT-VEC-MAIN-LOOP 的 程序 段 ; 灰 圈 代表 链 ， 这 些 链 对 应 的 是 从 第 6 行 中 的 调用 
MAT-VEC-MAIN-LOOP 直到 第 7 行 中 的 syne 关键 字 前 的 那 一 部 分 程序 ， 它 们 在 第 5 
行 中 派生 子 进程 返回 前 都 处 于 悬挂 状态 ， 白 圈 代 表 链 ， 这 些 链 对 应 的 是 关键 字 syne 后 
直到 程序 返回 前 的 那 一 部 分 程序 ， 这 部 分 很 少 ， 可 以 忽略 


为 了 计算 nXn BYE MAT-VEC 的 工作 量 T, (xz ， 只 需 简 单 地 计算 它 的 串 行 化 的 运行 时 
间 ， 串 行 化 版 本 可 用 普通 for 循环 替代 parallel for 循环 得 到 。 因 此 ， 有 T ()=OCr’), AAR 
5 一 7 行 的 双重 嵌 套 循环 是 二 次 的 执行 时 间 。 然 而 ， 前 面 的 分 析 似乎 忽略 了 实现 并 行 循环 时 递归 派 L286 
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生 的 开销 。 实 际 上 ， 与 原 串 行 程序 相 比 ， 递 归 派 生 的 开销 确实 增加 了 并 行 循环 的 工作 量 ， 但 并 没 
有 改变 工作 量 的 渐 近 式 。 要 知道 什么 原因 ， 注 意 到 由 于 递归 过 程 实例 树 是 一 棵 满 的 二 又 树 ， 内 部 
结 点 的 数目 比 叶 结 点 的 数目 少 1( 参 见 练习 B. 5-3) 。 每 个 内 部 结 点 划分 递归 范围 耗费 常数 工作 量 ， 
且 每 个 叶 结 点 对 应 于 循环 的 一 次 迭代 ， 这 种 情况 消耗 86(n) 时 间 。 因 此 ， 我 们 可 以 将 递归 派生 的 
开销 挫 还 到 循环 的 每 一 个 迭代 上 ， 所 以 最 多 将 整个 工作 量 增加 一 个 常数 因子 。 

作为 一 个 实际 问题 ,动态 多 线程 并 发 平台 有 时 候 可 以 自动 或 者 采用 程序 员 控 制 的 方式 ， 用 
单个 叶 结 点 中 执行 多 次 而 不 是 一 次 迭代 的 方法 使 得 一 个 递归 叶子 变 粗 (coaren)， 从 而 减少 递归 派 
生 的 开销 。 这 种 减少 开销 的 方法 是 以 减少 并 行 度 为 代价 的 ， 但 是 如 果 计 算 有 充分 的 并 行 松 弛 度 ， 
依然 可 以 达到 近 完 美 线性 加 速 。 

分 析 一 个 并 行 循环 结构 的 持续 时 间 ， 也 必须 要 考虑 递归 调用 的 开销 。 因 为 递归 调用 的 深度 
是 迭代 数 的 对 数 函 数 ， 对 于 一 个 有 ?次 迭代 且 第 ; 次 迭代 的 持续 时 间 是 itero (让) 的 并 行 循环 ， 整 
个 持续 时 间 是 : 

T(n) = @( Ign) + max iter.» (2) 

例如 ， 对 于 nXn 阶 和 矩阵 的 MAT-VEC, 第 3~4 行 中 的 初始 化 并 行 循 环 的 持续 时 间 为 OC gn) , 
因为 该 递归 派生 中 每 次 迭代 为 常数 时 间 的 工作 量 。 第 5 一 ?7 行 中 的 双重 般 套 循环 的 持续 时 间 是 
O(n), XA ASHE parallel for 循环 的 每 次 迭代 包含 内 层 for 循环 的 n 次 迭代 。 所 以 过 程 中 余下 
的 代码 的 持续 时 间 是 常数 ， 因 此 整个 过 程 的 持续 时 间 由 双重 租 套 循环 决定 ， 于 是 整个 持续 时 间 
是 @(n)。 因 为 工作 量 是 8(02 ) ， 所 以 并 行 度 为 6(w?)/8(n) 二 Bln)。( 练 习 27. 1-6 要 求 读者 给 出 
一 个 有 更 高 并 行 度 的 实现 。) 

竞争 条 件 

一 个 多 线程 算法 是 确定 的 (deterministic) ， 如 果 在 同样 的 输入 情况 下 总 是 做 相同 的 事 ， 且 无 
论 指 令 在 多 核 计算 机 上 如 何 被 调度 也 是 如 此 。 一 个 多 线程 算法 是 非 确定 的 (nondeterministic)， 如 
果 每 次 执行 它 做 的 事情 有 所 不 同 。 一 个 多 线程 算法 意图 确定 地 做 一 些 事情 ,但 常常 会 失败 ， 究 其 
原因 是 算法 中 包含 了 “确定 性 竞争 ”。 

竞争 条 件 是 并 发 的 祸根 。 比 较 著 名 的 竞争 错误 有 ， 导 致 3 人 死亡 和 多 人 重伤 的 Therac-25 放 
射 治疗 仪 事件 ， 以 及 使 得 超过 5 000 万 人 失去 了 电力 供应 的 2003 年 北美 大 停电 事件 。 这 些 致命 
的 错误 非常 难以 察觉 。 你 可 能 一 直 在 实验 室 测试 了 数 天 都 没有 找到 一 个 错误 ， 却 发 现 你 的 软件 
在 现场 偶然 发 生 骨 省 。 

当 两 个 逻辑 上 并 行 指令 访问 存储 器 同一 位 置 且 至 少 有 一 个 指令 执行 写 操 作 的 时 候 ， 便 会 发 
生 确 定性 竞争 (determinacy race)。 以 下 程序 描述 了 一 个 竞争 条 件 : 

RACE-EXAMPLEQ 

1 z=0 

2 parallel for i=1 to 2 

3 工 一 工 十 1 

4 print x 

在 第 1 行 中 将 工 初 始 化 为 0 后 ，RACE-EXAMPLE 产 生 两 个 并 行 链 ， 它 们 都 执行 第 3 行 的 对 
Z 加 1 的 操作 。 似 乎 RACE-EXAMPLE 应 总 是 输出 2( 对 应 的 串 行 化 版 本 一 定 如 此 )， 然 而 并 行 执 
行 可 能 输出 1。 我 们 来 看 一 下 这 个 异常 是 如 何 发 生 的 。 

当 一 个 处 理 器 对 z 进行 加 1 操作 时 ， 该 操作 不 是 不 可 分 的 ， 而 是 由 一 系列 指令 组 成 : 

1. 从 存储 器 中 读 取 zx 的 值 到 处 理 器 的 寄存 器 中 。 

2. 对 寄存 器 中 的 值 加 1。 

3. 将 寄存 器 中 的 值 写 回 到 存储 器 中 的 x. 
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图 27-5(a) 展 示 了 代表 RACE-EXAMPLE 执行 的 一 个 计算 有 向 无 环 图 ， 其 中 链 已 细 分 为 各 个 
指令 。 注 意 到 ， 由 于 理想 并 行 计算 机 支持 顺序 执行 的 一 致 性 ， 因 此 我 们 能 视 一 个 多 线程 算法 的 某 
次 并 行 执行 为 一 组 交错 指令 ， 该 交错 指令 满足 计算 有 向 无 环 图 中 的 关联 。 图 27-5(b) 显 示 了 产生 
异常 结果 的 一 次 计算 执行 。z 的 值 存放 在 存储 器 中 ，r Al ry 是 处 理 器 的 寄存 器 。 在 步 又 1 中 ， 
一 个 处 理 器 将 z 的 值 置 为 0。 在 步骤 2 和 3 中 ， 处 理 器 1 从 存储 器 中 读 取 工 存 人 它 的 寄存 器 盖 
中 ,并 且 对 它 加 1， 此 时 的 值 为 1。 此 时 ， 处 理 器 2 也 正在 运行 指令 4 一 6。 处 理 器 2 从 存储 器 
中 读 取 工 存 人 它 的 寄存 器 中， 并且 对 它 加 1， 此 时 r WEA 1, Rae MAA cH, xh 
值 为 1。 现 在， 处 理 器 1 继续 步 双 7， 将 六 中 的 1 存 人 xz， 这 并 未 使 得 xz 的 值 改变 。 因 此 ,步骤 8 
输出 值 1 而 不 是 2， 后 者 是 串 行 化 程序 所 期 望 的 输出 结果 。 








| 
一 | 


一 一 一 尼 | 


(a) (b) 


图 27-5 RACE-EXAMPLE 中 确定 性 竞争 的 例子 。(a) 计 算 有 向 无 环 图 显示 了 各 个 指令 间 的 关 
联 性 。n 和 rz 为 处 理 器 中 的 寄存 器 。 一 些 与 竞争 无 关 的 指令 被 省 略 了 ， 比 如 循环 控制 
实现 的 指令 。(b) 一 个 引起 错误 的 执行 序列 ， 图 中 显示 了 执行 序列 每 一 步 存储 器 中 x 
的 值 ， 以 及 寄存 器 r 和 xs 的 值 


我 们 能 明白 上 面 发 生 的 情况 。 如 果 一 个 并 行 执 行 要 求 处 理 器 1 在 处 理 器 2 之 前 执行 完 它 的 全 
部 指令 ， 则 应 该 输出 数值 2。 反 之 ， 如 果 一 个 并 行 执行 要 求 处 理 器 2 在 处 理 器 1 之 前 执行 完 它 的 
全 部 指令 ， 则 输出 依然 为 2。 然 而， 两 个 处 理 器 同时 执行 各 自 的 指令 ， 有 可 能 如 图 中 的 例子 ， 对 
Z 的 一 个 更 新 便 丢 失 了 。 

当然 ， 许 多 执行 并 不 导致 这 种 错误 。 例 如 ， 如 果 执 行 顺序 是 (1，2，3，7，4，5，6，8) 或 者 
(1，4，5，6，2，3，7，8)， 则 均 能 得 到 正确 的 结果 。 这 是 一 个 确定 性 竞争 问题 。 一 般 来 说 ， 大 
多 数 次 序 都 产生 正确 的 结果 ， 比 如 任何 左边 的 指令 都 比 右边 的 指令 先 执 行 ， 反 之 也 一 样 。 但 是 一 
些 指令 交错 的 次 序 会 产生 错误 结果 。 所 以 一 些 竞争 特别 难以 检 出 。 你 可 能 测试 了 数 天 都 没有 发 
现 错误 ， 而 在 最 后 关键 时 刻 现场 体验 了 灾难 性 的 系统 崩溃 。 

虽然 处 理 竞 争 有 各 种 不 同方 法 ， 包 括 使 用 互 斥 锁 和 其 他 的 同步 方法 ,但 是 对 我 们 而 言 ， 简 单 
的 做 法 是 确保 并 行 运行 的 链 是 独立 的 : 使 它们 之 间 不 存在 确定 性 竞争 。 因 此 ， 在 一 个 parallel for 
结构 中 ， 所 有 和 迭代 应 该 是 独立 的 。 在 spawn 和 对 应 的 syne 之 间 ， 派 生子 过 程 的 代码 应 该 与 父 过 
程 (包括 其 他 派生 过 程 和 直接 调用 的 程序 ) 的 代码 相互 独立 。 要 注意 的 是 传 给 派生 子 过 程 的 参数 
应 该 在 实际 派生 发 生前 在 父 过 程 中 被 计算 出 来 ， 因 而 对 于 任何 要 访问 那些 派生 子 过 程 涉 及 的 参 
数 ， 都 要 在 派生 子 过 程 执行 完 后 再 顺序 地 被 访问 。 

下 面 的 例子 说 明代 码 中 十 分 容易 出 现 竞 争 。 这 是 一 个 多 线程 矩阵 和 向 量 相 乘 的 错误 实现 ， 
它 是 通过 对 内 层 for 循环 并 行 化 得 到 的 ， 持 续 时 间 是 OClgn). 

MAT-VEC -WRONG (A, x) 

1 n=A. rows 


2 let y be a new vector of length n 
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3 parallel for i=1 to n 

4 y=9 

5 parallel for ¿=1 to n 

6 parallel for 7=1 ton 
T 和 一 六 十 ai 
8 


return y 


遗憾 的 是 ， 该 过 程 是 错误 的 ， 因 为 其 第 7 行 中 更 新 y 导致 了 竞争 ， 这 里 对 j TA 个 值 都 并 发 
执行 。 练 习 27. 1-6 要 求 给 出 一 个 持续 时 间 为 BClgz) 的 正确 实现 。 

有 竞争 的 多 线程 算法 有 些 时 候 是 正确 的 。 例 如 ， 两 个 并 行 的 线程 要 存储 相同 的 值 到 一 个 共 
享 变量 中 ， 谁 先 写 人 都 是 一 样 的 。 但 是 总 体 上 来 说 ， 存 在 竞争 的 代码 是 非法 的 。 

国际 象棋 

用 一 个 真实 的 故事 来 结束 本 节 ， 该 事件 出 现在 世界 级 多 线程 象棋 博弈 程序 的 发 展期 间 ( 友 
Socrates[80]) 。 以 下 为 了 阐述 方便 ， 对 于 程序 的 计时 分 析 做 了 简化 。 这 个 程序 的 原型 是 运行 在 一 
台 32 个 处 理 器 的 计算 机 上 的 ， 但 最 终 运行 在 一 台 512 个 处 理 器 的 超级 计算 机 上 。 那 时 ， 开 发 者 
在 一 个 重要 的 测试 平台 上 对 程序 进行 了 优化 ， 使 它 在 32 个 处 理 器 的 计算 机 上 运行 时 间 从 T 一 65 
秒 减 少 到 了 T's. =40 秒 。 然 而 ， 开 发 人 员 使 用 工作 量 和 持续 时 间 的 性 能 度量 来 给 优化 版 本 下 结 
W. E 32 个 处 理 器 的 计算 机 上 运行 时 间 要 快 些 ， 而 在 512 个 处 理 器 的 计算 机 上 实际 运行 比 原版 
本 要 慢 。 所 以 ,他们 放弃 了 这 个 “优化 ”。 

这 里 是 他 们 的 分 析 。 原 版 本 程序 的 工作 量 T = 2 048 秒 ， 持 续 时 间 To =l 秒 。 如 果 将 不 等 
式 (27. 4) 看 做 一 个 等 式 Tp 二 TT/P 十 T.。， 并 用 它 作为 个 处 理 器 上 运行 时 间 的 一 个 近似 ， 于 是 
得 到 Ts 二 2 048/32 十 1 二 65。 对 于 优化 版 本 ， 工 作 量 为 T! 二 1 024 秒 ， 持 续 时 间 变 成 了 TL=8 
秒 。 再 次 使 用 近似 方法 ， 得 到 Ty, =1 024/32 十 8 一 40。 

但 是 ， 在 512 个 处 理 器 的 计算 机 上 测试 时 ， 两 个 版 本 的 速度 大 小 对 换 了 。 具 体 来 说 ， 我 们 有 
Ts 二 2 048/512 十 1 二 5 #b, Tl =1024/512+8=10 秒 。 这 个 在 32 个 处 理 器 上 可 以 加 速 的 优化 
方法 ,在 512 个 处 理 器 上 却 比 原 程 序 慢 了 1 倍 。 优 化 版 本 的 持续 时 间 是 8， 不 是 32 个 处 理 器 上 运 
行 时间 的 决定 项 ,但 在 512 个 处 理 器 上 却 变 成 了 决定 项 ， 抵 消 了 使 用 更 多 处 理 器 带 来 的 优势 。 

这 个 故事 说 明 ， 工 作 量 和 持续 时 间 可 以 作为 一 个 推断 性 能 的 好 工具 ， 比 实际 测量 运行 时 间 
要 好 。 


练习 


27.1-1 假设 P-FIB 中 第 4 行 派生 调用 P-FIB(n 一 2)， 而 不 是 像 原 程序 中 使 用 普通 调用 的 方法 ， 
则 渐 近 工作 量 、 持 续 时 间 和 并 行 度 各 是 多 少 ? 

27. 1-2 请 画 出 运行 PFIB(5) 的 计算 有 向 无 环 图 。 假 设计 算 中 的 每 个 链 消耗 单位 时 间 ， 则 该 计算 
的 工作 量 、 持 续 时 间 和 并 行 度 各 是 多 少 ? 如 何在 3 个 处 理 器 上 调度 这 个 计算 有 向 无 环 
图 ， 要 求 使 用 贪心 调度 并 用 执行 中 的 时 间 步 给 每 个 链 做 标记 。 

27. 1-3 证 明 : 贪心 调度 可 以 达到 下 面 的 时 间 界 ， 该 时 间 界 稍微 强 于 定理 27. 1 给 出 的 界 : 

7, =7 
P 
27.1-4 构造 一 个 计算 有 向 无 环 图 ， 使 得 在 相同 数目 的 处 理 器 上 ， 一 个 贪心 调度 器 的 一 次 执行 时 

间 是 某 个 贪心 调度 器 的 另 一 次 执行 时 间 的 几乎 2 倍 。 描 述 这 两 种 执行 是 如 何 进行 的 。 
27.1-5 Karan 教授 在 处 理 器 数 为 4、10 和 64 的 理想 并 行 计算 机 上 ， 使 用 一 个 贪心 调度 器 分 别 测 
试 了 她 的 确定 多 线程 算法 ， 她 的 三 次 运行 结果 分 别 为 T,=80 秒 、Tio 王 42 HA Ta =10 


Tr< 





is (27.5) 
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秒 。 说 明 该 教授 是 在 说 谎 ， 还 是 实验 不 合适 。( 提 示 : 使 用 工作 量 定律 (27. 2)、 持 续 时 





间 定 律 (27. 3) ， 以 及 从 练习 27. 1-3 得 到 的 不 等 式 (27. 5) 。) [791] 
27. 1-6 请 给 出 一 个 计算 nXn MEREM n 维 向 量 相 乘 的 多 线程 算法 ， 要 求 并 行 度 为 O /lgn)， 
工作 量 为 O), 


27.1-7 考虑 下 面 原 地 完成 nXn 阶 矩阵 转 置 的 多 线程 伪 代 码 : 
P-TRANSPOSE(A) 


1 n=A. rows 
2 parallel for j=2 ton 
3 parallel for i=1 to 7 一 1 


4 exchange a; with ai 


试 分 析 这 个 算法 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27.1-8 假设 将 PTRANSPOSE( 见 练习 27. 1-7) 中 第 3 行 的 parallel for 循环 替换 成 普通 的 for 循 
环 。 试 分 析 改 变 后 算法 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27.1-9 假定 Tp 二 元 /P 十 T。， 在 多 少 个 处 理 器 的 并 行 机 上 才能 使 国际 象棋 程序 的 两 个 版 本 的 运 
行 速度 一 样 快 ? 


27.2 多 线程 矩阵 乘法 
在 本 节 中 ， 我 们 讨论 如 何 进 行 多 线程 矩阵 乘法 ， 该 问题 的 串 行 运行 时 间 在 4. 2 节 已 经 介绍 
了 。 下 面 的 多 线程 算法 是 基于 标准 的 三 重典 套 算法 及 分 治 算法 而 得 到 的 。 


矩阵 乘法 的 多 线程 算法 
我 们 讨论 的 第 一 个 算法 是 一 个 直接 得 到 的 算法 ， 它 是 基于 对 4. 2 节 的 SQUARE-MATRIX- 
MULTIPLY 过 程 中 的 循环 进行 并 行 化 的 。 KA 


P-SQUARE-MATRIX-MULTIPLY(A, B) 
n=A. rows 
let C be a new nXn matrix 


J 

2 

3 parallel for i=1 to n 

4 parallel for j=1 ton 
5 &=0 

6 for k=1 ton 

7 Ci = Cy tae * by 
8 


return C 


为 了 分 析 这 个 算法 ， 注 意 到 其 串 行 化 版 本 就 是 SQUARE-MATRIX-MULTIPLY， 因 此 容易 
得 到 它 的 工作 量 T (n) =O’), 4 SQUARE-MATRIX-MULTIPLY 的 运行 时 间 相 同 。 持 续 时 间 
是 T.,(n) 一 B(n)， 因 为 它 对 应 的 是 第 3 行 开 始 的 paralle for 循环 构成 的 递归 树 中 的 一 条 向 下 路 
径 ， 然 后 第 4 行 开始 的 paralle for 循环 构成 的 递归 树 向 下 ， 再 执行 第 6 行 开始 的 普通 for 循环 的 
HA n 次 迭代 ， 结 果 整 个 持续 时 间 为 OC gn) +O gn) +O) =O). PARTER O) = 
O(n’), HY 27. 2-3 要 求 读 者 并 行 化 内 层 循环 并 得 到 并 行 度 为 BCza/lgz) ， 这 里 不 能 直接 使 用 
parallel for， 因 为 这 样 会 导致 数据 竞争 。 

和 矩阵 乘法 的 分 治 多 线程 算法 

由 于 在 4.2 节 中 已 学 习 过 ， 用 Strassen 的 分 治 策略 可 以 在 O(n”) =OCn* ) tT ASE Xn 
阶 和 矩阵 乘法 ， 这 促使 我 们 将 目光 转向 多 线程 。 如 同 在 4. 2 节 中 做 的 那样 ， 以 对 一 个 简单 的 分 治 算 
法 进行 多 线程 处 理 来 开始 。 

回想 SQUARE-MATRIX-MULTIPLY-RECURSIVE 过 程 ， 它 将 两 个 nXn 和 矩阵 A 和 B 相 乘 
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得 到 nXn 和 矩阵 C， 方 法 是 将 这 三 个 矩阵 都 划分 成 4 个 n/2Xn/2 的 子 矩阵 : 
A, Apr By Be Gy Ge 
“ae ie E i = a. pe 的 ae 
然后 ， 我 们 重 写 矩 阵 乘 积 为 : 
Cn Cz An Ay By By 
Bs Ca 上 be en ad 
aS By By An By | ure A B» ] 
An By An By Ax By Ax By 
因此 ， 做 两 个 Xn 矩阵 相 乘 ， 要 执行 8 次 n/2Xn/2 矩阵 的 乘法 。 下 面 的 伪 代 码 使 用 嵌 套 并 行 实 
现 了 这 个 分 治 策略 。 与 SQUARE-MATRIX-MULTIPLY-RECURSIVE 过 程 不 同 ，P-MATRIX- 
MULTIPLY-RECUREIVE 过 程 将 输出 矩阵 作为 一 个 参数 以 避免 不 必要 的 矩阵 分 配 。 
P-MATRIX-MULTIPLY-RECURSIVE(C, A, B) 


1 n=A. rows 


2 fte= 1 


(27. 6) 


3 cu=anby 

4 else let T be a new nXn matrix 

5 partition A, B, C, and T into n/2Xn/2 submatrices 
Ans Ar» An» Az; Bn, Br» Ba, Bz; Cis Ciz, Cas Cz; 
and Tu» Tis, Tas T223 respectively 


6 spawn P-MATRIX -MULTIPLY-RECURSIVE(C,;, An, Bu) 
7 spawn P-MATRIX -MULTIPLY-RECURSIVE(C,,, An, Biz) 
8 spawn P-MATRIX -MULTIPLY-RECURSIVE(C,,, Az, Bu) 
9 spawn P-MATRIX -MULTIPLY-RECURSIVE(C,,, Az, Biz) 
10 spawn P-MATRIX -MULTIPLY-RECURSIVE(T,, Aw» Ba) 
11 spawn P-MATRIX -MULTIPLY-RECURSIVE(T,,, Ar, Bz) 
12 spawn P-MATRIX -MULTIPLY-RECURSIVE(T>; , Azz, Ba) 
13 P-MATRIX -MULTIPLY-RECURSIVE(T», Az, Bz) 
14 sync 
15 parallel for i=1 ton 
16 parallel for 7 一 1 to n 
17 Cy HC Hty 


第 3 行 是 基础 情形 ， 进 行 的 是 1X1 和 矩阵 相 乘 。 第 4 一 17 行 处 理 的 是 递归 情况 。 在 第 4 行 中 
分 配 了 一 个 临时 矩阵 全 并 且 第 5 行将 矩阵 A、B、C 和 了 划分 成 wy2XzxwV2 的 子 和 矩阵 (与 4. 2 节 
中 的 SQUARE-MATRIX-MULTIPLY-RECURSIVE 过 程 一 样 ， 忽 略 使 用 下 标 来 表示 和 矩阵 中 的 子 
和 矩阵 而 产生 的 小 问题 )。 第 6 行 中 的 递归 调用 置 Cu 为 子 矩 阵 乘 积 Au Bi ， 使 得 Cu 等 于 式 (27. 6) 
中 和 的 两 项 中 的 第 一 项 。 类 伏地 ， 第 7 一 9 行 置 Ce. Cy 和 Cs 等 于 式 (27.6) 中 和 的 两 项 中 的 第 一 
项 。 第 10 行 置 子 矩阵 Ti 为 子 和 矩阵 乘积 Als Ba ， 使 得 Tr 等 于 形成 CO 和 的 两 项 中 的 第 二 项 。 第 
11 一 13 行 分 别 置 Tx ` Ta 和 Tz; 为 形成 Cz ` as Cy 和 的 两 项 中 的 第 二 项 。 前 面 的 7 个 递归 都 是 派 
生 的 ， 最 后 一 个 在 主 链 中 执行 。 第 14 行 中 的 syne 语句 保证 了 第 6 一 13 行 中 的 所 有 子 矩 阵 乘积 都 被 
计算 ， 之 后 在 第 15~17 行 中 使 用 双重 嵌 套 parallel for 循环 将 工 的 乘积 加 入 到 C 中 。 

我 们 首先 分 析 PMATRIX-MULTIPLY-RECURSIVE 过 程 的 工作 量 M (n)， 与 它 的 原版 本 
SQUARE-MATRIX-MULTIPLY-RECURSIVE 的 串 行 运行 时 间 分 析 相 同 。 在 递归 情况 下 ， 划 分 
时 间 为 8(1)， 执 行 8 个 递归 的 n/2 Xn/2 矩阵 相 乘 ， 最 后 执行 工作 量 为 OAA nX n 矩阵 的 
相 加 。 因 此 ， 根 据 主 定理 的 情况 1， 工 作 量 M (n) 的 递归 式 是 : 
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Mi (n) = 8M, (n/2) + OG) = O(n) 

换 句 话说 ， 多 线程 算法 的 工作 量 渐 近 地 与 4. 2 节 中 的 SQUARE-MATRIX-MULTIPLY 过 程 的 运 
行 时 间 一 样 ， 它 们 都 使 用 了 三 重 嵌 套 循环 。 

为 了 得 到 PMATRIXMULTIPLY-RECURSIVE 过 程 的 持续 时 间 Mo. (n)， 首 先 注意 到 划分 
时 间 是 @(1)， 这 是 由 第 15~17 FF PM MARE parallel for 循环 的 @(lgn) 持 续 时 间 决 定 的 。 由 
于 8 个 并 行 递归 调用 都 是 在 相同 规模 的 矩阵 上 运行 ， 因 此 递归 调用 的 最 大 持续 时 间 只 是 其 中 任 
何 一 个 的 持续 时 间 。 于 是 PMATRIXMULTIPLY-RECURSIVE 的 持续 时 间 Mo Ca) 的 递归 
式 是 : 

M_ (nz) = Ma (n/2) + Ogn) (27.7) 

对 于 这 个 递归 式 的 求解 ， 前 面 主 定理 的 任何 情况 都 不 适用 ， 但 它 满足 练习 4. 6-2 的 条 件 。 因 此 由 
练习 4. 6-2， 递 归 式 (27.7) 的 解 是 M (rn) =O(lg’n) 。 

现在 已 经 得 到 PMATRIX-MULTIPLY-RECUREIVE 的 工作 量 和 持续 时 间 ， 我 们 可 以 计算 
出 它 的 并 行 度 M (mn)/M (n) = O(n’ /Ig’n) ， 这 个 值 非常 大 。 

多 线程 Strassen 算法 

实现 多 线程 Strassen 算法 的 思路 同 4. 2 节 中 的 Strassen BILBO, (WH AIF: 

1. 与 等 式 (27. 6) 中 的 一 样 ， 将 输入 和 矩阵 A 和 B 以 及 输出 矩阵 C 划分 成 zy/2X7xwV2 子 矩阵 。 这 
一 步 使 用 下 标 计算 ， 消 耗 了 8(1) 的 工作 量 和 持续 时 间 。 

2. 产生 10 PERE S, S, s Sos ENEE n/2Xn/2 TERE, HEER 1 步 中 两 个 矩阵 
的 和 或 差 。 通 过 使 用 双重 能 套 parallel for 循环 ， 用 OG’) LF BA 8B(lgn) 持 续 时 间 可 以 产生 所 有 
的 10 个 矩阵 。 

3. 使 用 第 1 步 中 产生 的 子 矩 阵 和 第 2 步 中 产生 的 10 个 矩阵， 递归 地 派生 计算 7 个 n/2Xn/2 
和 矩阵 P,, P,, Sapi P, 的 乘积 。 

4. FREAD KE parallel for 循环 ， 对 P; 矩阵 进行 加 和 减 的 各 种 组 合 ， 计 算 结 果 和 矩阵 C 
中 需要 的 子 矩 阵 Cu、Ci、Czt 、Czs。 可 以 在 工作 量 为 Ow ) 和 持续 时 间 为 86(lgn) 内 ， 计 算得 到 
全 部 的 4 个 子 和 矩阵 。 

为 了 分 析 这 个 算法 ， 首 先 注意 到 串 行 化 后 的 程序 就 是 原 串 行 程序 ， 工 作 量 就 是 串 行 化 程序 
的 运行 时 间 ， 即 OC), 。 对 于 PMATRIX-MULTIPLY-RECURSIVE， 可 以 得 到 持续 时 间 的 一 
个 递归 式 。 在 这 种 情况 下 ，7 个 递归 调用 是 并 行 执行 的 ， 然 而 由 于 它们 都 是 在 同样 大 小 的 矩阵 上 
进行 的 运算 ， 因 此 如 同 PPMATRIX-MULTIPLY-RECURSIVE 所 做 的 那样 ， 得 到 一 样 的 递归 式 
(27.7)， 其 解 为 Ogn). WM, ZRF Strassen 方法 的 并 行 度 是 O /lgn)， 这 个 数字 仍然 很 
大 ， 但 比 P-MATRIX-MULTIPLY-RECURSIVE 的 并 行 度 要 小 一 些 。 


练习 


27. 2-1 请 画 出 在 2X2 矩阵 上 计算 PSQUARE-MATRIX-MULTIPLY 的 计算 有 向 无 环 图 ， 并 在 
图 中 标 出 与 算法 执行 中 的 链 相对 应 的 所 有 项 点。 使 用 习惯 表示 法 : 派生 调用 和 普通 调用 
的 边 指向 下 ， 连 接 边 水 平 指向 右 ， 返 回 边 指向 上 。 假 设 每 个 链 消耗 单位 时 间 ， 试 分 析 该 
计算 的 工作 量 、 持 续 时 间 和 并 行 度 。 

27. 2-2 ”对 PMATRIX-MULTIPLY-RECURSIVE 过 程 ， 重 做 一 遍 练习 27. 2-1。 

27.2-3 请 给 出 工作 量 为 8(x*)， 而 持续 时 间 仅 为 OUgn) 的 两 个 ”X 矩 阵 相 乘 的 多 线程 算法 伪 
代码 ， 并 分 析 该 算法 。 

27.2-4 请 给 出 pXg 和 矩阵 和 gXr 甜 阵 相 乘 的 一 个 有 效 多 线程 算法 的 伪 代 码 。 即 使 任何 p、g 或 r 
为 1， 你 的 算法 也 要 有 好 的 并 行 性 能 。 分 析 该 算法 。 
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27. 2-5 ”请 给 出 原 地 转 置 nXn 和 矩阵 的 一 个 有 效 的 多 线程 算法 伪 代 码 ， 使 用 分 治 法 原 地 将 nX n E 
阵 递归 地 划分 为 4 个 n/2Xn/2 子 和 矩阵。 分 析 该 算法 。 

27.2-6 ”请 给 出 Floyd- Warshall 算法 ( 见 25. 2 节 ) 的 一 个 有 效 多 线程 实现 的 伪 代 码 ， 该 算法 在 带 
权 图 上 计算 所 有 点 对 间 的 最 短路 径 。 分 析 该 算法 。 


27.3 多 线程 归并 排序 


首先 ,在 2. 3. 1 节 中 ， 我 们 已 学 过 串 行 的 归并 排序 ， 并 在 2. 3. 2 节 中 分 析 过 它 的 运行 时 间 为 
@(nlgn)。 由 于 归并 排序 应 用 了 分 治 模 式 ， 于 是 使 用 椒 套 并 行 似乎 不 是 多 线程 化 的 一 个 好 的 候选 
方法 。 可 以 简单 地 修改 原 伪 代 码 ， 改 第 一 个 递归 调用 为 派生 的 : 

MERGE-SORT (A, p, r) 

1 ifp<r 

2 q=|(p+r)/2| 
spawn MERGE-SORT’(A, p, q) 

MERGE-SORT'(A, q+1, r) 

sync 

MERGE(A, p, q» r) 

与 它 对 应 的 串 行 算 法 一 样 ，MERGE-SORT 对 子 数 组 ALp. . 门 进行 排序 。 完 成 第 3 行 和 第 4 行 的 
两 个 递归 子 程序 ， 这 是 使 用 第 5 行 的 syne 语句 来 保证 的 ， 然 后 MERGE-SORT 与 本 书 中 2. 3 节 
中 的 一 样 调用 MERGE 过 程 。 

现在 来 分 析 MERGE-SORT 。 为 此 ， 先 要 分 析 MERGE。 前 面 介绍 过 它 合并 个 元 素 的 串 行 
运行 时 间 是 @(n)。 因 为 MERGE 是 串 行 的 ， 它 的 工作 量 和 持续 时 间 都 是 9(z) 。 于 是 ， 下 面 的 递 
归 式 刻画 了 MERGE-SORT 在 n 个 元 素 上 的 工作 量 MS ; (n): 

MS i(n) = 2MS | (n/2) + O(n) = Onlgn) 
它 与 归并 排序 的 串 行 运 行 时 间 相 同 。 由 于 MERGE-SORT 中 的 两 个 递归 调用 可 以 并 行 执 行 ， 持 
续 时 间 MS 可 由 如 下 递归 式 给 出 : 
MS (n) = MS (n/2) + O(n) = O(n) 
于 是 ，MERGE-SORT 的 并 行 度 就 是 MS1(n)/MS$(n) 二 @(lgn)， 这 个 并 行 度 不 是 很 好 。 例 如 ， 
要 排 1000 万 个 元 素 ， 在 数量 不 多 的 处 理 器 上 可 以 达到 线性 加 速 ， 但 是 在 几 百 个 处 理 器 上 加 速 不 
能 得 到 有 效 的 保持 。 

读者 可 能 已 经 发 现 上 面 的 多 线程 归并 排序 的 并 行 性 瓶颈 在 于 : íT MERGE 过 程 。 虽 然 归 
并 初 看 起 来 像 是 天 生 串 行 的 ， 但 实际 上 可 以 用 舱 套 并 行 来 形成 一 个 它 的 多 线程 版 本 。 

用 于 多 线程 合并 的 分 治 策略 是 运用 于 数组 工 的 子 数 组 上 的 ， 如 图 27-6 所 示 。 假 设 长 度 为 
m=n—pitl 的 有 序 子 数组 TLp. ， n JPR EEA 722 =r fet 的 有 序 子 数组 TLp;. : n IAA 
另 一 个 长 度 为 m=r —pytl=n +n, 的 子 数 组 AL[L 态 . . 7]。 不 失 一 般 性 ， 可 以 简单 假设 m np 。 

首先 ， 找 出 子 数组 TLD : nj 的 中 间 元 素 r= Tia J, 其 中 qı =p Ady ols 由 于 子 数组 是 
有 序 的 ，z 是 TLp. : nj 的 中 位 数 : 数组 TLp- -qı 一 1j 中 的 每 个 元 素 都 不 大 于 z, FARA 
TLgi 十 1. .ni] 中 的 每 个 元 素 都 不 小 于 xz。 然后 ， 使 用 二 分 查找 方法 找 子 数 组 T[p,. .7x;] 中 的 下 标 
qs， 使 得 如 果 将 xz 插 入 到 TLg; 一 1] 和 TLg; 之 间 ， 子 数组 仍然 有 序 。 

下 一 步 ， 将 子 数组 TLA. : ij 和 TCh. 72 JAF RA A[ bs. ， rl 具体 如 下 : 

1. Rq,=p3+(q — pi) + (qa — pr) 

2. 将 z+ 复制 到 ALg]。 

3. 递归 地 将 T[pi. .gq 一 1] 与 T[ps.. qo 一 1 合并， 并 将 合并 结果 存放 到 子 数组 ALp;.. qs 一 1]。 

4. 递归 地 将 TLa tL. nj 与 TLg;. rH, 并 将 合并 结果 存放 到 子 数组 ALa dis ae 
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图 27-6 将 两 个 有 序 子 数组 Tp... JA TL po. .rj 并 成 子 数 组 ALp;.. rs] 的 多 线程 合并 思 
想 。 假设 z==TLg ] 是 开户. rij 的 中 值 ，g; H Te.. 72j 中 的 一 个 位 置 ， 使 得 z 落 
在 TLgz 一 1] 和 TLg;j] 之 间 ， 子 数组 TLpi. .qi 一 1 和 TLp.. gz 一 1]( 浅 阴影 部 分 ) 中 
的 每 个 元 素 都 小 于 或 等 于 zx， 并 且 子 数组 TLgi 十 1. .rij] 和 TLgz 十 1. .rz]( 深 阴影 部 
分 ) 中 的 每 个 元 素 都 大 于 或 等 于 zx。 为 了 合并 ,计算 下 标 a, HB zx 属于 
ALps..73j， 将 工 复制 到 ALgs]， 然后 递归 地 将 TLpi. .gi 一 1 和 TEH.. gs 一 1 合并 
3) AL ps..qs3—1], # Tla +1. .nij] 和 TLgz. .rsj 合并 到 A[gs 十 1.. r] 


当 计算 q 时, 差 gq 一 志 是 子 数组 TL[pi..g 一 1] 中 的 元 素数 目 ， 差 g; 一 p 是 子 数组 
TL: -o 一 1] 中 的 元 素数 目 。 因 此 ， 它 们 的 和 是 子 数 组 AL 加. .六 ] 中 工 加 入 前 的 元 素数 目 。 

H m=m=0 时 为 基础 情况 ， 此 时 合并 两 个 空子 数组 无 需 做 什么 。 由 于 已 经 假设 子 数组 
TLpi. .rij] 的 长 度 不 短 于 TL. r] B nw 宇 mn,， 因 此 只 要 检查 ni 二 0， 就 能 判别 是 否 是 基础 情 
况 。 同 样 ， 当 两 个 子 数组 中 仅 一 个 为 空 时 ， 必 须 确保 递归 仍 能 正确 处 理 。 根 据 假设 mn, 1X7 
空 数组 肯定 是 Tlp.. r] 

现在 ， 将 这 些 想法 用 伪 代 码 实 现 。 以 二 分 查找 开始 ， 用 串 行 算法 表示 。 过 程 BINARY- 
SEARCH(zx，T，p，7) 接 受 一 个 关键 字 x 和 一 个 子 数组 TLz. .7r]， 并 返回 下 面 的 一 个 结果 : 

。 WR TLp. .rj 为 空 (r 二 p)， 返 回 下 标 po 

。 WR zx 全 TLp]， 因 此 小 于 或 等 于 TLA. . rj] 中 的 任何 元 素 ， 则 返回 下 标 p。 

。 WR zx 二 T[pj]， 则 返回 在 p<q<rt+1 中 满足 Tla] <r WERKE hz. 

伪 代 码 如 下 : 


BINARY-SEARCH(z, T, p, r) 
1 low=p 

2 high=max(p, r+1) 

3 while low < high 

4 mid=|(low+high)/2| 
5 if <<T[ mid] 

6 high=mid 

7 else low=mid+1 

8 


return high 


调用 BINARY-SEARCH(2, T, p, 7) 最 坏 情况 下 需要 Ogn ATTA E, BH n=r— p+ 
1 是 执行 时 子 数组 的 大 小 。( 见 练习 2. 3-5。) 由 于 BINARY-SEARCH 是 一 个 串 行 过 程 ， 因 此 最 坏 
情况 下 其 工作 量 和 持续 时 间 都 是 @(lgn)。 

现在 ,准备 写 多 线程 归并 过 程 的 伪 代 码 。 与 2. 3 节 中 的 MERGE 过 程 一 样 ，P-MERGE 过 程 
也 要 求 将 两 个 子 数组 合并 到 同一 个 数组 内 。 然 而 不 像 MERGE, P-MERGE 并 不 要 求 两 个 要 合并 
子 数组 在 合并 后 的 数组 中 是 相 邻 的 。( 即 PPMERGE 并 不 需要 p, =r, +1.)MERGE 和 P-MERGE 
间 的 另 一 个 差别 是 ，PMERGE 把 一 个 输入 参数 作为 输出 子 数组 A 中 存储 合并 结果 的 位 置 值 。 调 
用 P-MERGE(T, Pis Tis Dzen,» A, Ps) 将 有 序 的 子 数组 TU pi . rJ TL p:- 。 7 合并 到 子 数组 
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Alp. .7 中 ,其 中 7 二 ps 十 (ni 一 所 十 了 ) 十 (rz 一 pz 十 1) 一 1 二 ps 十 (ni 一 pi1) 十 (rs 一 pz) 十 1 并 不 作 
为 一 个 输入 参数 提供 。 


P-MERGE(T, Ppi» Tis prs T29 A, ps) 
1 m=r— p +1 


2 m=rn— p: +1 

3 ifm <m // ensure that n =n: 

4 exchange pı with pz 

5 exchange rı with rz 

6 exchange n with nz 

7 ifn==0 // both empty? 

8 return 

9 else g =|[(pi+r:)/2] 
10 q =BINARY-SEARCH(TLq |, T, fos r2) 
11 qg =p: + (a— pi) + (gs— Pa) 
12 Ala J=TLa J 
13 spawn P-MERGE(T, pi, q—l1, pzs @—1, A, ps) 
14 P-MERGE(T, gi +1, ris Q rzs As g t1) 
15 syne 


P-MERGE 工作 过 程 如 下 。 第 1 一 2 行 分 别 计算 子 数 组 TLpi. .rij 和 了 TLps. .rsj 的 长 度 。 第 
3~6 行使 得 假设 m >m 成 立 。 第 7 行 检测 问题 的 基础 情形 ， 使 得 子 数组 TLpi. .rj 为 空 时 ， 
T[ps. .rsj 也 为 空 ， 于 是 就 可 以 简单 返回 。 第 9~15 行 实现 分 治 策略 。 第 9 行 计算 Tp. nH 
间 下 标 ; 第 10 行 找到 TLp;. .72] 中 的 点 q2» 使 得 TLp;. "Q 一 1] 中 的 所 有 元 素 都 小 于 TLa ]( 这 是 
相应 的 z 值 ) 并 且 Tle.. pj] 中 的 所 有 元 素 都 至 少 大 于 Tia]. 第 11 行 计算 将 输出 子 数组 
ALps.. rsj 划分 为 ALps.. 9 一 1j 和 ALgs 十 1.. 7sj] 的 元 素 的 下 标 g;， 然 后 在 第 12 行 直接 将 Tha | 复 
iil AL gs J. 

接 下 来 ,使 用 嵌 套 并 行进 行 递归 。 第 13 行 派生 第 一 个 子 问 题 ， 并 在 第 14 行 并 行 调 用 第 二 个 
子 问题 。 第 15 行 中 的 syne 语句 确保 在 主 过 程 返回 之 前 所 有 子 问 题 都 完成 。( 由 于 每 个 过 程 在 返 
回 前 都 隐 含 地 执行 一 个 syne， 因 此 可 以 省 略 第 15 行 中 的 sync 语句 ， 但 是 为 了 养 成 一 个 好 的 编程 
习惯 ， 应 该 加 上 它 。) 这 里 有 一 些 使 代码 在 子 数 组 TE ps. .7;] 为 空 时 仍 能 正确 运行 的 诀窍 。 每 次 递 
归 调 用 时 的 工作 方式 是 ， 将 开户 . .ij 的 中 位 数 置 人 输出 子 数组 中 ， 直 到 TLpi. .rij 自身 变 为 空 ， 
即 触及 问题 的 基础 情形 。 

多 线程 归并 的 分 析 

首先 ， 推导 P-MERGE 的 持续 时 间 PM (nn) 的 递归 式 ， 这 里 两 个 子 数组 包含 全 部 n=m tm 
个 元 素 。 由 于 第 13 行 中 的 派生 调用 和 第 14 行 中 的 普通 调用 逻辑 上 是 并 行 的 ， 因 此 只 需 检查 两 个 
调用 中 代价 较 大 的 一 个 。 关 键 是 要 了 解 最 坏 情 况 下 ， 任 何 一 个 递归 调用 中 涉及 的 元 素 最 大 数目 至 
多 为 3m/4， 这 可 以 从 看 后 面 的 推导 中 看 出 。 因 为 第 3 一 6 行 保 证 了 mm, WEB m =2n,/2< 
(mn 十 mw)/2 二 n/2。 在 最 坏 情 况 下 ， 两 个 递归 调用 中 的 一 个 将 TLp..nj 的 Lm/2j」] 个 元 素 与 
TUe. .rzj] 的 所 有 n 个 元 素 进行 合并 ， 因 此 调用 中 涉及 的 元 素数 目 是 : 

Lm /2)+ n <m,/2+m/2+m/2 = (m +m)/2+m,/2 
<n/2-+n/4 = 3n/4 
将 其 与 第 10 47 BINARY-SEARCH 的 调用 成 本 @(lgn) 相 加 ， 得 到 下 面 最 坏 情况 下 持续 时 间 的 递 
归 式 : 
PM..(n) = PM., (3n/4) + Ogn) (27. 8) 
(对 于 问题 的 基础 情形 ， 持 续 时 间 是 @(1) ， 因 为 第 1~8 行 执行 的 时 间 是 常数 ) 这 个 递归 并 不 符合 
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主 定理 中 任何 一 个 情况 ， 但 它 满足 练习 4. 6-2 的 条 件 。 所 以 ,递归 式 (27. 8) 的 解 为 PM (n) = 
(gn)。 
现在 分 析 2 个 元 素 上 P-MERGE 的 工作 量 PM (n)， 可 以 推 得 是 @(n)。 因 为 n 个 元 素 的 每 一 
个 必须 要 从 数组 工 复 制 到 数组 A， 于 是 有 PM (n) 二 QC(n)。 因 此 ， 剩 下 的 只 要 证 明 PM, (n) = 
Oln). 
先 推导 出 最 坏 情况 下 的 工作 量 递归 式 。 第 10 行 中 的 二 分 查找 在 最 坏 情 况 下 需要 8B(lgn) 成 
本 ， 它 由 递归 调用 之 外 的 其 他 工作 决定 。 对 于 递归 调用 ， 注 意 到 虽然 第 13 行 和 第 14 行 中 的 递归 
调用 可 以 归并 不 同 数目 的 元 素 ， 但 这 两 个 递归 调用 合 起 来 最 多 归并 个 元 素 ( 实 际 上 是 ”一 1 个 元 
素 ， 因 为 Ta ] 不 参与 两 个 递归 调用 ) 。 此 外 ， 如 前 面 分 析 持 续 时 间 所 介绍 的 ， 一 个 递归 调用 最 
多 操作 3n/4 个 元 素 ， 所 以 可 以 得 到 递归 式 : 
PM, (n) = PM, (an) + PM, (A — a)n) + OUgn) (27.9) 
其 中 a 的 范围 是 1/4 委 co 委 3/4， 而 且 对 于 每 层 的 递归 调用 o 可 能 取 不 同 的 值 。 
使 用 替换 法 ， 可 以 求 得 递归 式 (27. 9) 的 解 为 PM (n) =O(n) 。 假 设 对 于 某 正 常数 c 和 c 有 
PM, (mn) 全 cn 一 cz lgn。 通 过 替换 ， 可 以 得 到 : 
PM, (n) can—ce Ig(an)) + (a C —an— c: Ig@((1— a) n)) + OClgn) 
=c (a+ 1 —a))n—c, (Uglan) + Ilg((1 — a)n)) + @Ugn) 
=cn—c(lgat lgn lg —a) +lgn) + OUgn) 
一 ci 一 cz lgn— (c: (lgn+ lg(a(l — a@))) — (lgn)) 
< ci 一 cz Ign 
由 于 可 以 取 C2 的 值 足 够 大 ， 使 得 cz Ugn+lg(ad—-a DKF Ogn) Ki. 进一步 ， 可 以 取 C1 足够 
大 ,使 之 满足 递归 式 的 基础 情形 。 因 为 P-MERGE 的 工作 量 PM, (n) 既 满足 Q(Cz) 又 满足 O(n), 
所 以 有 PM (n) 二 8(n)。 
最 后 ，P-MERGE 的 并 行 度 是 PM, (n)/PM... (n) =O(n/l¢’n) 。 
多 线程 归并 排序 
既然 已 经 有 一 个 很 好 的 并 行 多 线程 归并 算法 ， 我们 可 以 将 它 合 并 到 多 线程 归并 排序 中 。 这 
个 归并 排序 版 本 与 先前 提 到 的 MERGE-SORT 过 程 类 似 ， 但 略 有 不 同 ， 它 使 用 一 个 输入 参数 为 
输出 子 数组 B， 数 组 BB 将 存放 已 排 好 序 的 元 素 。 特 别 地 ， 调用 PMERGE-SORT(A, p, r, B, s) 
排序 ALA. . rj 中 的 元 素 ， 并 将 排序 结果 存 到 BLs. . s 十 x 一 pj] 中。 
P-MERGE-SORT(A, p, r, B, s) 
lL a r. 
2 ifn==1 
3 B[s]=A[2] 
4 else let TL1. . n]be a new array 


5 q=|(pt+r)/2| 

6 q'=q—p+1 

7 spawn P-MERGE-SORT(A, p, q, T, 1) 
8 P-MERGE-SORT(A, q+1, r, T, g'+1) 
9 Sync 

10 P-MERGE(T, 1, q', aq +1, n, B, s) 


第 1 行 计算 了 输入 子 数组 ALD. 门 的 元 素数 目 >， 当 数组 仅 有 一 个 元 素 时 ， 第 2~3 行 处 理 此 时 
的 基础 情形 。 第 4 一 6 行为 第 7 行 派生 递归 和 第 8 行 普通 调用 做 准备 ， 这 两 个 调用 可 以 并 行 处 
理 。 特 别 地 ,第 4 行 申请 了 一 个 元 素 的 临时 数组 工 来 存放 递归 归并 排序 的 结果 。 第 5 行 计算 
ALp. .中 的 下 标 9， 用 于 将 元 素 划分 成 两 个 子 数组 AL. gq] 和 ALg 十 1. . 门 ， 它 们 将 被 递归 排序 ， 
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然后 第 6 行 继续 计算 出 第 一 个 子 数 组 A[p. .qj 中 的 元 素数 目 a'， 第 8 行使 用 它 来 确定 存放 
A[g 十 1. . 门 排序 结果 的 工 的 开始 下 标 。 此 时 ， 派 生 和 递归 调用 都 已 执行 ， 后 面 紧 接 着 的 是 第 9 
行 的 sync 语句 ，synec 语句 迫使 主 过 程 一 直 等 到 派生 过 程 执行 完 为 止 。 最 后 ， 第 10 行 调用 P- 
MERGE 来 归并 存放 在 T[1..g'] 和 TLg' 十 1. .nj 中 的 有 序 子 数 组 ， 并 将 结果 存放 到 输出 的 子 数组 
BLs..str—p]#. 

多 线程 归并 排序 分 析 

从 分 析 P-MERGE-SORT 的 工作 量 PMS, (n) 开 始 ， 这 比分 析 P-MERGE 的 工作 量 简单 了 许 
多 。 实 际 上 ， 工 作 量 可 由 下 面 的 递归 式 得 到 : 

PMS, (n) = 2PMS, (n/2) + PM, (n) = 2PMS, (n/2) + @(n) 
这 个 递归 式 与 2. 3. 1 节 中 的 普通 MERGE-SORT 递归 式 (4.4) 相 同 ， 根 据 主 定理 中 的 情况 2， 解 
为 PMS, (n) =O(nlgn). 

现在 来 分 析 和 推导 最 坏 情 况 下 持续 时 间 PMS... (z) 的 递归 式 。 因 为 第 7 一 8 行 中 的 两 个 递归 调 
用 P-MERGE-SORT 是 逻辑 上 并 行 的 ， 可 以 忽略 其 中 一 个 ， 得 到 递归 式 : 

PMS. (n) = PMS.. (n/2) + PM.,(n) = PMS. (n/2) + @Cig?n) (27. 10) 
同 递归 式 (27.8)， 主 定理 也 不 适用 于 递归 式 (27.10)， 但 练习 4. 6-2 可 以 。 解 得 PMS- (n) = 
Odg n), HLI P-MERGE-SORT 的 持续 时 间 是 ode n). 

并 行 归并 方法 使 得 P-MERGE-SORT 的 并 行 度 比 MERGE-SORT' 显著 好 。 回 想 MERGE- 
SORT 的 并 行 度 ， 它 调用 串 行 MERGE 过 程 ， 其 并 行 度 只 有 @(lgn)。 但 对 于 P-MERGE-SORT, 
其 并 行 度 有 : 

PMS, (n)/PMS,(n) = @lanlgn)/OUg n) = On/lgn) 
这 在 理论 上 和 实践 中 都 好 了 很 多 。 实 际 中 一 个 好 的 实现 是 通过 加 大 基础 情形 规模 以 减少 渐 近 符 
号 中 隐藏 的 常数 因子 ， 尽 管 会 牺牲 一 些 并 行 度 。 当 数组 规模 充分 小 时 ， 这 种 加 大 基础 情形 规模 的 
方式 也 可 以 直接 用 到 普通 的 串 行 排序 上 ， 也 许 是 快速 排序 。 


练习 

27.3-1 试 解释 如 何 加 大 P-MERGE 基础 情形 的 规模 。 

27.3-2 与 PMERGE 在 较 大 数组 中 找 一 个 中 位 数 的 方法 不 同 ， 使 用 练习 9. 3-8 的 结果 ， 请 给 出 
一 个 找 出 两 个 有 序 子 数组 中 的 所 有 元 素 的 中 位 数 的 替代 方法 。 再 给 出 使 用 这 个 中 位 数 查 
找 方法 的 一 个 有 效 的 多 线程 归并 算法 的 伪 代 码 。 分 析 该 算法 。 

27.3-3 如 7.1 节 中 的 PARTITION 过 程 ， 请 给 出 一 个 有 效 的 多 线程 算法 ， 用 划分 元 划分 一 个 数 
组 。 你 不 必 原 地 划分 数组 ; 使 你 的 算法 尽 可 能 多 地 并 行 。 分 析 该 算法 。( 提 示 : 可 能 需 
要 一 个 辅助 数组 ， 并 可 能 需要 对 输入 元 素 做 多 于 一 趟 的 处 理 。) 

27.3-4 请 给 出 30. 2 节 中 的 RECURSIVE-FFT 的 一 个 多 线程 版 本 ， 使 实现 尽 可 能 多 地 并 行 。 并 

*27.3-5 请 给 出 9. 2 节 中 的 RANDOMIZED-SELECT 的 一 个 多 线程 版 本 ， 使 实现 尽 可 能 多 地 并 
行 。 分 析 该 算法 。 (提示 : 使 用 练习 27. 3-3 中 的 划分 算法 。) 

*27.3-6 ”如 何 实现 9. 3 节 的 多 线程 SELECT 算法 ， 使 实现 尽 可 能 多 地 并 行 。 分 析 该 算法 。 


思考 题 
27-1 (使 用 庶 套 并 行 实现 并 行 循 环 ) ”考虑 下 面 对 两 个 个 元 素 的 数组 A[L1l..n] 和 BCL .nj 进行 
相 加 ， 并 将 结果 存放 在 CL. .nj 中 的 多 线程 算法 。 
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SUM-ARRAYS(A, B, C) 

1 parallel for i=1 to A. length 

2 ClLiJ=ALi]+ Bi] 

a. 按照 MAT-VEC-MAIN-LOOP 的 样式 , (EJH ite & JF íT (spawn 和 sync) 改写 SUM- 
ARRAYS 中 的 并 行 循环 。 分 析 你 的 实现 的 并 行 度 。 
考虑 下 面 并 行 循 环 的 两 种 实现 ， 哪 种 实现 包含 了 一 个 指定 的 grain-size 值 : 


SUM-ARRAYS'(A, B, C) 


1 n=A. length 

2 grain-size=? // to be determined 

3 r=l n/grain-size | 

4 for k=0 tor—1 

5 spawn ADD -SUBARRAY(A, B, C, k» grain-sizet+1, 
min((k+1) © grain-size,n)) 

6 sync 


ADD-SUBARRAY(A, B, C, i, j) 

1 fork=itoj 

2 CCk]J=A[k]+B[k] 

b. 假定 置 grain-size 二 1。 以 上 实现 的 并 行 度 是 多 少 ? 

e 请 给 出 一 个 用 nn 和 grain-size 表示 的 SUM-ARRAYS 持续 时 间 公 式 ， 并 求 出 对 应 最 大 并 
行 度 的 最 佳 grain-size 值 。 

(节省 矩阵 乘法 中 的 临时 空间 ) P-MATRIX-MULTIPLY-RECURSIVE 过 程 的 缺点 是 它 需 

要 分 配 一 个 ? 义 对 的 临时 矩阵 工 , 不 利于 8 记号 中 的 常数 因子 。 然 而 PMATRIX- 

MULTIPLY-RECURSIVE 过 程 有 很 高 的 并 行 度 。 例 如 ， 如 果 忽 略 符号 @ 中 的 常数 因子 ， 

对 于 1000X1000 的 抢 阵 相 乘 ， 其 并 行 度 接近 1000°/10°=10’, ALA 1lg1000~10, RKE 

数 并 行 计 算 机 的 处 理 器 数目 都 远 小 于 1000 万 。 

a. 描述 一 个 多 线程 算法 ， 该 算法 不 需要 临时 矩阵 工 且 持续 时 间 以 8@(n) 增 长 。( 提 示 : 模仿 
P-MATRIX-MULTIPLY-RECURSIVE 中 的 一 般 策略 ， 计 算 C=C+AB, 但 可 以 并 行 初 
始 化 C 并 且 要 谨慎 地 在 一 个 合适 地 方 插入 syne 语句 。) 

b. 给 出 并 求解 该 算法 的 工作 量 和 持续 时 间 的 递归 式 。 

e 分 析 该 算法 的 并 行 度 。 忽 略 符号 @ 中 的 常数 因子 ， 估 算 1000X1 000 矩阵 上 的 并 行 度 。 
并 与 PMATRIX-MULTIPLY-RECURSIVE 的 并 行 度 比较 。 

(SRAM He) 

a. 并 行 化 28. 1 节 中 的 LU-DECOMPOSITION 过 程 ， 给 出 该 算法 的 一 个 多 线程 版 本 的 伪 代 
码 。 使 该 算法 尽 可 能 多 地 并 行 ， 并 分 析 它 的 工作 量 、 持 续 时 间 和 并 行 度 。 

b. 同样 做 28. 1 节 中 的 LUP-DECOMPOSITION 过 程 。 

c 同样 做 28. 1 节 中 的 LUP-SOLVE 过 程 。 

d. 同样 做 基于 等 式 (28. 13) 的 对 称 正定 和 矩阵 求 逆 的 一 个 多 线程 算法 。 

(多 线程 归 约 和 前 组 计算 ) 一 个 数组 cll. .7n] 的 的 归 约 (的 -reduction) 就 是 y= 二 x[1]6@zx[L2] 

C9…6x[Ln] 的 值 ， 其 中 是 一 个 结合 操作 符 。 

下 面 的 程序 串 行 计算 了 子 数组 zli. .jj 的 的 归 约 : 

REDUCE(«, i, j) 

1 y=zli] 

2 for k=i+1 toj 
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3 y= ak] 
4 return y 
a. 应 用 嵌 套 并 行 实现 一 个 多 线程 算法 PREDUCE， 以 工作 量 为 @(n)、 持 续 时 间 为 @(lgn) 
的 代价 实现 上 面 同 样 的 功能 。 并 分 析 该 算法 。 
另 一 个 相关 问题 是 ， 在 数组 zL1. .nj 上 求解 一 个 前 缀 计算 (C69-prefix computation) , 
有 时 候 也 称 为 包 扫 描 (@-scan)， 其 中 四 也 是 一 个 结合 操作 符 。 多 扫描 产生 了 如 下 数 
组 yL1.. n]: 
1 = zxL1] 
yL2] = zxL1] Q 212] 
93] = 2L1] © 22] @ 213] 


yn] = z[1] Q 212] © zL3] Q ++ © ala] 
也 就 是 说 ， 使 用 GO 操作 符 的 数组 z 的 所 有 前 缀 “和 ”。 下 面 的 串 行 SCAN 过 程 计算 了 一 个 @ 
BUR 
SCAN(x) 
n=. length 
let yL1..n] be a new array 
yllJ=z[1] 
for i=2 ton 
ysli]=yli—1]&zLi] 
return y 
MRE LAR SCAN 不 是 直接 可 以 得 到 的 。 例 如 ， 改 for 循环 为 parallel for 循环 
会 产生 竞争 ， 因 为 循环 体 的 每 一 步 迭 代 都 依赖 前 一 个 迭代 。 下 面 的 P-SCAN-1 过 程 实现 了 
前 缀 计算 的 并 行 ， 尽 管 十 分 低 效 : 
P-SCAN-1(z) 
n=. length 


a n e W N e 


we 


let y[1. . n]be a new array 
P-SCAN-1-AUX(z, y, 1, n) 
4 return y 


w 


P-SCAN-1-AUX(z, y, i, j) 
1 parallel for /=i to j 
2 yLl]=P-REDUCE(«, 1, 1) 


b. 分 析 P-SCAN-1 过 程 的 工作 量 、 持 续 时 间 和 并 行 度 。 
使 用 冬 套 并 行 能 得 到 一 个 更 有 效 的 @ 前 缀 计算 ， 其 过 程 如 下 : 
P-SCAN-2(z) 
1 n=z. length 
2 let y[1..n] be a new array 
3 P-SCAN-2-AUX(z, y, l, n) 
4 return y 


P-SCAN-2-AUX(z, y, i, j) 
1 ifi=Ssj 


2 ylilJ=zLli] 
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3 else k=|(i+j)/2] 
4 spawn P-SCAN-2-AUX(z, y, i, k) 
5 P-SCAN-2-AUX(z, y, k+1, j) 

6 sync 

7 parallel for /一 &A 十 1 to j 

8 y[ 自 一 >y[LAJGC9y[LO] 


c 论证 PSCAN-2 是 正确 的 ， 并 分 析 它 的 工作 量 、 持 续 时 间 和 并 行 度 。 

我 们 可 以 通过 在 数据 上 执行 两 趋 不 同 的 前 缀 计算 来 改进 PSCAN-1 和 PSCAN-2。 
第 一 趟 ， 收 集 不 同 的 连续 子 数组 z 的 “和 ”项 ， 存 入 到 一 个 临时 数组 t 中 ; 第 二 趟 , 使 用 + 
中 的 “和 ”项 来 计算 出 最 终 的 结果 y。 下 面 的 伪 代 码 实现 了 这 种 策略 ， 但 其 中 省 去 了 一 些 
表示 : 


P-SCAN-3(x) 

1 n=z. length 

2 let y[1..n] and ż:[1. . n] be new arrays 

3 ylll=2z[1] 

4 ifn>1 

5 P-SCAN-UP(z; t, 2, n) 

6 P-SCAN-DOWN(2[1], zy t, y, 2, n) 
7 return y 


P-SCAN-UP(z, t, i, j) 
1 ifi==j 
2 return z[ i] 


k=|+;)/2] 

t[k]=spawn P-SCAN-UP(z, t, i, k) 
right=P-SCAN-UP(z, t, k+1, j) 

sync 

return // fill in the blank 


P-SCAN-DOWN(v, z, t, ys i, j) 


1 ifi==j 

2 yi] = zi] 

3 else 

4 k=|Gi+j)/2| 

5 spawn P-SCAN-DOWN( ,Zz,t, yy i, k) // fill in the blank 
6 P-SCAN-DOWN(_____s z, ty ys ktl, j) // fill in the blank 

7 syne 


d. X} P-SCAN-UP 3% 8 47, P-SCAN-DOWN 4 5 行 和 第 6 行 中 的 三 个 缺 省 表示 进行 填空 。 
填 完 空 后 ， 论 证 PSCAN-3 是 正确 的 。( 提 示 : 证 明 值 vy 传 给 P-SCAN-DWON(y,， x, t, 
y, i; j), WE =LA] Orli]. 

e 分 析 P-SCAN-3 的 工作 量 、 持 续 时 间 和 并 行 度 。 

(多 线程 一 个 简单 的 模板 计算 ) 计算 科学 中 存在 很 多 这 样 一 类 的 算法 ， 这 类 算法 对 一 个 数 

组 中 的 一 些 单元 进行 填 值 ， 所 填 值 取决 于 已 经 计算 出 的 邻近 单元 值 ， 并 且 计 算 过 程 中 这 些 

信息 一 直 不 变 。 这 种 在 计算 期 间 邻 近 单元 不 发 生 改 变 的 模式 称 为 模板 (stenciD 计算。 例如 ， 

15. 4 节 提 供 了 一 个 计算 最 长 公共 子 序列 的 模板 算法 ， 其 中 cli, IMR BR il, jh 
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c[i，j 一 1j 和 c[i 一 1，j 一 1j 以 及 两 个 给 定 输入 串 中 的 元 素 z; 和 y;。 输 入 的 序列 是 固定 不 
变 的， 但 算法 在 二 维 数 组 c 中 填写 ， 使 得 在 三 个 单元 c[i 一 1, jj]、cLi,，j 一 1] 和 
c[i 一 1，j 一 1j 完 成 后 才 计 算 单元 cLi,， jl 

本 题 中 ， 我 们 探讨 如 何在 一 个 nXn 的 数组 A 上 使 用 艇 套 并 行 来 实现 一 个 简单 的 模板 

WA, 其 中 存 人 单元 AL, 站 的 值 仅 取决 于 A[i'，j"]， 这 里 i<i，j "Sj( 并 且 当 然 有 六 关 

i 或 者 7 ' 承 ))。 换 句 话说 ， 一 个 单元 的 值 只 取决 于 它 的 上 边 值 和 左边 单元 的 值 ， 以 及 一 些 

数组 之 外 的 静态 信息 。 此 外 ， 整 个 过 程 中 假设 ,一 旦 计算 ALi，jj] 时 所 需要 的 单元 都 已 填 

写 完 ， 就 可 以 在 @(1) 的 时 间 内 填 和 人 AL, jle (49 15.4 节 中 的 LCS-LENGTH 过 程 一 样 。) 

划分 nXn 的 数组 A 为 4 个 n/2Xn/2 的 子 数组 : 
A= he ial (27.113 
An Az 

现在 看 到 ， 可 以 递归 地 填 人 子 数 组 An 中 的 单元 ， 因 为 它 并 不 依赖 其 他 三 个 子 数组 中 的 单 

Tse -=H Ai 完成 ， 可 以 递归 地 并 行 填 人 An FI An 中 的 单元 ， 这 是 因为 它们 都 依赖 于 Ay 

但 彼此 之 间 不 依赖 。 最 后 ， 递 归 地 填 人 Ap 中 的 单元 。 

a. 基于 分 解 式 (27. 11) 和 上 面 的 讨论 ， 给 出 用 分 治 算法 SIMPLE-STENCIL 来 执行 这 个 简 

单 模板 计算 的 多 线程 伪 代 码 。( 不 用 担心 基础 情形 的 处 理 ， 这 取决 于 特定 的 模板 。) 给 出 

并 求解 对 应 规模 的 工作 量 和 持续 时 间 的 递归 式 。 并 行 度 又 是 多 少 ? 

修改 上 面 题 (a) 的 解答 ， 将 nXn 的 数组 划分 为 9 个 n/3Xn/3 的 子 数组 ， 递归 下 去 使 得 

尽 可 能 得 到 更 多 的 并 行 性 。 分 析 该 算法 。 该 算法 与 题 (a) 中 的 算法 相 比 ， 并 行 度 如 何 ? 

. 对照 题 (a) 和 (b)， 按 如 下 推广 。 选 择 一 个 整数 5 宇 2。 将 一 个 nXn 数组 划分 为 6 个子 数 

组 ， 每 个 大 小 都 为 n/56Xn/6， 递 归 下 去 使 得 尽 可 能 得 到 更 多 的 并 行 性 。 关 于 n 和 46， 该 

算法 的 工作 量 、 持 续 时 间 和 并 行 度 各 是 多 少 ? 使 用 这 种 方法 ， 证明; 对 任何 选择 的 2 之 2， 

其 并 行 度 一 定 是 O(n), GEE: 最 后 一 个 问题 ， 证 明 对 于 任何 选择 的 2 之 2， 并 行 度 是 n 

的 指数 ， 其 指数 严格 小 于 1。) 

给 出 一 个 求解 这 个 简单 模板 问题 的 多 线程 算法 的 伪 代 码 ， 使 得 并 行 度 达 到 8@(n/lgn)。 

使 用 工作 量 和 持续 时 间 概 念 ， 论 证 该 问题 事实 上 有 8(n) 的 固有 并 行 度 。 然 而 ， 我们 使 

用 分 治 法 的 多 线程 伪 代 码 ， 实 际 上 达 不 到 这 个 最 大 的 并 行 度 。 

(随机 多 线程 算法 ) 正如 使 用 普通 的 串 行 算法 一 样 ， 有 时 想 要 实现 随机 多 线程 算法 。 本 题 

探讨 如 何 修改 各 种 性 能 度量 来 处 理 这 些 算法 的 期 望 行为 。 另 外 ， 要 求 设计 并 分 析 一 个 随机 

快速 排序 的 多 线程 算法 。 

a. 用 期 望 的 表示 方法 ， 如 何 修改 工作 量 定 律 (27. 2) 、 持 续 时 间 定 律 (27. 3) 和 贪心 调度 界 
(27.4), KARHE Tp. Ti 和 T 都 是 随机 变量 的 情形 。 

b. 考虑 一 个 随机 多 线程 算法 ， 它 在 1% 的 时 间 里 有 T,=10* 和 Tioow 二 1， 但 在 99% 的 时 间 
里 有 T= Tio coo = 10"。 说 明 一 个 随机 多 线程 算法 的 加 速 比 应 该 被 定义 为 ELTELT]; 
mA ELT, /Tp]. 

c 说 明 一 个 随机 多 线程 算法 的 并 行 度 应 该 被 定义 为 ELT VELT]. 

d. 使 用 内 套 并 行 ， 多 线程 化 7. 3 节 中 的 RANDOMIZED-QUICKSORT 算法 。( 注 意 不 是 并 
行 化 RANDOMIZED-PARTITION。) 给 出 PPRANDOMIZED-QUICKSORT 的 伪 代 码 。 

e 分 析 给 出 的 随机 快速 排序 的 多 线程 算法 。( 提 示 : 回顾 9. 2 节 关 于 RANDOMIZED- 
SELECT 的 分 析 。) 


豆 


ie] 


ee 


本 章 注 记 


并 行 计算 机 、 用 于 并 行 计算 机 的 模型 ， 以 及 用 于 并 行 编程 的 算法 模型 已 经 以 各 种 形式 出 现 
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好 多 年 了 。 本 书 的 前 一 版 已 包含 了 排序 网 络 和 PRAM( 并 行 随 机 访问 计算 机 ) 模 型 。 数 据 并 行 模 
型 [48，168] 是 另 一 个 流行 的 算法 编程 模型 ， 它 以 向 量 和 和 矩阵 上 的 特别 操作 作为 基本 特征 。 

Graham[ 149] 和 Brent[ 55]| 指 出 了 已 达到 定理 27.1 中 界 的 调度 器 。Eager、Zahorjan 和 
Lazowska[ 98] 表 明 任 何 贪心 调度 器 都 可 以 达到 这 个 界 ， 并 提出 了 使 用 工作 量 和 持续 时 间 ( 尽 管 名 
称 与 这 里 不 同 ) 来 分 析 并 行 算法 的 一 般 方法 学 。 针 对 数据 并 行 编程 ，Belloch[ 47] 发 展 了 一 种 基于 
工作 量 和 持续 时 间 ( 他 称 为 计算 “深度 ”) 的 算法 编程 模型 。Blumofe 和 Leiserson[ 52 ] 为 动态 多 线程 
给 出 了 一 个 分 布 起 调度 算法 ， 这 个 方法 是 基于 随机 “工作 窃取 ”"(work stealing) 的 ， 并 证 明了 能 达 
到 界 ELTp|<T,/P+OcT..). Arora, Bulmofe, Plaxton[19]# Blelloch, Gibbons, Matias[49] 
对 动态 多 线程 计算 的 调度 ， 也 提出 了 一 个 被 证 明 性 能 是 好 的 算法 。 

多 线程 伪 代 码 和 编程 模型 深 受 MIT 的 Cilk[51，118] 项 目 及 Cilk Arts 公司 贡献 的 Cilk 十 十 
[71] 后 扩展 至 C 十 十 的 影响 。 本 章 中 的 许多 多 线程 算法 来 自 于 C E. Leiserson 和 H. Prokop 未 公 
开 的 讲义 ,它们 已 用 Cilk 或 Cilk 十 十 实现 过 了 。 多 线程 归并 排序 算法 的 灵感 来 自 于 Akl[12] 的 一 
个 算法 。 

串 行 一 致 性 的 概念 来 自 于 Lamport[ 223]. 
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因为 矩阵 运算 在 科学 计算 中 极为 重要 ， 所 以 处 理 矩 阵 的 高 效 算法 有 很 多 实际 应 用 。 本 章 重 
点 关注 矩阵 的 乘法 ， 以 及 求解 联 立 线性 方程 组 问题 。 附 录 D 回顾 了 和 矩阵 的 基本 原理 。 

28. 1 节 介 绍 利 用 LUP 分 解 方法 求解 一 组 线性 方程 组 。28. 2 HT RRS HP IAS ME PER aH 
切 关系 。28. 3 节 讨 论 一 类 重要 的 矩阵 ， 即 对 称 正定 矩阵 ， 并 说 明 我 们 如 何 用 它们 求 超 定 线性 方 
程 组 的 最 小 二 乘 解 。 

在 实践 中 产生 的 一 个 重要 问题 是 数值 的 稳定 性 (numerical stability)。 由 于 在 实际 的 计算 机 中 
浮 点 数 表示 的 精度 有 限 ， 因 此 ， 在 数值 计算 过 程 中 舍 入 误差 可 能 会 被 放大 ， 从 而 导致 不 正确 的 结 
果 ， 我 们 称 这 样 的 计算 是 数值 不 稳定 的 。 在 本 章 中 ， 尽 管 我 们 会 偶尔 提 及 数值 稳定 性 ， 但 不 会 着 
重 讨论 这 个 问题 。 我 们 建议 读者 参考 Golub 和 Van Loan[144]( 一 本 很 好 的 论著 ) ， 以 全 面 了 解数 
值 稳定 性 方面 的 知识 。 


28. 1 求解 线性 方程 组 
很 多 应 用 都 需要 求解 一 组 线性 方程 组 。 我 们 可 以 把 一 个 线性 系统 表示 成 一 个 矩阵 方程 ， 其 
中 每 个 矩阵 或 向 量 元 素 属于 一 个 域 ， 通 常 是 实数 域 R。 本 节 将 讨论 如 何 运 用 LUP 分 解 方法 来 求 
解 线性 方程 组 。 
我 们 先 看 一 组 具有 n 个 未 知 变 量 x!，zx;，…，z 的 线性 方程 : 
anı Fart te + a,x, = b 
Ay Ly Faza F" + Aan Ly, = by (28. 1) 





Qn Tı Fana 十 + Gets = bn 
同时 满足 式 (28. 1) 中 所 有 方程 的 一 个 关于 t, mn, s o, 的 值 的 集合 称 为 方程 组 的 一 个 解 。 在 
本 节 中 ， 我 们 只 讨论 个 未 知 变量 ”个 方程 的 情形 。 
为 方便 起 见 ， 我 们 重 写 式 (28. 1) 中 的 方程 为 如 下 和 矩阵 向 量 等 式 : 


an ap Ĝin | [21 by 
an ar Gan | | z2 | _ bz 
ig te e ihe 
或 等 价 地 , 设 A=(a;), c=(2) Mb=(;), WN 
Ar =b (28. 2) 
WR A 是非 奇异 矩阵 ， 那 么 它 具 有 逆 A, FE 
x= A'b (28. 3) 


就 是 解 向 量 。 我 们 可 以 证 明 ，z 是 等 式 (28. 2) 的 唯一 解 。 证 明 如 下 : 如 果 存 在 两 个 解 z 和 x '， 那 
么 Az 二 Ax' 二 5， 令 了 表示 一 个 单位 矩阵 ， 则 有 
a=k=(A'Ax=Al(Ar) = A LAr) = (ATA 2! = 
在 本 节 中 ， 我 们 主要 考虑 A 为 非 奇异 矩阵 的 情况 ， 或 者 等 价 地 (根据 定理 D. 1) ，A 的 秩 等 于 
未 知 变量 的 个 数 n。 然 而 对 于 其 他 可 能 的 情形 ， 也 值得 作 简要 讨论 。 如 果 方 程 的 数目 少 于 未 知 变 
量 数目 n( 或 者 更 一 般 地 ，A 的 秩 小 于 n)， 那 么 此 线性 方程 组 为 欠 定 的 (underdetermined)。 一 个 
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欠 定 方程 组 通常 有 无 穷 多 解 ， 但 若 方程 组 不 一 致 ， 则 可 能 无 解 。 如 果 方 程 的 数目 超过 未 知 变量 数 
目 n， 则 该 方程 组 为 超 定 的 (overdetermined)， 且 方程 组 可 能 没有 任何 解 。28. 3 节 讨 论 找 出 超 定 
线性 方程 组 好 的 近似 解 的 重要 问题 。 
现在 我 们 回 到 求解 关于 n 个 等 式 个 未 知 变量 的 线性 方程 组 Az 王 上 上来。 我们 可 以 计算 出 
A-:， 然 后 利用 等 式 (28. 3) ， 用 A ! 乘 以 6， 推 出 x 二 A 10。 这 个 方法 在 实践 中 会 有 数值 不 稳定 的 
问题 。 所 幸 的 是 另 一 种 方法 (LUP 分 解 ) 具 有 数值 稳定 性 ， 且 在 实践 中 运行 速度 要 更 快 一 些 。 
LUP 分 解 综述 
LUP 分 解 背后 的 思想 就 是 找 出 三 个 nXn 和 矩阵 L、U AIP, WE 
PA = LU (28. 4) 
其 中 , 工 是 一 个 单位 下 三 角 和 矩阵 , UB—-+L= MBER, PE-T+EBREE. RIER 
(28. 4) 的 矩阵 L、U 和 PP 为 矩阵 A 的 LUP 分 解 。 我 们 将 说 明 每 一 个 非 奇异 矩阵 A 都 会 有 这 样 一 
种 分 解 。 
WAER A 的 一 个 LUP 分 解 的 优点 是 ， 当 相应 矩阵 (如 抢 阵 工 和 ZL) 为 三 角 抢 阵 时 ， 我 们 会 
更 容易 求解 线性 系统 。 一 旦 我 们 计算 出 A 的 一 个 LUP 分 解 ， 仅 通过 求解 三 角形 线性 系统 ， 即 可 
求解 等 式 (28. 2)Ar=b, Ar=b 两 边 同 时 乘 以 已 ， 得 到 等 价 的 方程 PAx 二 Pb， 根据 练习 D. 1-4, 
这 意味 着 对 等 式 (28. 1) 进 行 置 换 。 运 用 式 (28. 4) 中 的 分 解 ， 我 们 得 到 
LUx = Pb 
现在 通过 求解 两 个 三 角形 线性 系统 就 可 得 到 该 等 式 的 解 。 定 义 y=Ur, Hc 就 是 要 求 的 向 量 
解 。 首 先 ， 通 过 一 种 称 为 “ 正 向 替换 ”的 方法 求解 下 三 角 系 统 





Ly = Pb (28.5) 
得 到 未 知 向 量 >。 然 后 ， 通 过 一 种 称 为 " 反 向 替换 ”的 方法 求解 上 三 角 系 统 
Uz =y (28. 6) 


得 到 未 知 变量 <。 由 于 置换 矩阵 已 是 可 逆 的 (练习 D. 2-3) ， 等 式 (28. 4) 的 两 边 同 时 乘 以 P 推出 
P“PA=P"LU, 于 是 


A = PLU (28.7) 
因此 ， 向 量 x BAL Ar=b 的 解 : 
Ar = PaLUz (根据 等 式 (28. 7)) 
= P"Ly (根据 等 式 (28. 6)) 
= P` Pb (根据 等 式 (28. 5)) 


=b 

我 们 下 一 步 将 说 明正 向 替换 与 反 向 替换 如 何 进 行 ， 然 后 解决 如 何 计 算 LUP 分 解 的 问题 。 

正 向 替换 与 反 向 替换 

已 知 工 、 忆 和 8， 正 向 替换 可 在 6(2 ) 的 时 间 内 求解 下 三 角 系 统 (28. 5) 。 为 方便 起 见 ， 我 们 
用 一 个 数组 x[1. .nj 简洁 地 表示 置换 P。 对 i 二 1，2，…，n， 元 素 cli RA Pi 二 1， 并 且 对 
jARLJA Pi 二 0。 因此，PA 第 i 行 第 j 列 的 元 素 为 aav，P2 的 第 i 个 元 素 为 5,[9 。 因 为 工 是 单 
位 下 三 角 和 矩阵 ， 我 们 可 以 重 写 等 式 (28. 5) 为 : 


Yi = by 
ja 十 de = baz 


layı tly + ys = bia 


layı + layz + lays H + Yn = baa] 
第 一 个 等 式 告诉 我 们 x 二 5b。 求 出 y 值 后 ， 我 们 把 它 代 入 第 二 个 等 式 ， 推 出 
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= baz) — layı 


现在 ,我 们 把 v 和 y 的 值 代 入 第 三 个 等 式 ， 得 到 
Ya = 6,63] Pr Ca yi T La2 y2) 


一 般 地 ， 我 们 把 JIS Sas I yi1“ 正 向 蔡 换 ”到 第 i 个 等 式 中 ， 就 可 求解 Jii 


Hi 
a: = bug — > lyys 


已 经 求解 了 y» 我 们 利用 反 向 替换 求解 等 式 (28. 6) 中 的 Z， 与 正 向 替换 类 似 。 这 里 ， 我 们 先 
求解 第 ”个 等 式 ， 然 后 再 反 向 一 直 求 解 到 第 一 个 等 式 。 与 正 向 替换 一 样 ， 这 个 过 程 运行 时 间 为 


@(2 )。 因 为 避 是 上 三 角 和 矩阵， 我 们 可 以 重 写 系统 (28. 6) 为 
Uy Ly + urta 二 + tsita Urte MN 


uama tte ayn 2 Lae th the + Um Xn = Ye 


Upe2 2 ae Pt Lak + tite = Tet 
tht ted bien ~ Se 
UnmTn 一 Yn 
因此 可 以 如 下 相继 求 出 Tye ris s Xl 的 解 : 
En = Yal Unn 
Tei = Ga — hy tlle) d Wh ya 


ia = Or — Ua Er a 本 


或 者 ， 更 一 般 地 ， 
a (y: S Des) /us 


EAP. L, U6, H LUP-SOLVE Htt#A EAEE RR, RM x HK. 


伪 代 码 中 假定 维 数 出 现在 属性 L. rows 中 ， 置 换 矩 阵 P 用 数组 x 表示 。 


LUP-SOLVE(L, U, m, b) 
1 n=L. rows 
2 let x and y be a new vector of length n 
3 for i=1 ton 
pol 
4 W= baa Žily; 


5 for ¿=n downto 1 


6 w=[ 一 in] fu 
et 


7 return x 


过 程 LUP-SOLVE 在 第 3~4 行 中 通过 正 向 替换 求 出 y 的 解 ， 然 后 在 第 5 一 6 行 中 通过 反 向 替换 
求 出 z 的 解 。 因 为 在 每 个 for 循环 的 求 和 内 包括 了 一 个 隐 含 的 循环 ， 所 以 算法 运行 时 间 为 Or’). 


作为 这 些 方法 的 应 用 实例 ， 考 虑 下 面 的 线性 方程 组 : 


I 2 8 
3 4 4jr= 








其 中 
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并 且 我 们 希望 求解 未 知 量 ze LUP 分 解 如 下 : 

Ti © 9 5 6 3 

02 1 | v= lo 0.8 —0.6 


Q 0 1 
» P=|1 0 0 
00 G5 1 0 0 2.10 ~ 10 


(你 可 能 想 验证 PA=LU.) RAE FR, RIX Ly= Po 求解 y: 


1 0 0 M 8 
0.2 1 0 Yz 
O68 ab 1) ly 


3 
通过 先 计算 i> 然后 计算 29 最 后 计算 39 得 到 


7 
8 
y= |1.4 
ls 


G= 

















All FA HR. 我们 对 Ux = y RAR x: 








5 6 3 T 8 
0 0.8 —0.6] |z| = |1.4 
0 0 2: 5. 3 LS 


通过 首先 计算 T3» 然后 2， 最 后 Tı» 得 到 所 需 解 

— 4 
Lei 
0. 6 


r= 








计算 一 个 LU 分 解 


481 


现在 我 们 已 经 证 明 对 于 一 个 非 奇异 矩阵 A， 如 果 能 创建 出 其 LUP 分 解 ， 那么 运用 正 向 蔡 换 
与 反 向 替换 ， 可 求 出 线性 方程 组 Az 一 "的 解 。 下 面 介绍 如 何 高 效 地 计算 出 矩阵 A 的 一 个 LUP 分 
解 。 我 们 先 考虑 A 是 n Xn 非 奇异 矩阵 ， 且 忆 不 予 考 虑 (或 等 价 地 ，P 一 也) 。 在 这 种 情况 下 ， 分 


解 A 二 LU。 我 们 称 这 两 个 矩阵 和 UU 为 A 的 一 个 LU 分 解 。 


我 们 采用 高 斯 消 元 法 (Gaussian elimination) 来 创建 一 个 LU 分 解 。 首 先 从 其 他 方程 中 减 去 第 
一 个 方程 的 倍数 ， 以 把 那些 方程 中 的 第 一 个 变量 消去 。 然 后 ， 从 第 三 个 及 以 后 的 方程 中 减 去 第 二 
个 方程 的 倍数 ， 以 把 这 些 方程 的 第 一 个 和 第 二 个 变量 都 消去 。 继 续 上 述 过 程 ， 直 到 系统 变 为 一 个 


上 三 角 和 矩阵 形式 ， 实 际 上 此 和 抢 阵 就 是 U。 和 拖 阵 工 是 由 消去 变量 所 用 的 行 的 乘 数组 成 。 


采用 递归 算法 实现 这 个 策略 。 我 们 希望 构造 出 一 个 nXn 的 非 奇异 矩阵 A 的 一 个 LU 分 解 。 


WR ”一 1， 则 完成 构造 ， 因 为 我 们 可 以 选择 工 二 五，U 一 A。 对 于 n> 1, RANA 拆 成 4 部 分 : 





Gi | 2 “ Gin 
eee sd 
a21 | a22 Azn Qa wW 
A = . . . . = 1 
; : Ce vu A 
Gn | An °°" Am 


其 中 是 一 个 n 一 1 维 列 向 量 ，w" 是 一 个 "一 1 维 行 向 量 ，A 是 一 个 (* 一 1) X a DER., RE, 


利用 矩阵 代数 (通过 简单 地 从 头 到 尾 使 用 乘法 来 验证 方程 式 )， 我 们 可 以 把 A 分 解 为 : 


A Es io: ” |- | 1 0 人 w" | 
o AS v/a Ta 0 A'—vw"/ay 


(28. 8) 


等 式 (28. 8) 的 第 一 个 矩阵 与 第 二 个 矩阵 中 的 0 分 别 表 示 n 一 1 维 行 向 量 与 na 一 1 维 列 向 量 。 项 
vw /au 是 一 个 (n 一 1)X(n 一 1) 和 矩阵 ， 它 是 向 量 v 与 w 外 积 矩 阵 的 每 一 个 元 素 除 以 au BAS BY 


阵 ， 它 与 矩阵 A' 大 小 一 致 。 所 得 (n 一 1) X (n—1) 
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A'— vw" /an (28. 9) 

称 为 矩阵 A 对 于 an 的 舒 尔 补 (Schur complement) 。 
我 们 断言 : WR A 是 非 奇异 的 ， 那 么 舒 尔 补 也 是 非 奇异 的 。 为 什么 ? 假设 (n 一 1) X (n 一 1) 的 舒 尔 
补 是 奇异 的 ， 则 根据 定理 D. 1， 它 的 行 秩 严 格 小 于 n 一 1。 因 为 在 矩阵 的 第 一 列 的 底部 n 一 1 个 元 素 


ay w" 
| 0 Py 
全 是 0， 此 和 矩阵 的 底部 "一 1 行 的 行 秩 必须 严格 小 于 n 一 1。 因 此 整个 矩阵 的 行 秩 严 格 小 于 mn。 应 用 
练习 D. 2-8 到 式 (28. 8), A 的 行 秩 严格 小 于 n， 且 根据 定理 D. 1, 我们 导出 A 是 奇异 的 ， FA. 
因为 舒 尔 补 是 非 奇 异 的 ， 现 在 我 们 可 以 递归 地 找 出 它 的 一 个 LU 分 解 。 我 们 说 
A'— vw'/an = L'U' 
其 中 二 是 单位 下 三 角 和 矩阵 ，U 是 上 三 角 和 矩阵 。 然 后 ， 运 用 和 矩阵 代数 可 得 : 


a=] ji 0 = w = 1 0 dikes vw! | 
E v/ay dpi 0 A'—vw'/ay v/an Ti OF LU 


=| 1 ae w jw 
z v/an E 0 U' 


因而 找 出 了 我 们 所 需 的 LU 分 解 。( 注 意 到 ， 因 为 L' 是 单位 下 三 角 和 矩阵 ， 所 以 工 也 是 单位 下 三 角 
iM; 又 因为 U' 是 上 三 角 和 矩阵 ， 所 以 U he LSE.) 

当然 ， 如 果 au 二 0， 这 个 方法 就 不 适用 了 ， 因 为 会 有 除 0 的 问题 。 如 果 舒 尔 补 A' 一 ww /an 
的 左上 角 元 素 为 0， 这 种 方法 也 不 可 行 ， 因 为 在 下 一 次 递归 中 我 们 就 要 除 以 该 元 素 。 在 LUP 分 
解 中 我 们 所 除 的 元 素 称 为 主 元 (pivot)， 它 们 处 于 和 矩阵 UU 的 对 角 线 上 。 在 LUP 分 解 中 我 们 包含 一 
个 置换 矩阵 已 的 原因 是 为 了 避免 把 0 当做 除数 。 采 用 置换 来 避免 除数 为 0( 或 一 个 很 小 的 数 ， 可 
能 会 引起 数值 不 稳定 性 ?的 操作 称 为 选 主 元 (pivoting) 。 

保证 LU 分 解 总 能 进行 的 一 类 重要 和 矩阵 就 是 对 称 正定 矩阵 。 这 一 类 和 矩阵 无 需 选 主 元 ， 因 此 ， 我 们 
可 放心 应 用 上 述 递归 策略 ， 无 需 担心 除数 为 0。 我们 将 在 28. 3 节 中 证 明 这 一 结论 及 其 他 一 些 结论 。 

我 们 对 一 个 矩阵 A 进行 LU 分 解 的 代码 根据 上 述 递归 策略 设计 ， 只 不 过 用 一 个 迭代 循环 取 
代 了 递归 过 程 。( 这 一 转化 是 对 “ 尾 递归 ”过 程 ( 即 最 后 的 操作 为 自身 递归 调用 的 过 程 ) 进 行 标准 的 
优化 处 理 ， 参 见 思 考题 7-4。) 代 码 假定 属性 A. rows 表示 A 的 维度 。 我 们 初始 化 矩阵 U， 使 得 对 
角 线 以 下 元 素 均 为 0 以 及 矩阵 工 ， 使 得 对 角 线 元 素 都 是 1， 对 角 线 以 上 元 素 都 是 0。 每 次 迭代 都 
作用 于 一 个 子 方 阵 ， 以 其 左上 和 角 元 素 为 主 元 来 计算 和 也 向量 以 及 舒 尔 补 ， 这 样 又 生成 一 个 子 
方 阵 ， 下 次 迭代 将 作用 于 这 个 子 方 阵 。 


LU-DECOMPOSITION(A) 
1 n=A. rows 

2 let L andU be new nXn matrices 

3 initialize U with 0s below the diagonal 

4 initialize L with 1s on the diagonal and Os above the diagonal 
5 for k=1 ton 
6 

7 

8 

9 


Ukk T Akk 
for ;一 & 十 1 ton 
lip = aig /us // ax holds v; 
Uki = Ab // ax: holds w; 
10 for i=k+1 ton 
11 for j=k+1 ton 
12 aij =ay — lau; 


13 return L and U 
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从 第 5 行 开 始 的 外 层 for 循环 对 每 个 递归 步 又 迭代 一 次 。 在 该 循环 内 ， 第 6 行 确定 出 主 元 为 
Un 二 au。 第 7~9 FRY for ERC k=n 时 ,该 循环 不 执行 ) 采 用 v 和 wT 向 量 对 L 和 U 进行 更 
新 。 第 8 行 确定 出 向 量 v 的 各 元 素 ， 并 把 wv 存放 在 i 中 ,第 9 行 计算 出 向 量 w" 的 各 元 素 ， 并 把 
w! 存放 在 uw: 中。 最后， 第 10 一 12 行 计 算 舒 尔 补 中 的 元 素 ， 并 把 它们 存放 在 矩阵 A 中 。 (我 们 不 
必 在 第 12 行 除 以 ww ， 因 为 我 们 在 第 8 行 中 计算 时 已 经 做 过 了 。) 因 为 第 12 行 语句 在 三 层 骨 套 
之 中 ， 所 以 LU-DECOMPOSITION 运行 时 间 为 O(n’). 

图 28-1 显示 了 LU-DECOMPOSITION 的 操作 过 程 。 它 展示 了 一 个 标准 的 优化 过 程 ， 其 中 我 
们 把 LL 和 UV 的 重要 元 素 都 存储 在 矩阵 A 的 合适 位 置 上 。 也 就 是 说 ， 我 们 可 以 在 每 个 元 素 a; Al, 
(如 果 i 过 让 或 wj (如 果 i 大 站 之 间 建 立 某 种 对 应 关系 ， 更 新 矩阵 A， 使 得 此 过 程 结束 时 ， 和 矩阵 A 
包含 L 和 U。 要 从 上 面 伪 代码 中 获得 此 优化 的 伪 人 代码， 只 需 把 上 述 代 码 中 每 处 i 或 w 用 a 取代 即 


23 1 5 
6 13 5 19 
2 19 10 23 
4 10 11 31 
(a) 





J il 0 0 231 5 

6 B 5 19 0 0 042 4 

2, 1% 10 23 1 0 0 0 I 2 

4 IO UF 31 2 1 0 0 0 3 
A U 





图 28-1 LU-DECOMPOSITION 的 运行 过 程 。(a) 和 矩阵 A。(b) 黑 色 圆 圈 内 的 元 素 an 一 2 是 主 
元 ， 阴 影 列 是 v/a ， 阴 影 行 是 w 。 至 此 已 计算 好 的 U 中 元 素 在 水 平 线 之 上 , WL 
的 元 素 在 竖 直 线 的 左边 。 舒 尔 补 矩阵 A — vw" /an 占据 了 右 下 方 。(c) 现 在 我 们 在 (b) 
部 分 产生 的 舒 尔 补 矩 阵 上 操作 。 黑 色 圈 内 的 元 素 az 一 4 是 主 元 ， 阴 影 列 和 阴影 行 分 
别 是 waz 和 w (在 舒 尔 补 的 划分 中 )。 线 条 将 这 个 矩阵 分 成 目前 已 计算 的 C 的 元 素 
(上 )， 目 前 已 计算 的 工 的 元 素 ( 左 ) ， 以 及 新 的 舒 尔 补 ( 右 下 )。(d) 下 一 个 步骤 中 ， 抵 
阵 A 被 分 解 ( 当 递归 结束 时 ， 新 的 舒 尔 补 中 元 素 3 成 为 U 的 一 部 分 。)(e) 此 分 解 A 
=LU 
计算 一 个 LUP 分 解 
一 般 而 言 ， 为 了 求解 线性 方程 组 Az 一 2， 我 们 必须 在 A 的 非 对 角 线 元 素 中 选 主 元 以 避免 除 
数 为 0。 除数 为 0 当然 是 灾难 性 的 。 但 是 我 们 也 希望 避免 除数 很 小 (即使 A 是 非 奇 异 的 )， 否 则 会 
产生 数值 不 稳定 。 因 此 ， 我 们 尽 可 能 选 一 个 较 大 的 主 元 。 
LUP 分 解 的 数学 原理 与 LU 分 解 很 类 似 。 回 顾 前 面 的 内 容 , 已 知 一 个 nXn ERRERA, 
我 们 希望 找 出 一 个 置换 矩阵 P、 一 个 单位 下 三 角 和 矩阵 工 和 一 个 上 三 角 矩 阵 U， 满 足 条 件 PA= 
LU, 正如 LU 分解 中 所 做 的 ， 在 对 矩阵 A 进行 划分 之 前 ， 我 们 先 把 一 个 非 零 元 素 ( 比 如 an), M 
第 1 列 中 某 个 位 置 移 到 该 矩阵 (1，1) 的 位 置 上 。 为 了 保证 数值 稳定 性 ， 我 们 选择 第 1 列 中 具有 最 
大 绝对 值 的 元 素 为 aa 。( 第 1 列 不 可 能 仅 包含 0 元素， 否则 A 是 奇异 的 ， 因 为 根据 定理 D.4 和 
D. 5， 其 行列 式 值 为 0。) 为 了 使 方程 组 仍然 成 立 ， 我 们 把 第 1 行 与 第 & 行 互 换 ， 这 等 价 于 用 一 个 
置换 和 矩阵 Q 乘 以 A 的 左边 (练习 D. 1-4) 。 因 此 ， 可 以 把 QA 写成 
ân ow 
sa | v A J 
HP v= (lan, aas ts am)", RRT aa 取代 aa w= (lag, ams ts am); A ' 是 一 个 (n 一 1) x 


824 
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(n= DERE., AW aa 和 0， 现 在 可 以 执行 与 LU 分 解 基本 相同 的 线性 代数 运算 ， 但 现在 能 保证 我 


们 不 会 除 以 0: 
_ [ana ”|= | 1 0 ilps w ] 
aie [ v A' T v/an Lei 0 A! — vw" /ay 


正如 我 们 在 LU 分 解 中 所 看 到 的 ， 如 果 A 是 非 奇异 的 ， 那 么 舒 尔 补 A' 一 vw /an 也 是 非 奇 异 
的 。 因 此 ， 我 们 可 以 递归 地 找 出 它 的 一 个 LUP 分 解 ， 包 括 单 位 下 三 角 和 矩阵 L' 、 上 三 角 和 矩阵 U' 和 
置换 矩阵 P'， 满 足 
P'(A'— vw" /ay) = L'U' 


ral! "a 
~ Le 


它 是 一 个 置换 矩阵 ， 因 为 它 是 两 个 置换 矩阵 的 乘积 (练习 D. 1-4) 。 现 在 我 们 有 
| 
=| pole, oe ae ae alin erate eee 


-| 1 0 ‘lbs w ]- | 1 n “|= LU 
Petes Tad wold LPer Dd UA 


这 样 推出 了 LUP 分解。 因为 L' 是 单位 下 三 角 和 矩阵 ， 所 以 工 也 是 单位 下 三 角 和 矩阵 ; 又 因为 U' 是 上 
三 角 和 矩阵 ， 于 是 U 也 是 上 三 角 和 矩阵 。 

注意 在 上 述 推 导 中 ， 与 LU 分 解 不 同 的 是 ， 我 们 必须 把 列 向 量 v/an 和 舒 尔 补 A — vw" /an Hh 
乘 以 置换 矩阵 P'。 下 面 是 LUP 分 解 的 伪 代 码 : 


LUP-DECOMPOSITION(A) 


定义 


1 n=A. rows 
2 let xL1..n] be a new array 
3 for i=1 ton 
4 li l=i 
5 for k=1 ton 
6 p=0 
7 for i=k ton 
8 if | ax |>p 
9 p= | ae | 
10 k'=i 
11 if p==0 
12 error “singular matrix” 
13 exchange r[&] with z[k’ ] 
14 for i=1 ton 
15 exchange wu with ap; 
16 for i=k+1 ton 
17 Qik = aik /a 
18 for j=k+1 ton 
19 ay ay ea 


与 LU-DECOMPOSITION 一 样 ， 我 们 的 LUP-DECOMPOSITION 过 程 也 采用 一 个 循环 迭代 
来 替代 递归 。 作 为 直接 实现 递归 的 一 种 改进 ， 我 们 动态 维护 置换 矩阵 P 作为 一 个 数组 x， 其 中 
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nli]=j 意味 着 P 的 第 i 行 第 ; 列 元 素 为 1。 我 们 也 实现 了 在 矩阵 A 中 “合适 位 置 ”计算 工 和 U 的 
代码 。 因 此 ， 当 该 过 程 停止 时 ， 
lL; wRi>sj 
人 wRi<j 
图 28-2 显示 了 LUP-DECOMPOSITION 如 何 对 一 个 矩阵 进行 分 解 。 第 3 一 4 TI AL x 
来 表示 恒 等 变 换 。 第 5 行 开始 的 外 层 for 循环 实现 了 该 递归 过 程 。 每 执行 一 次 外 层 循环 ， 第 6 一 
10 行 确定 要 找 出 绝对 值 最 大 的 元 素 aws， 它 在 当前 (n 一 k 十 1) X (n 一 k 十 了 ) 和 矩阵 的 第 一 列 ( 列 BD 
中 ,我 们 正在 寻找 这 个 矩阵 的 LUP 分 解 。 如 果 当 前 第 一 列 中 的 所 有 元 素 都 是 0， 第 11~12 行 
报告 该 矩阵 为 奇异 矩阵 。 为 了 选 主 元 ， 我 们 在 第 13 行 用 区 站 交换 Lk], EW 14~15 行 中 把 
矩阵 A 的 第 行 和 第 行 交换 ， 由 此 选 出 了 主 元 wu 。( 要 对 整 行进 行 交 换 ， 因 为 在 上 述 方法 的 
推导 中 , 不 仅 A' 一 wur/au 与 P' 相 乘 ， 而 且 wyau 也 如 此 。) 最 后 ， 第 16~19 行 计算 舒 尔 补 所 用 


的 方法 与 LU-DECOMPOSITION 中 第 7 一 12 行 的 计算 方法 基本 相同 ， 不 过 这 里 操作 记录 在 A 
中 合适 位 置 。 


wl & o 3 06 3| @ as 4 2 
(| 934 2 2| 4 34 2 

3} @ 5 4 2 1] 22.202 06 
4) = 2 34 = 4| 4 -2 34 -1 





RN W 
BN W 














5 5 4 2 


3] 

1| 04|-2 04 -02 
ce 0.6 0 |16 -3.2 

14| -02 05|@ -05 


(g) 











OO 
coo; 





28-2 LUP-DECOMPOSITION 的 操作 过 程 。(a) 输 入 矩阵 A 在 左边 采用 了 行 的 恒 
等 变换 。 算 法 的 第 一 步 确定 在 第 3 行 黑色 圆圈 中 元 素 5 是 第 一 列 的 主 元 。(b) 
第 1 行 与 第 3 行 互 换 ， 并 且 置 换 被 更 新 ， 阴 影 列 和 阴影 行 分 别 表 示 立 和 也 IT。 
(O) 向 量 v 被 vw/5 所 取代 ， 且 和 矩阵 的 右 下 方 使 用 舒 尔 补 来 更 新 。 线 条 将 矩阵 分 
割 成 3 个 区 域 : U 的 元 素 ( 上 )、 工 的 元 素 ( 左 )， 以 及 舒 尔 补 的 元 素 ( 右 下 )。 
Cd) 一 (全 第 二 步 。(g) 一 (D 第 三 步 。 没 有 变化 发 生 在 第 四 (最 后 ) 步 。(j) 此 
LUP 分 解 为 PA=LU 


因为 LUP-DECOMPOSITION 的 三 重 循环 结构 ， 所 以 它 的 运行 时 间 为 O), 5 LU- 
DECOMPOSITION 运行 时 间 完 全 一 样 。 因 此 ， 选 主 元 至 多 花费 我 们 一 个 常数 因子 时 间 。 
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练习 
28.1-1 采用 正 向 替换 法 求解 下 面 方程 组 : 





28.1-2 找到 下 面 矩 阵 的 一 个 LU 分 解 : 





4—5 6 
Tai | 
12 -=F 2 
28.1-3 利用 一 个 LUP 分 解 来 求解 下 面 方程 组 : 

Tı 


5 4 
5 è 2 
28.1-4 请 描述 一 个 对 角 和 矩阵 的 LUP 分 解 。 
28.1-5 请 描述 一 个 置换 矩阵 A 的 LUP 分 解 ， 并 证 明 它 是 唯一 的 。 
28.1-6 WH: 对 所 有 xz 之 1， 存 在 一 个 nxn 奇异 矩阵 ， 它 具有 一 个 LU 分 解 。 
28.1-7 在 LU-DECOMPOSITION 中 ， 当 二 nn 时， 是否 有 必要 执行 最 外 层 的 for 循环 迭代 ? 
LUP-DECOMPOSITION 中 情况 又 如 何 ? 


28.2 矩阵 求 逆 


虽然 在 实际 应 用 中 ， 我 们 一 般 不 使 用 逆 矩 阵 来 求解 线性 方程 组 ， 而 更 倾向 于 运用 一 些 数值 
稳定 性 更 好 的 技术 ， 如 LUP MH, BÆ, AN RRNA TROBE. EAH, 
我 们 论述 如 何 利用 LUP 分 解 来 计算 一 个 和 矩阵 的 逆 。 我 们 还 将 证 明和 矩阵 乘法 和 计算 逆 和 矩阵 问题 具 
有 相同 难度 ， 因 为 (在 技术 条 件 限 制 下 ) 可 以 使 用 一 个 问题 的 算法 在 相同 渐 近 时 间 内 解决 另外 一 
个 问题 。 因 此 ， 可 以 使 用 用 于 和 矩阵 乘法 的 Strassen 算法 (参见 4. 2 节 ) 来 求 一 个 矩阵 的 逆 和 矩阵 。 事 
实 上 ，Strassen 原始 论文 的 动机 是 表明 有 比 普通 方法 更 快 的 求解 线性 方程 组 方法 。 

通过 LUP 分 解 计 算 逆 矩阵 

假设 有 一 个 矩阵 A 的 LUP 分 解 ， 包括 三 个 矩阵 LL、U 和 PP， 满足 PA=LU, iz LUP- 
SOLVE， 可 以 在 Om ) 时 间 内 求解 一 个 具有 Az 二 6 形式 的 方程 。 因 为 LUP 分 解 取 决 于 A 而 
不 是 6， 我 们 能 在 第 二 个 方程 Ax==6' 上 运行 LUP-SOLVE， 额 外 时 间 复 杂 度 为 8(n* )。 一 般 
而 言 ,一 旦 得 到 A 的 LUP 分 解 ， 就 可 以 在 OC an”) I ARB Arb, & 的 值 因 65 的 不 同 

我 们 可 以 考虑 方程 


12 
9 











AX = I, (28. 10) 
EU—* 5 n HEERA Ax=b) 77 AT AE TR X, BIA AR. SEE MAH 
S X 表示 X 的 第 i 列 ， 回 顾 单位 向 量 e 是 了 的 第 i 列 。 于 是 可 以 利用 A 的 LUP 分 解 求解 方程 
(28. 10) 中 的 和， 需 分 别 求解 每 一 个 方程 

AX; = e; 
中 的 X;。 一旦 得 到 LUP 分 解 ， 就 可 以 在 OG NEATH nA X 列 中 的 每 一 个 ， 因 此 可 以 在 
OG” ) 时 间 内 从 A 的 LUP 分解 计 算 X. BAT AE O ) 时 间 内 确定 A 的 LUP 分 解 ， 我 们 就 可 
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以 在 OGP Et TA] YR HH AP A EA. 

矩阵 乘法 和 和 矩阵 求 逆 

现在 我 们 说 明 ， 和 矩阵 乘法 获得 的 理论 上 的 加 速 比 ， 矩 阵 求 逆 的 运算 同样 可 以 达到 。 实 际 上 ， 
我 们 可 以 证 明 更 强 的 结论 : 从 下 面 描述 的 角度 来 看 ， 和 矩阵 求 逆 运算 等 价 于 和 矩阵 乘法 运算 。 如 果 
M(n) 表 示 求 两 个 nXn 和 矩阵 乘积 所 需 时 间 ， 那 么 可 以 在 OCM(n)) 时 间 内 对 一 个 nXn 非 奇异 矩阵 
求 道 。 此 外 ， 如 果 I(n) 表 示 对 一 个 非 奇 异 的 nXn 和 矩阵 求 逆 所 需 的 时 间 ， 那 么 可 以 在 OC(I(n)) 时 
间 内 对 两 个 nXn 和 矩阵 求 乘积 。 下 面 分 别 用 两 个 定理 来 证 明 这 些 结论 。 

定理 28. 1( 和 矩阵 乘法 不 比 矩 阵 求 道 困难 ) ”如 果 能 在 I(n) 时 间 内 求 出 一 个 nXn BEM, H 
中 I(n) 二 Q(z) 且 I(n) 满 足 正则 性 条 件 I(3n) 二 OC(I(n))， 那 么 可 以 在 OC(I(n)) 时 间 内 求 出 两 个 
nX nko FH HAR 

证 明 设 A 和 B 为 两 个 nXn 和 矩阵 ， 我 们 希望 计算 出 其 乘积 C。 定 义 3nX3n 和 矩阵 DD H: 


LA 0 
D=10 L B 
Oo O Ff, 


0 0 I; 

因而 可 以 利用 D !' 右 上 角 nXn 子 矩阵 计算 出 乘积 AB 。 

我 们 能 在 OC ) 时 间 内 构造 出 矩阵 D， 时 间 复 杂 度 也 是 O(I(n))， 因 为 假设 In) = 
QC’), RE Tn) 的 正则 性 条 件 ， 可 以 在 OC(I(3n))= 二 OCI(n)) 时 间 内 转换 D。 因 此 有 Mn) = 
OUI(n)). a 

注意 到 ， 对 任意 常数 c>>0 和 dS0, RE In) =O(r lg n)，I(n) 就 满足 正则 性 条 件 。 

证 明和 矩阵 求 逆 运 算 不 比 矩 阵 乘 法 运算 更 难 这 一 命题 依赖 于 对 称 正 定 和 矩阵 的 一 些 性 质 ， 这 些 
性 质 我 们 将 在 28. 3 节 中 证 明 。 

定理 28. 2( 和 矩阵 求 逆 运算 不 比 矩 阵 乘 法 运算 更 难 ) ”如 果 能 在 M(n) 时 间 内 计算 出 两 个 nXn 
实数 矩阵 的 乘积 ， 其 中 MMEA) Man) RAEAN HRA: JEE kOn), 
M(n+k)=O(M(n)); 对 某 个 常数 c 二 1/2，M(n/2) 志 cM(n)。 那 么 可 以 在 OCUM(n)) 时 间 内 计算 
出 任何 一 个 nXn 非 奇异 实数 矩阵 的 逆 。 

证 明 我们 这 里 对 实数 矩阵 的 情形 证 明定 理 成 立 。 练 习 28. 2-6 要 求 把 证 明 推 广 到 元 素 是 复 
数 的 矩阵 。 

可 以 假设 ”恰好 是 2 的 寡 ， 因 为 对 任意 ROO, RTA 

A OT A” 0 
cei ae! 

因此 ， 通 过 挑选 &， 使 得 nt+k 2, PRAMAS 2 的 下 一 个 整数 次 方 ， 并 从 这 个 规模 
扩大 的 答案 中 得 到 我 们 需要 的 A :。M(z) 的 第 一 个 规则 性 条 件 保证 这 一 扩展 对 运行 时 间 的 增长 
不 会 超过 一 个 常数 因子 。 


D HIEREN : 





目前 ,假设 nXn 的 矩阵 A 是 对 称 正 定 的 。 我 们 把 每 一 个 A RAB A RDA 4A n/2Xn/2 的 
THER: 
BOT a RT 
asje a A =e mil (28. 11) 


那么 ， 如 果 令 
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S=D—CB'Ct (28. 12) 
是 A 关于 B 的 舒 尔 补 (我 们 将 在 28. 3 节 看 到 更 多 关于 这 种 形式 的 舒 尔 补 )， 我 们 有 
gris t "= baa +B C'S CB? | 
U Vv —S'CB" gA 

HX AA =I, ACFE RIE. AA A ERRE, A 28. 3 节 中 的 引 理 28. 4 
和 引 理 28.5, BAIS 都 是 对 称 正定 的 。 因 此 ， 根 据 28.3 节 的 引 理 28.3, WEEB HS 存在 ， 
并 且 由 练习 D. 2-6 ，B- 和 S 都 是 对 称 的 ， 于 是 (B-)I 一 B ACS )T=S". HU, 我们 可 以 
计算 子 矩 了 泗 A 1! 的 R、T、U 和 V 如 下 ， 其 中 涉及 的 矩阵 都 是 n/2Xn/2 的 : 

1. 构造 A TEEB, C CT AD, 

2. 递归 计算 B 的 逆 和 矩阵 也 。 

3. 计算 矩阵 乘积 机 =CB-: ， 然 后 计算 其 转 置 矩 阵 叉 " ， 它 等 于 BIC (根据 练习 D. 1-2 以 及 
B =R. 

4. 计算 矩阵 乘积 X 王 WCT， 它 等 于 CB :1CI， 然 后 计算 矩阵 S=D—X=D-CB C, 

5. 递归 计算 S WEEST, HEV AS. 

6. 计算 矩阵 乘积 Y= 二 S W, CETS 1CB '， 然 后 计算 其 转 置 Y"， 它 等 于 B CS (根据 
练习 D. 1-2, (B2)™=B°WR(S?)'=S"!), HRTH-Y™, UH-Y. 

7. 计算 矩阵 乘积 Z 二 WTY， 它 等 于 BOCS'CB", ##ERAB'+Z, 

因此 ， 我 们 可 以 通过 在 步骤 2 和 5 中 对 两 个 n/2Xn/2 的 矩阵 求 逆 来 对 一 个 nXn 的 对 称 正定 
和 矩阵 求 逆 ; 在 步骤 3、4、6 和 7 中 ,执行 4 个 n/2Xn/2 和 矩阵 乘法 ; 外 加 OC) 的 额外 时 间 从 和 矩阵 
A 中 提取 子 矩 阵 ， 插 信子 矩 阵 到 A-: ， 以 及 在 n/2Xn/2 和 矩阵 上 执行 常数 数目 的 加 法 、 减 法 和 转 
置 操作 。 我 们 得 到 递归 式 

IM 21(n/2) +4M(n/2) + OC’) = 21(n/2) + @(M(n)) = O(M(n)) 

第 一 个 等 号 成 立 是 因为 由 定理 中 的 第 二 个 正则 性 条 件 推出 4M(n/2) 二 2M(n)， 以 及 我 们 假设 Mn) = 
QCY)。 第 二 个 等 号 成 立 是 因为 定理 的 第 二 个 正则 性 条 件 允许 我 们 应 用 主 定理 (定理 4. 1) 的 情况 3。 

现在 还 需 证 明 ， 当 A 可 逆 但 不 是 对 称 正定 矩阵 时 ， 我 们 对 和 矩阵 的 乘法 运算 也 可 以 达到 和 甜 
阵 求 道 运算 一 样 的 渐 近 运行 时 间 。 基 本 思想 是 对 任意 的 非 奇 异 矩 了 泗 A， 和 矩阵 AA 是 对 称 的 (根据 
练习 D. 1-2) 和 正定 的 (根据 定理 D. 6)。 然 后 ， 主 要 技巧 在 于 把 求 A 的 逆 和 矩阵 问题 转化 成 求 ATA 
的 逆 和 矩阵 问题 。 

这 一 转化 是 基于 下 面 的 观察 : 当 A 为 一 个 nXn 非 奇异 矩阵 时 ,我们 有 

A = (CAA TA 

因为 ((A"A) 'A')A 二 (AA) 一 (AIA)= 王 天， 并 且 一 个 矩阵 的 逆 和 抢 阵 是 唯一 的 。 因 此 ， 我 们 可 以 
这 样 计 算 A“: WEA 与 A 相 乘 获得 A"A， 然 后 运用 上 面 的 分 治 算法 求 出 对 称 正定 矩阵 ATA 
的 逆 和 矩阵 ， 最 后 再 把 结果 乘 以 A- 。 这 三 步 中 每 一 步 运行 时 间 为 OUM(n))， 因 此 可 以 在 OCM(n)) 
时 间 内 求 出 任意 非 奇 异 实数 和 矩阵 的 逆 矩 阵 。 = 

定理 28. 2 的 证 明 过 程 说 明 ， 只 要 A 是 非 奇异 矩阵 ， 就 可 以 通过 LU 分 解 求解 等 式 Az 一 b， 
而 无 需 选 主 元 。 我 们 把 等 式 两 边 同 时 乘 以 AI， 推 出 (AIA)z 一 AI。 因为 AI 是 可 道 的 ， 所 以 这 
一 变换 不 会 影响 解 xz， 于 是 可 以 通过 计算 LU 的 一 个 分 解 来 分 解 对 称 正定 矩阵 AIA。 然 后 就 可 以 
对 方程 右 端 的 AI2 应 用 正 向 蔡 换 和 反 向 蔡 换 来 求解 z。 尽 管 这 个 方法 在 理论 上 是 正确 的 ， 但 实际 
上 过 程 LUP-DECOMPOSITION 执行 得 更 快 。LUP 分 解 需要 的 算术 运算 次 数 要 少 常数 倍 ， 并 且 
从 某 种 程度 来 说 ，LUP 分 解 有 更 好 的 数值 性 质 。 


练习 
28.2-1 设 M(z) 是 两 个 zX2 和 矩阵 相 乘 所 需 时 间 ，S(z) 表 示 求 2Xz 矩阵 平方 所 需 时 间 。 证 明 : 


(28. 13) 
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求 矩 阵 乘积 与 求 矩阵 平方 实质 上 难度 相同 ， 即 一 个 MGz) 时间 的 矩阵 相 乘 算法 意味 着 一 
个 OCM(n) ) 时 间 的 矩阵 平方 算法 ， 一 个 S(n) 时 间 的 矩阵 平方 算法 意味 着 一 个 OCS(n)) 
时 间 的 矩阵 相 乘 算法 。 

28.2-2 BE M(n) ERI nX n 矩阵 相 乘 所 需 时 间 ，Z(z) 为 计算 一 个 nX n 矩阵 的 LUP 分 解 所 需 时 
间 。 证 明 : 求 矩阵 乘积 运算 与 计算 矩阵 LUP 分 解 实 质 上 难度 相同 ， 即 一 个 MCz) 时 间 的 
矩阵 相 乘 算法 意味 着 一 个 OCM(z) ) 时 间 的 矩阵 LUP 分 解 算 法 ， 一 个 工 (2 时 间 的 矩阵 
LUP 分 解 算法 意味 着 一 个 OGL(z) ) 时 间 的 矩阵 相 乘 算法 。 

28.2-3 i Mn) 是 两 个 nXn 和 矩阵 相 乘 所 需 时 间 ，D(n) 表 示 求 nXn 和 矩阵 行列 式 值 所 需 时 间 。 证 
明 : 求 和 矩阵 乘积 运算 与 求 行列 式 值 实质 上 难度 相同 ， 即 一 个 M(z) 时 间 的 矩阵 相 乘 算法 
意味 着 一 个 OCM(n)) 时 间 的 行列 式 算 法 ,一 个 D(n) 时 间 的 行列 式 算法 意味 着 一 个 
OCD(n)) 时 间 的 矩阵 相 乘 算法 。 

28.2-4 设 Mln) 是 两 个 nXn 布 尔 和 矩阵 相 乘 所 需 时 间 ，T(n) 为 找 出 nXn 布 尔 和 矩阵 的 传递 闭 包 所 需 
时 间 ( 见 25.2 节 )。 证 明 : 一 个 MCz) 时 间 的 布尔 矩阵 相 乘 算法 意味 着 一 个 OCM(n)lgn) 时 
间 的 传递 闭 包 算法 ， 一 个 T(m) 时 间 的 传递 闭 包 算 法 意味 着 一 个 OC(T(n)) 时 间 的 布尔 矩阵 
相 乘 算法 。 

28.2-5 ” 当 和 矩阵 元 素 属 于 整数 模 2 所 构成 的 域 时 ， 基 于 定理 28. 2 的 矩阵 求 逆 算法 是 否 仍然 有 效 ? 
请 解释 。 

*28.2-6 推广 定理 28. 2 的 矩阵 求 逆 算法 ， 使 之 能 处 理 复 数 矩 阵 的 情形 ， 并 证 明 你 所 给 出 的 推广 
是 正确 的 。( 提 示 : 用 A WHR BE (conjugate transpose)A* 来 替代 A 的 转 置 矩 阵 ， 
把 A 中 的 每 个 元 素 用 其 共 斩 复 数 来 替代 就 得 到 A* 。 考 虑 用 埃 尔 米 特 (Hermitian) 矩 阵 来 
替代 对 称 和 矩阵 ， 埃 尔 米 特 和 矩阵 就 是 满足 ASA" 的 矩阵 A。) 


28.3 ”对 称 正 定 和 矩阵 和 最 小 二 乘 逼 近 


对 称 正定 矩阵 有 许多 有 趣 和 理想 的 性 质 。 例 如 ， 它 们 都 是 非 奇 异 和 矩阵 ， 而 且 可 以 对 其 进行 
LU 分 解 ， 而 无 需 担 心 出 现 除 数 为 0 的 情形 。 在 本 节 中 ， 我 们 将 证 明 其 他 几 条 关于 对 称 正定 矩阵 
的 重要 性 质 ， 并 且 给 出 一 个 用 最 小 二 乘 进行 曲线 拟 合 的 有 趣 应 用 实例 。 

我 们 要 证 明 的 第 一 条 性 质 可 能 是 最 基本 的 。 

引 理 28.3 MATI ARE eH ARR ES HER. 

证 明 假设 矩阵 A 是 奇异 的 ， 那 么 由 推论 D. 3， 存 在 一 个 非 零 向 量 zx， 满 足 Az 王 0。 因 此 ， 
ZIAz 一 0， 于 是 A 不 可 能 是 正定 矩阵 。 a 

要 证 明 我 们 可 以 对 一 个 对 称 正定 矩阵 A 进行 LU 分 解 而 不 会 出 现 除 数 为 0 的 情形 ， 还 需要 涉 
及 其 他 一 些 知识 。 我们 先 证 明 关于 A 的 某 些 子 矩 阵 的 性 质 。 定 义 A 的 第 & 个 主子 矩阵 (leading 
submatrix)A, 为 A 的 前 & 行 和 前 & 列 交叉 元 素 组 成 的 矩阵 。 

引 理 28.4 如 果 A 是 一 个 对 称 正 定 矩 阵 ， 那 么 A 的 每 一 个 主子 矩阵 都 是 对 称 正 定 的 。 

证 明 每 个 主子 矩阵 A. 明显 都 是 对 称 的 。 为 了 证 明 A, 是 正定 的 ， 我 们 假设 命题 不 真 ， 然 
后 导出 矛盾 。 如 果 Ai 不 是 正定 的 ， 那 么 存在 一 个 & 维 向 量 zi 隆 0, 使 得 ziAiri 二 0。 设 A 是 n Xn 


‘pee, TE 
A= ie aa (28. 14) 
B C 
其 中 子 矩 阵 B 的 大 小 是 (x 一 &) Xk, CHAKE k) X (n 一 k)。 定 义 n 维 向 量 x= 二 (zxI 0)7， 
其 中 zi 之 后 有 ?2 一 & 个 0。 然 后 有 


Ay Bix A,x 
sAr = Cat F al =e 0 ( v= aut, <0 


833 








490 。 第 七 部 分 算法 问题 选编 


这 与 A 是 正定 矩阵 矛盾 。 a 
现在 我 们 考虑 舒 尔 补 的 几 条 基本 性 质 。 设 A 是 一 个 对 称 正定 矩阵 ，Ai 是 A WR XR ETHE 
阵 。 根 据 等 式 (28. 14) 再 次 把 A 划分。 我 们 推广 式 (28. 9), ENER A ET A, 的 舒 尔 补 为 
S= C— BA; B" (28. 15) 
(根据 引 理 28.4, A, 是 对 称 正 定 的 ;所 以 根据 引 理 28.3 TA, AL’ 存在 ， 且 S 定义 完备 。) 注 意 ， 
设 上 二 1， 我 们 前 面 对 舒 尔 补 的 定义 (28. 9) 与 等 式 (28. 15) 是 一 致 的 。 
下 面 的 一 个 引 理 说 明 ， 对 称 正定 矩阵 的 舒 尔 补 自身 也 是 对 称 正 定 的 。 我 们 在 定理 28. 2 中 用 
到 了 该 结论 ， 并 要 用 其 推论 来 证 明 对 称 正 定 矩 阵 的 LU 分 解 的 正确 性 。 
引 理 28. 5( 舒 尔 补 引 理 ) ”如 果 和 A 是 一 个 对 称 正定 矩阵 ，As RANRKREFRE, PAA 
KT A, 的 舒 尔 补 是 对 称 正定 的 。 
证 明 因为 A 是 对 称 的 ， 所 以 子 和 矩阵 C 也 是 对 称 的 。 根 据 练 习 D. 2-6 ， 乘 积 BA BT 是 对 称 
的 ， 再 根据 练习 D. 1-1，S 是 对 称 的 。 
现在 还 要 说 明 S 是 正定 的 。 考 虑 等 式 (28. 14) 中 对 A 的 划分 。 对 任何 非 零 向 量 zx， 根 据 A 是 
正定 的 假设 ， 有 x ”Az 这 0。 我 们 把 z 拆 成 两 个 子 向 量 y Mz, HG A MCHA. AWA 存 
在 ， 所 以 运用 和 矩阵 运算 的 技巧 ， 我 们 有 
a’ Ar= y" en ye cls Cy" aA a ae y Ay 二 +y B"z+z"By +2'Cz 
= (y+Aj,'B'z)"A, (y HA BT) tz (C— BA;'B")z (28. 16) 
〈 用 乘法 从 头 至 尾 验证 。) 最 后 一 个 等 式 发 展 成 二 次 型 的 “完全 平方 ”。 (参见 练 习 28. 3-2.) 
因为 xz"Ax 二 0 对 任意 非 零 向 量 z 成 立 , 我 们 可 任意 挑选 一 个 非 零 向 量 xz， 然后 选择 y= 
一 Az1BTz， 这 样 就 把 等 式 (28. 16) 中 第 一 项 消去 ， 剩 下 
z (C— BA Bz = z S& 
作为 表达 式 的 值 。 因 此 对 任意 240, RIJA x Sz 二 x ”Az 二 0， 于 是 S 是 正定 的 。 a 
推论 28.6 一 个 对 称 正定 矩阵 的 LU 分 解 永远 不 会 出 现 除 数 为 0 的 情形 。 
证 明 设 A 是 一 个 对 称 正定 和 矩阵。 我 们 将 证 明 一 个 比 推论 更 强 的 结论 : 每 个 主 元 都 严格 为 
正 。 第 一 个 主 元 为 an. Re 是 第 一 个 单位 向 量 ， 由 此 得 到 ay Se Ae >0, AA LU 分 解 的 第 一 
步 产 生 A 关于 A 二 (au) 的 舒 尔 补 ， 根据 归纳 法 ， 由 引 理 28.5 推出 所 有 的 主 元 都 是 正 值 。 E 
Be /)\— FRB 
对 给 定 一 组 数据 的 点 进行 曲线 拟 合 是 对 称 正定 矩阵 的 一 个 重要 应 用 。 假 设 已 知 m 个 数据 点 
Cp ot) vy sy) (CE, yd) 
其 中 已 知 y 受到 测量 误差 的 影响 。 我 们 希望 确定 一 个 函数 F(z)， 对 i 二 1，2，…，m， 使 得 近似 
误差 





q = Fla) — yi (28. 17) 
很 小 。 函 数 下 的 形式 依赖 于 我 们 碰 到 的 问题 。 这 里 假设 它 的 形式 为 一 个 线性 加 权 和 : 
F(x) = 3 cf; (x) 


其 中 和 项 的 个 数 n AR EE HBL (basis function) f; 取决 于 我 们 对 问题 的 先 验 知识 。 一 种 通常 的 
选择 是 f;(zx) 王 xz ，， 这 说 明 
F(x) = aq tert aor fe t ea 
是 一 个 z+ 的 n 一 1 KA. Al, Bem SBA Cs nds Cres eds s Cts Inds BAT 
HIE n PRB rs cos os Gos BREE po p e 加 最小。 
通过 选择 nn 一 m， 在 等 式 (28. 17) 中 ,我们 可 以 精确 计算 每 个 y;。 这 样 的 一 个 高 次 函数 下 吻合 


1 
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数据 ， 但 也 “吻合 噪声 ”， 且 当 用 来 从 前 面 未 知 的 值 预测 > 时 ， 通 常会 给 出 很 差 的 结果 。 通 常 较 
好 的 做 法 是 选择 比 m 小 很 多 的 x， 寄 希 望 通过 选择 系数  ， 我 们 可 以 获得 一 个 函数 下， 能 够 发 现 
数据 点 中 的 重要 模式 ， 而 不 过 多 地 受 噪声 影响 。 对 于 选择 n 存在 一 些 理论 上 的 原则 ,但 这 超出 了 
本 书 的 范围 。 在 任何 情况 下 ,一 旦 选 定 了 比 m 小 的 n 值 ， 就 得 到 了 我 们 希望 近似 求解 的 一 个 超 
定 方程 组 。 现 在 我 们 来 说 明 如 何 进 行 。 


设 
fice) falti) a, Fafa) 
oe es acd Foz) Hf Salaa) 
i) Jalta) ae EAGAR] 
RIERA A E MEWE, BI ay =f) (x;)。 设 c 二 (ci) 表 示 所 求 系数 组 成 的 n 维 向 量 。 于 是 
Si (ay) Jalen) FES Fed Cj F(x) 
Fi (ae) fa (a) == Fe) C2 F(z) 
Ac= 3 : fe 3 3 PF : 
it? dla E fC Le, F(a) 
是 由 y 的 “预测 值 ”组 成 的 m 维 向 量 。 因 此 ， 
y= Ac—y 


是 近似 误差 (approximation error) ff) m 维 向 量 。 
为 了 使 近似 误差 最 小 ， 我 们 选择 使 误差 向 量 7 的 范 数 最 小 ， 这 样 得 出 一 个 最 小 二 乘 解 ， 因 为 


中 = (X) 
又 因为 


m 


lal? = |Ac—y|? = (Saves) 


i=l 


我 们 可 以 通过 对 | yl? 求 关于 ce 的 微分 并 让 结果 为 0， 来 求 出 | yl] 的 最 小 值 : 
slal = > 2( Maye; — yi an =0 (28. 18) 
HE R=L, 2, oy my 式 (28. 18) 中 的 n PSEA Oh ERR 
(Ac— y)7A=0 
或 等 价 于 (利用 练习 D. 1-2) 
A’(Ac—y) =0 
这 意味 着 
AtAc = Aty (28. 19) 


在 统计 学 中 ， 该 式 称 为 正规 方程 (normal equation), HAY D. 1-2 WR, ATA 是 对 称 矩 阵 ， 并 且 
A A 是 列 满 秩 ， 则 根据 定理 D. 6 TA, ATA EEEE., A, (ATA) ! 存 在 ,方程 (28. 19) 
的 解 为 
c= ((ATA)1A™) y= At y (28. 20) 
其 中 矩阵 A = (CATA) “A') 称 为 矩阵 A ASTER FE (pseudoinverse), Pye MELE A ARSE 
方 阵 时 的 自然 推广 。( 请 比较 等 式 (28. 20) 作 为 Ac=y 的 近似 解 ，A 2 作为 Ar=b 的 精确 解 。) 
作为 最 小 二 乘 拟 合 的 一 个 例子 ， 假 设 有 5 个 数据 点 : 
(rsy) = (— 1,2) 
(22952) = (1,1) 
(23593) = (2,1) 
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(245944) = (3,0) 
(zs ys) = (5,3) 
在 图 28-3 中 用 黑 点 表示 。 我 们 希望 用 一 个 二 次 多 项 式 F) =a tortar 对 这 些 点 进行 拟 合 。 
RÄ FCF th SE RAE E E 


lm aj i—i i 
1 a = Co 
A=|1 ṣa 说 | 二 | 上 2 4 
Tw & 1 3 9 
本 1 5: 25 





F(x) = 1.2 -0.757x + 0.2142 








图 28-3 对 5 个 数据 点 的 集合 {(( 一 了 2), C1, 1), (2, 1, (3, 0), (5, 3)} 
用 一 个 二 次 多 项 式 进行 最 小 二 乘 拟 合 。 黑 色 点 是 数据 点 ， 白 点 是 由 多 
MA F(z) 王 1.2 一 0.757z 十 0. 2142? 预测 的 估计 值 ， 此 二 次 多 项 式 使 
得 平方 误差 之 和 最 小 。 每 条 阴影 线 表 示 一 个 数据 点 的 误差 


其 伪 逆 矩阵 为 


At= | 一 0.388 0.093 0.190 0.193 一 0.088 
0.060 一 0.036 一 0.048 一 0.036 0.060 
2y 乘 以 A ， 我 们 得 到 系数 向 量 
1. 200 
c= - 0. 2 
0. 214 


F(x) = 1. 200—0. 757z +0. 2142’ 
在 最 小 二 乘 意义 上 ， 该 式 是 对 给 定数 据 的 最 接近 的 二 次 拟 合 。 
在 实际 应 用 中 ， 我 们 按 如 下 方式 求 正 规 方程 (28. 19) 的 解 : 用 > 乘 以 AI， 然 后 找 出 AIA 的 
一 个 LU 分解 。 如 果 AWE, ATA 可 保证 为 非 奇异 的 ， 因 为 它 是 对 称 正定 的 。( 参 见 练习 D. 1-2 
和 定理 D. 6.) 





0. 500 0. 300 0. 200 0.100 一 (0. 中 


它 对 应 于 二 次 多 项 式 
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练习 
28.3-1 WEH: 一 个 对 称 正定 矩阵 对 角 线 上 的 每 一 个 元 素 部 是 正 的 。 
“是 一 个 2X2 的 对 称 正定 短 阵 。 运 用 类 似 引 理 28. 5 证 明 过 程 中 用 过 的 “ 完 
全 平方 ”来 证 明 该 行列 式 的 值 ac 一 5 是 正 的 。 
28.3-3 WEH: 一 个 对 称 正定 矩阵 中 值 最 大 的 元 素 在 对 角 线 上 。 
28.3-4 WEH: 一 个 对 称 正定 矩阵 的 每 一 个 主子 矩阵 的 行列 式 值 都 是 正 的 。 
28.3-5 BLA, 表示 对 称 正定 矩阵 A 的 第 个 主子 矩阵 。 证明: 在 LU 分解 过 程 中 ，detCAi)/det(As 1) 
是 第 个 主 元 ， 其 中 为 方便 起 见 ，det(Ao) 二 1。 
28.3-6 ” 找 出 具有 形式 F(x) 二 a 十 cxlgzx 十 ce” 的 函数 ， 使 其 为 下 面 数 据点 的 最 优 最 小 二 乘 拟 
Ss Cl De (2, Dy Gs Ds o BY 
28.3-7 ”请 说 明 伪 逆 和 矩阵 At 满足 下 面 4 个 等 式 : 
AA+ A=A 
At AAt = At 
GAT = AA* 
CAT AT = A’ A 


28.3-2 ik A=| 


思考 题 
28-1 (三 对 角 线 性 方程 组 ) 考察 三 对 角 和 矩阵 : 
== 0 0 0 
= 2 == 0 0 
A= 0 =] 2 —] 
0 O =] 2 =ł 
0 0 @ =1 2 
a. 求 出 矩阵 A 的 一 个 LU 分 解 。 
b 通过 正 向 替换 与 反 向 替换 求解 方程 Az 一 (1 1 1 1 1)7。 
c 求 A HE. 
d. 请 说 明 对 任意 的 nXn 对 称 正定 三 对 角 和 矩阵 A 和 任意 维 向 量 6， 如 何 通 过 运用 一 个 LU 
分 解 可 在 O(n) 时 间 内 求解 方程 Ax 二 6。 论 证 在 最 坏 情况 下 ， 任 何 基 于 求 A 的 方法 在 
渐 近 意义 下 要 花费 更 多 的 时 间 。 
e 请 说 明 对 任意 nXn 非 奇异 的 三 对 角 和 矩阵 A 和 任意 n 维 向 量 5， 如 何 运 用 一 个 LUP 分 解 
在 O(n) 时间 内 求解 方程 Az 一 0。 
28-2 Æ ”把 一 组 点 插值 到 一 条 曲线 中 的 一 种 实用 方法 是 采用 三 次 样 条 (cubic spline), GH 
n 十 1 个 点 值 对 组 成 的 集合 { 《zx;，y;): i 二 0，1，…，n}， 其 中 zo 过 zi 三 … 过 zx。 我们 希望 
拟 合 出 这 些 点 的 分 段 三 次 曲线 ( 样 条 ) f(x)。 也 就 是 说 ， 曲 线 f(z) 由 nn 个 三 次 多 项 式 
f:i) =a; tbx tcx’ Hdi’ (i 二 0，1，*…，7 一 1) 组 成 ， 其 中 如 果 r HEKE 过 和 用 zz， 
那么 曲线 的 值 由 f(x) 二 f(z 一 zi) 给 出 。 把 三 次 多 项 式 “ 类 和 ”在 一 起 的 点 xz; 称 为 结 
(knot), 为 了 简单 起 见 ， 假定 对 i=05 l, y ns 有 Zz; 二 i。 
为 了 保证 f(z) 的 连续 性 ,我们 要 求 当 i 二 0，1，…，n 一 1 时， 
fla)= f(0) = yi 
find = fk) = yer 
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为 了 保证 f(x) 足够 光滑 ， 我 们 还 要 求 当 i 一 0，1，…，n 一 2 时 ， 在 每 个 结 的 一 阶 导数 是 

连续 的 : 

f'g) = LO cae fin ©) 

a. 假定 当 i 二 0，1，…，n 时 ， 我 们 不 仅 知道 点 值 对 {(zx;，y;))}， 而 且 知 道 每 个 结 的 一 阶 
导数 D:=f' (z). 请 用 值 y;、 Yamas Di 和 Di,+ 来 表示 每 个 系数 a;、 bis Gi All d;. ( 记 住 
Zi 二 i。) 根 据点 值 对 和 一 阶 导数 计算 出 4n 个 系数 需要 多 少时 间 ? 

如 何 选择 f(x) 在 每 个 结 的 一 阶 导数 仍然 是 个 问题 。 一 种 方法 是 要 求 当 i 二 0，1,，…， 
n 一 2 时 ， 二 阶 导数 在 每 个 结 处 连续 : 
fr (Cp) > F — fin (0) 
在 第 一 个 结 和 最 后 一 个 结 , 假设 六 (zo) 二 (0) 二 0 WR fa) fr 1) =0; 这 些 假 
设 使 f(z) 成 为 一 个 自然 三 次 样 条 。 


b. 利用 二 阶 导数 的 连续 性 限制 ， 说 明 当 1，2，…，7? 一 1 时 ， 
D; ,十 4D, 十 D = 3y — yia) (28. 21) 
c. 请 说 明 
2D, + Di = 3Cy, — yo) (28. 22) 
D, +2D,= 3(y,— you) (28. 23) 
d 重 写 等 式 (28. 21)~(28. 23) AAA RAEE D=(D,, D, +, DO WHBRTH. MR 
所 给 的 方程 中 矩阵 具有 什么 性 质 ? 
e 论证 : 运用 自然 三 次 样 条 可 以 在 O(n) 时 间 内 对 一 组 2 十 ! 个 点 值 对 进行 插值 (参见 思考 
题 28-1) 。 


™ 


请 说 明 当 z; 不 一 定 等 于 时 ， 如 何 确定 出 一 个 自然 三 次 样 条 对 一 组 2 十 :个 满足 zo 一 
Da, 的 点 (zi，Y%) 进 行 插值 。 你 必须 求解 什么 样 的 矩阵 方程 ? 你 所 给 出 的 算法 运 
行 速度 有 多 快 ? 


本 章 注 记 

很 多 优秀 的 教科 书 中 ， 对 数值 和 科学 计算 的 描述 都 比 我 们 论述 的 内 容 要 详细 得 多 。 下 面 的 
参考 材料 特别 值得 阅读 : George 和 Liu[132]，Golub 和 Van Loan[144]，Press、Teukolsky、 
Vetterling 和 Flannery[283, 284], LAR Strang[323, 324]. 

Golub 和 Van Loan[144] 讨 论 了 数值 稳定 性 。 他 们 说 明 为 什么 det(A) 不 一 定 是 矩阵 A 的 稳定 


性 的 好 指标 ， 提 出 采用 1Al-14 e P Al = max) lay | 。 他 们 还 讨论 了 如 何 计算 该 
值 而 不 用 实际 计算 A 。 

高 斯 消 元 法 是 LU 和 LUP 分 解 的 基础 ， 是 第 一 个 求解 线性 方程 组 的 系统 方法 。 它 也 是 最 早 
的 数值 算法 之 一 。 尽 管 更 早 之 前 人 们 就 知道 这 个 方法 , 但 它 的 发 现 一 般 归功 于 C. F. Gauss 
(1777 一 1855)。Strassen 在 他 的 很 有 名 的 文章 [L325 中， 展示 了 可 以 在 O(n ) 时 间 内 对 一 个 nXn 
和 矩阵 求 着 。WinogradL358j] 最 早 证 明和 矩阵 乘法 不 比 抢 阵 求 道 困 难 ， 反 向 的 证 明 归 功 于 Aho, 
Hopcroft 和 Ullman[ 5]. 

另外 一 种 重要 的 矩阵 分 解 是 奇异 值 分 解 (Singular Value Decomposition, SVD), SVD 把 一 个 
mXn Ka A 分 解 成 A 二 Q 3Q@， 其 中 三 是 一 个 只 在 对 角 线 上 有 非 零 元 素 的 mXn BH, Q 是 一 
个 列 互 相 标 准 正 交 的 mXm 矩阵，Q 也 是 一 个 列 互相 标准 正 交 的 >Xz 矩阵。 如果 两 个 向 量 内 积 
为 0 并 且 每 个 向 量 范 数 为 1， 则 它们 是 标准 正 交 的 。Strang 的 著作 [323，324] 以 及 Golub 和 Van 
Loan[ 144] 中 包含 对 SVD 很 好 的 处 理 。 

StrangL324] 有 一 个 关于 对 称 正定 矩阵 和 一 般 线性 代数 的 很 好 的 介绍 。 
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线性 规划 


在 给 定 有 限 的 资源 和 竞争 约束 情况 下 ， 很 多 问题 都 可 以 表述 为 最 大 化 或 最 小 化 某 个 目标 。 
如 果 可 以 把 目标 描述 为 某 些 变量 的 一 个 线性 函数 ， 而 且 可 以 将 资源 的 约束 指定 为 这 些 变量 的 等 
式 或 不 等 式 ， 那 么 我 们 得 到 一 个 线性 规划 问题 (linear-programming problem) 。 线 性 规划 出 现在 许 
多 实际 应 用 中 。 我 们 从 研究 一 次 政治 选举 的 应 用 开始 。 

一 个 政治 问题 

假设 你 是 一 位 政治 家 ， 试 图 赢得 一 场 选 举 。 你 的 选区 有 三 种 不 同类 型 的 区 域 一 一 市 区 、 郊 区 
和 乡村 。 这 些 区 域 分 别 有 100 000、200 000 和 50 000 个 登记 选民 。 尽 管 不 是 所 有 登记 选民 都 会 去 
投票 站 投票 ， 但 为 了 确保 当选 ， 你 希望 这 三 个 选区 中 每 一 个 选区 都 至 少 有 一 半 登 记 选 民 投 票 
给 你 。 

你 是 正直 、 可 敬 的 ， 并 且 从 不 支持 你 不 相信 的 政策 。 然 而 你 意识 到 ， 在 某 些 地 方 ， 某 些 议 题 
对 赢 取 选票 会 更 有 效 。 你 的 首要 议题 是 修筑 更 多 的 道路 、 枪 支管 制 、 农 场 补贴 ， 以 及 增加 汽油 税 
以 改进 公共 交通 。 根 据 你 的 竞选 班子 的 研究 ， 你 可 以 估计 通过 在 每 项 议题 上 花费 1 000 美元 做 广 
告 ， 在 每 个 选区 可 以 赢 取 或 输 掉 多 少 选 票 。 图 29-1 的 表格 给 出 这 种 信息 。 在 此 表格 中 ， 每 个 条 
目 表明 通过 花费 1 000 美元 广告 费 支 持 某 个 特定 议题 ， 在 市 区 、 郊 区 或 乡村 可 以 赢得 选民 的 千 人 
数 ， 负 数 项 表示 失去 的 选民 数 。 你 的 任务 是 计算 出 需要 花费 最 少 的 钱 数 ， 以 赢得 50 000 张 市 区 
选票 、100 000 张 郊区 选票 和 25 000 张 乡村 选票 。 

















图 29-1 政策 对 选民 的 影响 。 每 项 表示 通过 1 000 美元 广告 费 支持 一 项 特定 政策 ， 
可 赢得 的 市 区 、 郊 区 或 乡村 的 选民 的 和 于 人 数 。 负 数 项 表示 将 失去 的 选票 数 


你 可 以 通过 反复 试验 ， 设 计 一 种 策略 赢得 所 需 选票 数 ， 但 你 的 这 种 策略 可 能 不 是 花费 最 少 
的 。 例 如 ， 你 可 以 支出 20 000 美元 广告 费 修筑 道路 、0 美元 给 枪支 管制 、4 000 美元 给 农场 补贴 、 
9 000 美元 给 汽油 税 。 在 这 种 情况 下 ， 你 将 赢得 20( 一 2) 十 0(8) 十 4(0) 十 9(10) 王 50 千张 市 区 选 
票 ，20(5) 十 0(2) 十 4(0) 十 9(0) 王 100 千张 郊区 选票 ， 以 及 20(3) 十 0( 一 5) 十 4(10) 十 9( 一 2) 一 82 
于 张 乡 村 选票 。 你 将 在 市 区 和 郊区 正好 赢得 你 想 要 的 票数 ， 而 在 乡村 地 区 超过 所 需 票数 。( 事 实 
上 ， 在 乡村 地 区 ， 得 到 的 选票 比 选民 数量 还 多 。) 为 了 累积 这 些 选 票 ， 需 要 付出 20 十 0 十 4 十 9 一 33 
千 美 元 的 广告 费 。 

自然 地 ， 你 可 能 怀疑 是 否 你 的 策略 是 最 好 的 。 也 就 是 说 ， 你 是 否 能 花 更 少 的 广告 费 来 达到 你 
的 这 些 目标 ? 额外 的 反复 试验 或 许可 以 帮 你 回答 这 个 问题 ， 但 为 什么 不 用 一 个 系统 化 的 方法 来 
回答 这 样 的 问题 呢 ? 为 此 ， 我 们 将 以 数学 化 的 语言 来 描述 这 个 问题 。 我 们 引入 4 个 变量 : 

。 zi 是 花费 在 修筑 道路 广告 上 的 金额 ( 千 美 元 )。 

。 zz 是 花费 在 枪支 管制 广告 上 的 金额 ( 千 美 元 )。 
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。 zs 是 花费 在 农场 补贴 广告 上 的 金额 ( 千 美 元 )。 
。 zs 是 花费 在 汽油 税 广告 上 的 金额 ( 千 美 元 )。 
我 们 可 以 将 赢得 至 少 50 000 张 市 区 选票 的 需求 写成 


一 2z + 82, + 0x; + 10x, > 50 (29. 1) 
类 似 地 ， 我 们 可 以 将 赢得 至 少 100 000 张 郊区 选票 和 25 000 张 乡 村 选票 的 需求 写成 
5a, + 22% + 02x, + 0x, = 100 (29. 2) 
以 及 
3, -5m lay = 2a, 25 (29. 3) 


任何 一 组 满足 不 等 式 (29. D~ C29. 3) 的 变量 a, m s 2 取 值 ， 构 成 一 种 能 够 赢得 足够 数量 选票 的 
策略 。 为 了 使 花费 尽 可 能 小 ， 你 希望 最 小 化 广告 的 费用 。 也 就 是 说 ， 你 想 要 最 小 化 如 下 表达 式 : 


XZ Har: tr tm (29. 4) 
尽管 在 政治 竞选 中 负面 的 广告 宣传 时 常 发 生 ， 但 是 不 可 能 有 负 的 广告 费用 。 因 此 ， 我 们 要 求 
0 (29. 5) 


将 不 等 式 (29. 1) ~ (29. 3) ABR (29. 5) 和 最 小 化 目标 式 (29. 4) 联 系 起 来 ， 我 们 得 到 RER 
题 。 我 们 将 这 个 问题 形式 化 为 : 


最 小 化 a a a +t wy 十 (29. 6) 
满足 约束 条 件 

二 2 t 8a) F Og; “= 10a, 2250 (29. 7) 

Bw t 2 Tt 0e T Om, 22100 (29. 8) 

3m, ~ Se + ln = 2a) 2226 (29. 9) 

Ts Arr Tos Ta 宇 0 (29. 10) 

这 个 线性 规划 的 解 可 得 出 一 个 最 优 策略 。 

一 般 线性 规划 


在 一 般 线性 规划 问题 中 ， 我 们 希望 优化 一 个 满足 一 组 线性 不 等 式 约束 的 线性 函数 。 已 知 一 组 
实数 as a, s an 和 一 组 变量 zt ，zs，…，z。 我 们 给 出 定义 在 这 些 变 量 上 的 一 个 线性 函数 S: 


n 
Fert an) = ma Shaye e sy = Daz; 
j=l 


WR 6 是 一 个 实数 而 了 是 一 个 线性 函数 ， 则 等 式 

了 
是 线性 等 式 ， 而 不 等 式 

SF ei sages) SO 
All 

Flist sT) Sb 
是 线性 不 等 式 。 我 们 使 用 一 般 的 词语 线性 约束 来 表示 线性 等 式 或 线性 不 等 式 。 在 线性 规划 中 ， 不 
允许 严格 的 不 等 式 ? 。 形 式 化 地 描述 如 下 : 一 个 线性 规划 问题 是 一 个 线性 函数 最 小 化 或 最 大 化 的 
问题 ， 该 线性 函数 服从 一 组 有 限 个 线性 约束 。 如 果 我 们 要 最 小 化 ， 则 称 此 线性 规划 为 最 小 化 线性 
规划 ; 如 果 我 们 要 最 大 化 ， 则 称 此 线性 规划 为 最 大 化 线性 规划 。 

本 章 的 剩余 部 分 将 介绍 线性 规划 的 形式 化 和 求解 。 虽 然 已 有 一 些 线性 规划 的 多 项 式 时 间 算 
法 ， 但 在 本 章 中 我 们 并 不 研究 它们 。 取 而 代 之 ， 我 们 将 研究 单纯 形 算法 ， 它 是 最 古老 的 线性 规划 
算法 。 单 纯 形 算法 的 最 坏 情况 运行 时 间 不 是 多 项 式 阶 的 ， 但 是 它 在 实际 应 用 中 相当 高 效 ， 因 此 得 
到 广泛 应 用 。 
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线性 规划 综述 

为 了 描述 线性 规划 的 性 质 和 算法 ， 我 们 发 现 使 用 规范 形式 来 表示 它们 是 很 方便 的 。 在 本 章 
中 ,我们 使 用 两 种 形式 : 标准 和 松弛 。29. 1 节 将 给 出 它们 的 精确 定义 。 非 正式 地 ， 在 标准 型 中 
的 线性 规划 是 满足 线性 不 等 式 约束 的 一 个 线性 函数 的 最 大 化 ， 而 松弛 类 型 的 线性 规划 是 满足 线 
性 等 式 约束 的 线性 函数 的 最 大 化 。 我 们 通常 使 用 标准 型 来 表示 线性 规划 ， 但 当 描述 单纯 形 算法 
的 细节 时 ， 使 用 松弛 形式 会 比较 方便 。 从 现在 开始 ， 我 们 将 注意 力 放 在 满足 一 组 具有 m THE 
不 等 式 约束 的 具有 ? 个 变量 的 线性 函数 的 最 大 化 上 。 


首先 考虑 下 面具 有 两 个 变量 的 线性 规划 : 
最 大 化 a + & (29. 11) 
满足 约束 
in — xz 8 (29. 12) 
24, TF 2; = 10 (29. 13) 
Swi = ar 2 (29. 14) 
Ris da == Ü (29. 15) 


我 们 称 所 有 满足 约束 式 (29. 12) ~ (29. 15) 的 变量 xy Al 的 取 值 为 线性 规划 的 一 个 可 行 解 。 如 果 

我 们 在 (zx; ，z;) 笛 卡 儿 坐 标 系统 中 画 出 这 些 约束 ， 如 图 29-2(a) 所 示 ， 我 们 可 以 看 到 可 行 解 的 集 [846 
合 ( 图 形 中 是 阴影 部 分 ) 在 二 维 空间 中 构成 一 个 凸 区域。 这 个 凸 形 区 域 称 为 可 行 区 域 , 希望 最 大 

化 的 函数 称 为 目标 函数 。 概 念 上 ， 我 们 可 在 可 行 区 域内 每 个 点 上 对 目标 函数 zi 十 xz Rs 我们 

将 目标 函数 在 一 个 特定 点 上 的 值 称 为 目标 值 。 接 下 来 ， 我 们 可 以 找 出 一 个 有 最 大 目标 值 的 点 作 

为 最 优 解 。 在 这 个 例子 中 (以 及 大 多 数 线性 规划 中 )， 可 行 区 城 包 含 无 限 数目 的 点 ， 所 以 我 们 希望 

找 出 一 个 高 效 的 方式 来 找到 一 个 取 最 大 目标 值 的 点 ， 而 无 需 在 可 行 区 域 的 每 个 点 上 对 目标 函数 
求 值 。 


X X 











a 


x,=0 
(a) 


图 29-2 《〈a) 式 (29.12) 一 (29. 15) 给 出 的 线性 规划 。 每 个 约束 以 一 条 直线 和 一 个 方向 来 表 
示 ， 约 束 的 交集 ( 即 可 行 区 域 ) 以 阴影 表示 。(b) 虚 线 分 别 表示 目标 值 为 0、4 和 
8 的 点 。 线 性 规划 的 最 优 解 是 zi 二 2，zz 二 6， 目 标 值 为 8 


在 二 维 中 ,我 们 可 以 通过 一 个 图 形 化 的 步骤 来 求 最 优 解 。 对 任意 给 定 的 z，zi 十 zz 二 z 上 点 
的 集合 是 斜率 为 一 1 的 一 条 直线 。 如 果 画 出 zi 十 zi 二 0， 则 得 到 通过 原点 的 斜率 为 一 1 的 直线 ， 
如 图 29-2(b) 所 示 。 这 条 直线 和 可 行 区 域 的 交集 是 一 个 目标 值 为 0 的 可 行 解 的 集合 。 在 这 种 情形 
下 ， 此 直线 和 此 可 行 解 的 交集 是 单 点 (0，0) 。 更 一 般 地 ， 对 任意 的 >， 直 线 r tr =z nT [847] 


-一 Xi x, 











O 一 个 凸 区域 的 直观 解释 是 ， 该 区 域 的 任意 两 点 之 间 连 一 条 线段 ， 线 段 上 的 点 也 全 在 该 区 域 中 。 
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域 的 交集 是 目标 值 为 = 的 可 行 解 的 集合 。 图 29-2Cb) 表 示 了 直线 zi 十 一 0， a +m=4 Mat 
ay =8. HAER 29-2 中 可 行 区 域 是 有 界 的 ， 所 以 必定 存在 某 个 最 大 值 >， 使 得 直线 zi 十 zx 一 zx 
和 可 行 区 域 的 交集 非 空 。 任 何 让 此 情况 出 现 的 点 都 是 线性 规划 的 一 个 最 优 解 ， 在 本 例 中 ， 最 优 解 
是 二 一 2 和 之 一 6， 目 标 值 是 8。 
线性 规划 的 最 优 解 出 现在 可 行 区 域 的 一 个 顶点 上 并 不 是 偶然 的 。 直 线 zi 十 zs 二 z 与 可 行 区 域 
相交 的 = 的 最 大 值 必 在 可 行 区 域 的 边界 上 ， 因 此 ， 这 条 直线 与 可 行 区 域 的 边界 的 交集 要 么 是 一 个 
单独 顶点 ， 要 么 是 一 条 线段 。 如 果 交 集 是 一 个 单独 顶点 ， 那 么 只 有 一 个 最 优 解 ， 就 是 该 顶点 。 如 
果 交 集 是 一 条 线段 ， 那 么 此 线段 上 的 每 一 点 必 有 相同 的 目标 值 ， 特 别 地 ， 此 线段 的 两 个 端点 都 是 
最 优 解 。 因 为 线段 的 每 个 端点 都 是 一 个 顶点 ， 所 以 此 情况 下 最 优 解 也 在 一 个 顶点 上 。 
虽然 不 容易 用 图 形 表示 超过 两 个 变量 的 线性 规划 ， 但 是 同样 的 直觉 仍然 成 立 。 如 果 有 三 个 
变量 ， 则 每 个 约束 对 应 于 三 维 空间 的 一 个 半空 间 。 这 些 半空 间 的 交集 形成 可 行 区 域 。 目 标 函数 取 
目标 值 = 的 点 集合 现在 是 一 个 平面 (假设 没有 非 退 化 的 情形 出 现 ) 。 如 果 目 标 函 数 的 系数 都 是 非 负 
的 ， 而 且 如 果 原点 是 线性 规划 的 一 个 可 行 解 ， 那 么 当 把 这 个 平面 沿 目标 函数 的 垂直 方向 移 开 原 
点 时 ， 我 们 就 找到 一 系列 的 点 ， 其 目标 值 是 递增 的 (如 果 原点 不 是 可 行 解 ， 或 者 目标 函数 的 某 些 
系数 是 负 的 ， 则 直观 图 形 会 变 得 稍微 复杂 些 ) 。 如 同 在 二 维 空间 一 样 ， 因 为 可 行 区 域 是 凸 的 ， 取 
得 最 优 目标 值 的 点 集合 必然 包含 可 行 区 域 的 一 个 顶点 。 类 似 地 ， 如 果 有 ?个 变量 ， 每 个 约束 定义 
T 维 空间 中 的 一 个 半空 间 。 我 们 称 这 些 半 空间 的 交集 形成 的 可 行 区 域 为 单纯 形 。 目 标 函数 现在 
是 一 个 超 平面 ， 并 且 因为 它 的 凸 性 ， 一 个 最 优 解 仍 在 单纯 形 的 一 个 顶点 上 取得 。 
单纯 形 算法 以 一 个 线性 规划 作为 输入 ， 输 出 一 个 最 优 解 。 它 从 单纯 形 的 某 个 顶点 开始 ， 执 行 
顺序 兴 代 。 在 每 次 迭代 中 ， 它 沿 着 单纯 形 的 一 条 边 从 当前 顶点 移动 到 一 个 目标 值 不 小 于 (通常 是 
大 于 ) 当 前 顶点 的 相 邻 顶点 。 当 达到 一 个 局 部 的 最 大 值 ， 即 存在 一 个 顶点 ， 所 有 相 邻 顶点 的 目标 
值 都 小 于 该 顶点 的 目标 值 ， 单 纯 形 算法 终止 。 因 为 可 行 区 域 是 凸 的 ， 且 目标 函数 是 线性 的 ， 所 以 
该 局 部 最 优 实际 上 是 全 局 最 优 的 。 在 29.4 节 中 ， 我 们 将 使 用 “对 偶 ” 的 概念 来 说 明 单纯 形 算法 答 
出 解 确实 是 最 优 的 。 
尽管 几何 的 视角 给 出 了 单纯 形 算法 操作 过 程 的 一 个 很 好 的 直观 解释 ， 但 在 29. 3 节 详尽 阐述 
单纯 形 算法 的 细节 时 ， 我 们 将 不 会 再 直接 谈 到 几何 的 视角 。 取 而 代 之 ， 我 们 采用 一 种 代数 的 视 
角 。 首 先 将 给 定 的 线性 规划 写成 松弛 形式 ， 即 线性 等 式 的 集合 。 这 些 线性 等 式 通过 其 他 称 为 “ 非 
基本 变量 ”的 变量 来 表示 某 些 称 为 “基本 变量 ”的 变量 。 我 们 从 一 个 顶点 移动 到 另 一 个 顶点 ， 伴 随 
着 将 一 个 基本 变量 变 为 非 基 本 变量 ， 以 及 将 一 个 非 基本 变量 变 为 基本 变量 。 我 们 称 这 个 操作 为 
一 个 “ 主 元 ”， 且 从 代数 的 角度 ， 它 只 不 过 是 将 线性 规划 重 写成 等 价 的 松弛 型 。 
上 述 的 双 变量 的 例子 是 非常 简单 的 。 我 们 将 在 本 章 中 讨论 几 个 更 详细 的 例子 。 这 些 议题 包 
括 识别 无 解 的 线性 规划 、 无 有 限 最 优 解 的 线性 规划 ， 以 及 原点 不 是 可 行 解 的 线性 规划 。 
线性 规划 的 应 用 
线性 规划 有 大 量 的 应 用 。 任 何 一 本 运筹 学 的 教科 书 上 都 充满 了 线性 规划 的 例子 ， 且 现在 大 
多 数 商 学 院 都 将 线性 规划 作为 一 种 标准 工具 讲授 给 学 生 ， 前 面 的 选举 场景 是 一 个 典型 的 例子 。 
下 面 是 其 他 两 个 线性 规划 的 例子 : 
。 一 家 航空 公司 希望 调度 它 的 飞行 机 组 人 员 。 美 国联 邦 航空 委员 会 提出 了 许多 限制 ， 例 如 
每 个 机 组 成 员 可 以 连续 工作 的 小 时 数 ， 以 及 要 求 一 个 特定 机 组 在 每 个 月 内 只 能 在 一 种 机 
型 上 工作 。 这 家 航空 公司 想 要 在 其 所 有 航班 上 安排 机 组 人 员 ， 并 尽 可 能 少 地 使 用 机 组 
人 员 。 
。 一 家 石油 公司 想 要 确定 在 何 处 钻井 采油 。 在 一 个 特定 位 置 钻井 有 相应 的 费用 ， 且 根据 地 
质 勘探 结果 还 可 以 知道 可 供 开采 的 石油 的 桶 数 。 这 家 公司 用 来 布置 新 油井 的 预算 有 限 ， 
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并 且 和 希望 在 这 个 预算 下 ， 让 回报 的 石油 量 最 大 。 

我 们 也 使 用 线性 规划 来 建 模 与 求解 图 与 组 合 问题 ， 如 本 书 中 出 现 的 那些 问题 。 在 24.4 节 中 ， 
我 们 已 经 看 到 一 个 用 来 求解 差分 约束 系统 的 线性 规划 的 特殊 例子 。29. 2 节 将 研究 如 何 将 一 些 图 
和 网 络 流 问题 形式 化 为 线性 规划 问题 。35. 4 节 将 利用 线性 规划 作为 一 种 工具 ， 来 找 出 另 一 个 图 
问题 的 一 个 近似 解 。 

线性 规划 算法 

本 章 研究 单纯 形 算法 。 当 此 算法 被 精心 实现 时 ， 在 实际 中 通常 能 够 快速 地 解决 一 般 的 线性 
规划 问题 。 然 而 对 于 某 些 刻意 仔细 设计 的 输入 ， 单纯 形 算法 会 需要 指数 时 间 。 线 性 规划 的 第 一 个 
多 项 式 时 间 算 法 是 椭 球 算法 ， 它 在 实际 中 运行 缓慢 。 第 二 类 多 项 式 时 间 的 算法 称 为 内 点 法 。 与 单 
纯 形 算法 ( 即 沿 着 可 行 区 域 的 外 部 移动 ， 并 在 每 次 迭代 中 维护 一 个 对 应 单纯 形 顶 点 的 可 行 解 ) 相 
比 ， 这 类 算法 在 可 行 区 域 的 内 部 移动 。 中 间 阶 段 的 解 尽管 是 可 行 的 ， 但 未 必 是 单纯 形 的 顶点 ,但 
最 终 的 解 是 一 个 顶点 。 对 于 大 规模 的 输入 ， 内 点 算法 的 性 能 可 与 单纯 形 算法 相当 ， 有 时 其 至 会 更 
快 。 本 章 注 记 会 给 出 更 多 关于 这 些 算法 的 信息 。 

如 果 我 们 在 一 个 线性 规划 中 加 入 额外 的 要 求 ， 所 有 的 变量 都 取 整 数值 ， 那 么 就 得 到 了 一 个 
整数 线性 规划 。 练 习 34. 5-3 要 求证 明 ， 仅 找 出 此 问题 的 一 个 可 行 解 就 是 NP 难 的 ; 因为 还 没有 已 
知 的 多 项 式 时 间 算 法 能 解 任意 一 个 NP 难 的 问题 ， 于 是 还 没有 已 知 的 整数 线性 规划 的 多 项 式 时 间 
算法 。 相 比 而 言 ， 我 们 可 以 在 多 项 式 时 间 内 求解 一 般 的 线性 规划 问题 。 

在 本 章 中 ， 如 果 有 一 个 线性 规划 ， 其 变量 为 Xx 二 (zxi1，z;，…，zx,)， 而 且 希 望 引用 这 些 变量 
的 一 个 特定 值 ， 我 们 将 使 用 记号 = (去 ， 五 ，…， 元 )。 


29. 1 标准 型 和 松弛 型 

本 节 描 述 两 种 我 们 在 描述 和 使 用 线性 规划 时 有 用 的 形式 : 标准 型 和 松弛 型 。 在 标准 型 中 ， 所 
有 的 约束 都 是 不 等 式 ， 而 在 松弛 型 中 ,约束 都 是 等 式 ( 除 非 要 求 变量 非 负 的 约束 )。 

标准 型 

在 标准 型 中 ， 我们 已 知 个 实数 ci ，cz，…c; MELB, brs bns WR mn 个 实数 a;， 
其 中 t= ls Dy “ty Wy G= Ly Zs vg Re 我 们 希望 找到 n SELB zi， Tzs "Ba 


最 大 化 By (29. 16) 
满足 约束 条 件 ， < 

Slag By ne (29. 17) 

pee, FH 12a (29. 18) 


推广 我 们 为 两 个 变量 的 线性 规划 引入 的 术语 ， 我 们 称 表达 式 (29. 16) 为 目标 函数 ， 式 (29. 17) 
和 式 (29. 18) 中 的 n 十 m 个 不 等 式 为 约束 。 式 (29. 18) 中 的 2 个 约束 称 为 非 负 约束 。 一 个 任意 的 线 
性 规划 不 必 有 非 负 约束 ， 但 是 标准 型 需要 。 有 时 我 们 发 现 将 一 个 线性 规划 表示 为 一 个 更 紧凑 的 
形式 会 很 方便 。 如 果 构 造 一 个 mXn 和 矩阵 A 二 (a;), 一 个 m 维 的 向 量 6 二 (6;)， 一 个 n 维 向 量 c= 
(cj)， 以 及 一 个 n 维 向 量 x 二 (zx;)， 那 么 可 以 重 写 式 (29. 16)~(29. 18) 中 定义 的 线性 规划 为 


最 大 化 cz (29. 19) 
满足 约束 

Ar<b (29. 20) 

a>0 (29. 21) 


在 式 (29. 19) 中 ，c zz 是 两 个 向 量 的 内 积 。 在 式 (29. 20) 中 ，Az 是 一 个 矩阵 向 量 乘 积 ， 而 在 式 
(29.21), 220 表示 向 量 z 的 每 个 条 目 必 须 是 非 负 的 。 我 们 看 到 ， 可 以 用 一 个 元 组 (4，2，c) 
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来 表示 一 个 标准 型 的 线性 规划 ， 而 且 默 认 A, 6 和 c 总 是 有 上 面 的 维 数 约定 。 

我 们 现在 介绍 描述 线性 规划 解 的 术语 。 其 中 有 些 名 词 在 先前 双 变量 的 例子 中 已 经 使 用 过 。 
若 变量 的 一 个 设置 互 满足 所 有 约束 条 件 ， 则 称 之 为 一 个 可 行 解 ， 而 不 满足 至 少 一 个 约束 条 件 的 
变量 设置 云 称 为 一 个 不 可 行 解 。 我 们 称 一 个 解 芯 拥有 目标 值 < z。 在 所 有 可 行 解 中 ， 目 标 值 最 大 
的 一 个 可 行 解 是 一 个 最 优 解 ， 且 我 们 称 其 目标 值 cz 为 最 优 目 标 值 。 如 果 一 个 线性 规划 没有 可 行 
解 ， 则 称 此 线性 规划 为 不 可 行 的 ;否则 称 它 是 可 行 的 。 如 果 一 个 线性 规划 有 一 些 可 行 解 但 没有 有 
限 的 最 优 目标 值 ， 则 称 此 线性 规划 是 无 界 的 。 练 习 29. 1-9 要 求 说 明 即 使 可 行 区域 无 界 ， 线 性 规 
划 仍 可 以 存在 一 个 有 限 的 最 优 目标 值 。 

转换 线性 规划 为 标准 型 

已 知 一 个 线性 函数 满足 若干 线性 约束 ， 要 求 最 小 化 或 最 大 化 它 ， 我 们 总 可 以 将 这 个 线性 规 
划 转 换 成 标准 型 。 一 个 线性 规划 可 能 由 于 如 下 4 个 原因 之 一 而 不 是 标准 型 

1. 目标 函数 可 能 是 最 小 化 ， 而 不 是 最 大 化 。 

2. 可 能 有 变量 不 具有 非 负 约束 。 

3. 可 能 有 等 式 约束 ， 即 有 一 个 等 号 而 不 是 一 个 小 于 等 于 号 。 

4. 可 能 有 不 等 式 约束 ， 但 不 是 小 于 等 于 号 ， 而 是 一 个 大 于 等 于 号 。 

当 把 一 个 线性 规划 L 转换 为 另 一 个 线性 规划 工时 ， 我 们 希望 从 工 的 一 个 最 优 解 能 推出 工 的 
一 个 最 优 解 。 为 了 准确 表达 这 个 想法 ， 我 们 定义 线性 规划 等 价 的 概念 : 对 两 个 最 大 化 线性 规划 工 
和 LL'， 如 果 对 工 每 个 目标 值 为 z 的 可 行 解 和 未， 都 存在 一 个 对 应 的 工 的 目标 值 为 = 的 可 行 解 乏 '， 
且 对 工 ' 每 个 目标 值 为 = 的 可 行 解 '， 都 存在 一 个 对 应 的 工 的 目标 值 为 z 的 可 行 解 z'， 则 称 工 和 
工 是 等 价 的 。( 这 个 定义 并 不 意味 着 可 行 解 之 间 的 一 一 对 应 关系 。) 此 外 ， 对 一 个 最 小 化 线性 规划 
L 和 一 个 最 大 化 线性 规划 工 ， 如 果 对 于 工 的 每 个 目标 值 为 z 的 可 行 解 乏 ， 存 在 一 个 相应 的 志 的 目 
标 值 为 一 z 的 可 行 解 乏 ， 而 且 对 于 工 的 每 个 目标 值 为 z 的 可 行 解 '， 存 在 一 个 相应 的 工 的 目标 
值 为 一 z 的 可 行 解 乏 ， 则 称 工 和 工 是 等 价 的 。 

现在 我 们 来 说 明 如 何 逐 一 消除 上 面 列 出 的 每 个 可 能 问题 。 在 消除 每 个 问题 之 后 ， 我 们 将 表 
明 新 的 线性 规划 和 原来 是 等 价 的 。 

为 将 一 个 最 小 化 线性 规划 工 转换 成 一 个 等 价 的 最 大 化 线性 规划 工 ， 只 需 对 目标 函数 中 的 系 
数 取 负 即 可 。 因 为 工 和 工 有 相同 的 可 行 解 集合 ， 且 对 任意 的 可 行 解 , 工 的 目标 值 是 工 ' 的 目标 值 
的 负数 ， 于 是 这 两 个 线性 规划 是 等 价 的 。 例 如 ， 如 果 我 们 有 线性 规划 





最 小 化 = 2a, + 3x 
满足 约束 
a r ae = 
i = By =, a 
Xi => 0 
我 们 将 目标 函数 的 系数 取 负 ， 得 到 
最 大 化 255 — SEs 
满足 约束 = ty = T 
A = ae see, 
Xl SS) 


接 下 来 ， 我 们 说 明 如 何 将 某 些 变量 不 具有 非 负 约束 的 线性 规划 转换 成 每 个 变量 都 有 非 负 约 
束 的 线性 规划 。 假 设 某 个 变量 x, 不 具有 非 负 约 束 。 那 么 把 r 每 次 出 现 的 地 方 都 以 x ,一 xz” 来 蔡 
换 ， 并 增加 非 负 约束 x; 宇 0 和 xz” 宇 9。 因此， 如 果 目 标 函 数 有 一 个 项 为 czj ， 将 其 替换 为 cz 一 
cx”， 而 且 如 果 约 束 i 有 一 个 项 为 a;zx;， 则 将 其 兰 代为 ajx ;一 ajsz”。 新 的 线性 规划 的 任意 可 行 
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解 2 对 应 于 原来 线性 规划 的 一 个 可 行 解 未 ， 其 中 五 一 多 一 全 ， 而 且 具 有 相同 的 目标 值 。 同 样 ， 原 
来 线性 规划 的 一 个 可 行 解 式 对 应 于 新 的 线性 规划 的 可 行 解 2， 其 中 ， 若 去 宇 0， 则 人 2; == 去 H 
2 二 0; 或 者 若 志 二 0， 则 2 二 一 z; 且 人 ;一 0。 不 管 瑟 的 符号 如 何 ， 这 两 个 线性 规划 具有 相同 的 
目标 值 。 因 此 ， 这 两 个 线性 规划 是 等 价 的 。 我 们 把 这 个 转换 方案 应 用 到 每 一 个 不 具有 非 负 约束 的 
变量 上 ， 得 出 一 个 等 价 的 线性 规划 ， 其 中 所 有 的 变量 都 具有 非 负 约束 。 

继续 这 个 例子 ， 我 们 想 确认 每 个 变量 都 有 一 个 对 应 的 非 负 约束 。 变 量 x, 具有 这 样 的 非 负 约 
R, BEE zx; 没有 。 因 此 ,我 们 用 两 个 变量 r: 和 zs KRE 之， 并 且 修 改线 性 规划 为 


最 大 化 2x, — 3x; +31, 
满足 约束 
a + rn 一 ws = 7 
a 一 2z! 十 2z, < 4 (29. 22) 
Rs x} 9 xs = 0 


接 下 来 ,我 们 将 等 式 约束 转换 为 不 等 式 约束 。 假 设 一 个 线性 规划 有 一 个 等 式 约束 fa, 
Trs s 2) =b HASHANAH r>y 和 zy 时 x 二 y， 所 以 可 以 用 一 对 不 等 式 约束 f(x， 
Ley tty LyVKD 和 了 (zi，zs，…，z,) 之 b 来 替换 这 个 等 式 约束 。 对 每 个 等 式 约束 重复 这 个 替换 ， 
于 是 推出 全 是 不 等 式 约束 的 一 个 线性 规划 。 

最 后 ,我 们 可 以 通过 将 大 于 等 于 的 约束 乘 以 一 1， 把 大 于 等 于 约束 转换 成 小 于 等 于 约束 。 也 
就 是 说 ,任何 形 如 

Yaya; = b; 


j=l 


的 不 等 式 等 价 于 
5i — agt; Sb; 


因此 ， 通 过 一 a 替换 每 个 系数 4a, —b, 蔡 换 六， 我 们 得 到 一 个 等 价 的 小 于 等 于 的 约束 。 
结束 我 们 的 例子 ， 通 过 用 两 个 不 等 式 蔡 换 约束 式 (29. 22) 中 的 等 式 ， 得 到 


最 大 化 2x, — 3x1, +325 
满足 约束 a + 2 = ar = 7 
(anes, n 
m T fa Ta eT (29. 23) 
z 一 It 2z < 4 
Tis Lbs £ = 0 


最 后 ， 我 们 对 约束 式 4(29. 23) 取 负 。 为 了 保持 变量 名 的 一 致 性 ， 我 们 将 z* 更 名 为 r, r, 更 名 为 
Zs， 于 是 就 得 到 标准 型 


最 大 化 2m Bay = (29. 24) 
满足 约束 
a se te = ay < 7 (29. 25) 
=, = ae Se ae, ee (29. 26) 
a — 2e + Be = 4 (29. 27) 
Diy Lee Dy =, 0 (29. 28) 
转换 线性 规划 为 松弛 型 


为 了 利用 单纯 形 算法 高 效 地 求解 线性 规划 ， 我 们 更 喜欢 将 其 表示 成 某 些 约束 是 等 式 约束 的 
形式 。 更 准确 地 说 ， 我 们 将 把 它 转换 成 只 有 非 负 约束 是 不 等 式 约束 ， 而 其 他 约束 都 是 等 式 约 束 的 
形式 。 设 
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Saat h (29. 29) 
是 一 个 不 等 式 约束 。 我 们 引信 一 个 新 的 变量 s， 并 重 写 不 等 式 (29. 29) 为 两 个 约束 

= DY ar, (29. 30) 

s=>0 oy (29. 31) 


我 们 称 s 是 一 个 松弛 变量 ， 因 为 它 度 量 了 等 式 (29. 29) 左 右 之 间 的 松弛 或 差别 。 

(我 们 将 马上 看 到 为 什么 将 此 松弛 变量 写 在 约束 等 式 的 左边 很 方便 。) 因 为 不 等 式 (29. 29) 为 真 
当 且 仅 当 等 式 (29. 30) 为 真 和 不 等 式 (29. 31) 皆 为 真 ， 我 们 可 以 对 线性 规划 的 每 个 不 等 式 约 束 进 行 
这 样 的 转换 ， 得 到 一 个 等 价 的 线性 规划 ， 其 中 只 有 非 负 约束 是 不 等 式 。 当 从 标准 型 转换 到 松弛 型 
时 ， 我 们 将 使 用 zx;( 而 不 是 9) 表示 与 第 ; 个 不 等 式 相关 的 松弛 变量 。 因 此 ， 第 i 个 约束 是 


Ba = by > age (29. 32) 
j=l 


以 及 非 负 约 束 24:20. 
通过 转换 一 个 标准 型 线性 规划 的 每 个 约束 ， 我 们 得 到 一 个 不 同形 式 的 线性 规划 。 例 如 ， 对 式 
(29. 24) 一 (29. 28) 中 描述 的 线性 规划 ， 我 们 引入 松弛 变量 xy, xs 和 zs ， 于 是 得 到 





最 大 化 2x, — 3a, | a3 (29. 33) 
mum = 7 z to xy (29. 34) 

i Sf 2 Se ay = a (29. 35) 

a = A — a T Bay — Zax, (29. 36) 

Diy ta Gee Bos Hes Be a O (29.37) 


在 这 个 线性 规划 中 ， 除 了 非 负 约束 外 ， 所 有 约束 都 是 等 式 ， 而 且 每 个 变量 都 满足 非 负 约束 。 
我 们 把 每 个 等 式 约束 写成 一 个 变量 在 等 式 左边 ， 其 余 所 有 变量 在 等 式 右 边 。 而 且 每 个 等 式 右边 
都 有 相同 的 变量 集合 ， 且 这 些 变量 也 是 出 现在 目标 函数 中 仅 有 的 变量 。 我 们 称 等 式 左 边 的 变量 
为 基本 变量 ， 而 等 式 右边 的 变量 为 非 基 本 变量 。 
对 于 满足 这 些 条 件 的 线性 规划 ,我们 有 时 会 省 略 词语 “最 大 化 ”和 “满足 约束 ”， 以 及 明显 的 非 
[855 ” 负 约 束 要求 。 我 们 也 会 使 用 变量 = 来 表示 目标 函数 值 。 我 们 称 这 样 的 导出 形式 为 松弛 型 。 如 果 把 
式 (29. 33) ~ (29. 37) 中 的 线性 规划 表示 成 松弛 型 ， 将 得 到 








z = 2m — Ba) T 3z (29. 38) 
a = T= A ~ a T G (29. 39) 
Wo ==] FF a t o a ~ (29. 40) 
a, = 4 = a se 2o == 2 (29. 41) 


如 标准 型 一 样 ， 我 们 发 现 使 用 更 简洁 的 记号 来 描述 一 个 松弛 型 会 很 方便 。 如 我 们 将 在 29. 3 
节 看 到 的 那样 ， 当 单纯 形 算法 运行 时 ， 基 本 变量 和 非 基 本 变量 集合 将 发 生 改 变 。 我 们 用 NN 来 表 
示 非 基本 变量 下 标的 集合 ， 用 如来 表示 基本 变量 下 标的 集合 。 我 们 总 有 | N| =n, |Bl=m, VA 
K NUB={1, 2, =, ntm}. ARKI B 的 元 素 索 引 ， 等 式 右 边 的 变量 将 被 N 的 元 素 索引 。 
和 标准 型 一 样 ， 我们 用 b o Maj 表示 常数 项 和 系数 。 我 们 还 使 用 v 来 表示 目标 函数 的 一 个 可 
选 常数 项 。( 稍 后 我 们 可 以 看 到 ， 包 含 此 常数 项 的 目标 函数 将 会 更 容易 确定 其 值 ,) 因 此 ， 我 们 可 
以 简洁 地 定义 一 个 松弛 型 ， 用 一 个 元 组 IN，B，A， 45，c，wv) 来 表示 松弛 型 
z= v+ Dc (29. 42) 


b= b; Fa Say, si € B (29. 43) 
JEN 





其 中 所 有 的 变量 z 都 是 非 负 的 。 
现 ” 在 松弛 型 中 系数 的 负 值 。 
例如 ， 在 松弛 型 
Za Ts VEA 
z= 28 6 6 3 
T3 Ts _ Xe 
ee ee 





X= 18 = ae = 


H, RIE B={1, 2, 4}, N=({3, 5, 6}, 


ai Qs aig — 1/6 —1/6 1/3 
A= a23 a25 ae | = 8/3 2/3 —1/3 b= 


1/2 — 1/2 0 


CQ43 Q45 046 


y 8m __ A Ea 
4 3 3 


第 29 章 线性 规划 





b 


b 


1 


b 


4 





4 
18 








503 


因为 在 式 (29. 43) 中 减 去 和 式 > ajz; ， 实 际 上 这 里 的 wy 是 出 


c 一 (ca cs cs) =(—1/6—-1/6—2/3)", UR v= 28. TER, A, bF c 的 下 标 值 不 必 是 连续 整数 的 
集合 ; 它们 依赖 于 索引 集合 B 和 NN。 作 为 一 个 例子 ，A 中 的 元 素 是 出 现在 松弛 型 中 系数 的 负 值 ， 
观察 到 zi 的 等 式 中 包含 项 xz;/6， 而 系数 as 实际 上 是 一 1/6， 而 不 是 十 1/6。 


练习 


29.1-1 


29. 1-2 
29. 1-3 
29.1-4 


29. 1-5 


29. 1-6 


如 果 将 式 (29. 24) ~ (29. 28) 中 的 线性 规划 表示 成 式 (29. 19) ~ (29. 21) 中 的 紧凑 记号 形 


sk, Wn. m, A, bc 分 别 是 什么 ? 


请 给 出 式 (29. 24) ~ (29. 28) 中 线性 规划 的 三 个 可 行 解 。 每 个 解 的 目标 值 是 什么 ? 
在 式 (29. 38) 一 (29. 41) 的 松弛 型 中 ，N、B、A、6b、c 和 vw 是 什么 ? 
将 下 面 线 性 规划 转换 成 标准 型 : 
最 小 化 2a t 1a +23 
满足 约束 
T) = f=) 7 
3a; = 24 
Xe == 10 
a =e O 
将 下 面 线性 规划 转换 成 松弛 型 ; 
最 大 化 22x — 623 
满足 约束 
a ie. a =~ n SS 
sga ~ m = 8 
—=9y F 2am t ‘Bay = 0 
Ris Baa fa = 0 
其 中 基本 变量 和 非 基本 变量 是 什么 ? 
说 明 下 面 线性 规划 是 不 可 解 的 : 
最 大 化 32, — 2a» 
满足 约束 
a F a S 2 
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一 全 去 一 
Dy T = 0 
29.1-7 说 明 下 面 线性 规划 是 无 界 的 : 
最 大 化 Tı 4X2 
满足 约束 
一直 
= 
tis Le 之 0 


29.1-8 ”假设 有 一 个 个 变量 和 mm 个 约束 的 一 般 线性 规划 ， 并 且 假 设 将 其 转换 成 标准 型 。 请 给 
出 所 得 线性 规划 中 变量 和 约束 数目 的 一 个 上 界 。 


[858] 29.1-9 请 给 出 一 个 线性 规划 的 例子 ， 其 中 可 行 区 域 是 无 界 的 ， 但 最 优 目标 值 是 有 界 的 。 





29.2 将 问题 表达 为 线性 规划 

尽管 本 章 中 我 们 将 把 重点 放 在 单纯 形 算法 上 ， 但 是 识别 出 一 个 问题 是 否 可 以 形式 化 为 一 个 
线性 规划 也 很 重要 。 一 旦 把 一 个 问题 形式 化 成 一 个 多 项 式 规模 的 线性 规划 ， 就 可 以 用 椭 球 算法 
或 内 点 法 在 多 项 式 时 间 内 解决 之 。 很 多 线性 规划 的 软件 包 可 以 高 效 地 解决 问题 ,于 是 一 旦 问题 
被 表示 成 一 个 线性 规划 后 ， 这 样 的 一 种 软件 包 就 可 以 求解 之 。 

我 们 将 会 看 到 一 些 具 体 的 线性 规划 问题 的 实例 。 首 先 从 前 面 已 经 研究 过 的 两 个 问题 开始 : 
单 源 最 短路 径 问 题 (参见 第 24 章 ) 和 最 大 流 问 题 ( 参 见 第 26 章 )。 然 后 ， 我 们 再 描述 最 小 费用 流 问 
题 。 尽 管 最 小 费用 流 问 题 存 在 一 个 不 基于 线性 规划 的 多 项 式 时 间 算 法 ， 但 我 们 将 不 讨论 此 算法 。 
最 后 ， 我 们 要 介绍 多 商品 流 问题 ， 目 前 唯一 已 知 的 多 项 式 时 间 算 法 是 基于 线性 规划 的 。 

在 第 6 部 分 解决 图 问题 时 ， 我 们 使 用 了 属性 记号 ， 比 如 v. diu, v). fo 然而 线性 规划 通常 
使 用 下 标 变量 ， 而 不 是 具有 附加 属性 的 对 象 。 因 此 ， 当 需要 表示 线性 规划 中 的 变量 时 ， 我 们 将 通 
过 下 标 来 表示 顶点 和 边 。 例 如 ， 我 们 表示 顶点 v 的 最 短路 径 的 权重 不 是 用 v. 4， 而 是 用 4,。 类 似 
地 ， 我 们 表示 顶点 u 到 顶点 wv 的 流 不 是 用 (wu，wv). f， 而 是 用 A 。 对 于 问题 的 给 定 输入 数量 ， 比 
如 边 的 权重 或 者 容量 ， 我 们 将 继续 用 wlu，) 和 clu，v) 这 样 的 记号 。 

最 短路 径 

我 们 可 以 把 单 源 最 短路 径 问题 形式 化 为 一 个 线性 规划 。 在 这 一 节 中 ， 我 们 将 重点 关注 如 何 
对 单 对 最 短路 径 问题 形式 化 ， 把 推广 到 更 一 般 的 单 源 最 短路 径 问题 留 作 练习 29. 2-3。 

在 单 对 最 短路 径 问题 中 ， 已 知 一 个 带 权 有 向 图 G=(V, E), MRAR w: E>R 把 边 映 射 到 
实数 权 值 、 一 个 源 顶 点 *， 以 及 一 个 目的 顶点 to 我 们 希望 计算 从 * 到 :+ 的 一 条 最 短路 径 的 权 值 
d,。 为 了 把 此 问题 表示 成 一 个 线性 规划 ， 需 要 确定 变量 和 约束 的 一 个 集合 来 定义 何 时 有 从 s 到 z 
的 一 条 最 短路 径 。 幸 运 的 是 ，Bellman-Ford 算法 正好 完成 此 事 。 当 Bellman-Ford 算法 终止 时 ， 对 
每 个 顶点 v， 它 已 计算 了 一 个 值 4,( 这 里 使 用 的 是 下 标记 号 ， 而 不 是 属性 记号 )， 使 得 对 每 条 边 
(u，)EE， 有 4d, 二 du 十 wl(u，v)。 源 顶点 初始 得 到 一 个 值 4, 二 0， 之 后 不 会 改变 。 因 此 ， 我 们 
得 到 如 下 的 线性 规划 ， 来 计算 从 s 到 :的 最 短路 径 权 值 : 





最 大 化 d, (29. 44) 
满足 约束 
d,<xd,twu,v) ,(u,v) EE (29. 45) 
d,= 0 (29. 46) 


你 可 能 会 觉得 奇怪 ， 这 个 线性 规划 最 大 化 目标 函数 ， 而 关注 的 是 计算 最 短路 径 。 我 们 并 不 想 最 小 
化 目标 函数 ， 因 为 这 样 的 话 对 所 有 的 vEV， 设 置 d,=0 生成 的 此 线性 规划 的 一 个 最 优 解 并 不 是 
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最 短路 径 问题 的 解 。 我 们 之 所 以 最 大 化 ， 是 因为 最 短路 径 问 题 的 一 个 最 优 解 把 每 一 个 d, 设置 成 
min (d, Fwlu, v)}, (898 d, ETETE (d, Hwlu, v)} PHAN RHA. XA s 到 z 的 
一 条 最 短路 径 上 的 所 有 顶点 v， 我 们 希望 最 大 化 4,， 在 所 有 顶点 "上 都 满足 上 述 约束 条 件 ， 并 且 
最 大 化 d, 以 实现 此 目的 。 

这 个 线性 规划 中 有 |V| 个 变量 d,， 对 于 每 个 顶点 vEV 有 一 个 相应 变量 。 另 外 ， 还 有 | E| 十 1 
个 约束 : 每 条 边 上 有 一 个 ， 外 加 源 顶 点 总 有 值 为 0 的 最 短路 径 权 值 为 额外 约束 。 

最 大 流 

接 下 来 ， 我 们 可 以 把 最 大 流 问 题 表 示 成 线性 规划 。 回 顾 最 大 流 问 题 ， 已 知 一 个 有 向 图 G= 
(V，E)， 其 中 每 条 边 (u，v) EE 有 一 个 非 负 的 容量 cC(u，wv) 宇 9， 以 及 两 个 特别 的 顶点 : 源 点 s 和 
汇 点 t+。 如 26. 1 节 中 所 定义 的 ,一 个 流 是 一 个 非 负 的 实数 值 函数 f: VXV->R,， 它 满足 容量 限制 和 
流量 守恒 性 。 最 大 流 是 满足 这 些 约束 且 最 大 化 流量 值 的 流 ， 其 中 流量 值 是 从 源 点 流出 的 总 流量 值 
减 去 进入 源 点 的 总 流量 。 因 此 ， 流 满足 线性 约束 并 且 一 个 流 的 值 是 一 个 线性 函数 。 我 们 还 假设 若 
u, VEE, Wj cxw， 功 =0， 且 没有 反 平 行 的 边 ， 因 此 可 以 将 这 个 最 大 流 问 题 表示 为 一 个 线性 规划 : 


最 大 化 Dr Doe (29. 47) 
vEV veEV 
满足 约束 
Fa = Cis) 对 每 个 u,v€EV (29. 48) 
She 三 fw WEA UE V— {st} (29. 49) 
veEV vEV 
fa 20 对 每 个 u,vEV (29. 50) 


这 个 线性 规划 有 |V|? 个 变量 ， 对 应 于 每 一 对 顶点 之 间 的 流 ， 另 外 还 有 21V|? 十 |V| 一 2 个 约束 。 

通常 求解 一 个 较 小 规模 的 线性 规划 会 更 加 有 效 。 为 了 方便 记号 表示 ， 式 (29. 47) ~ (29. 50) 中 
的 线性 规划 隐 含 了 每 对 满足 (wx， 了 人 巨 的 顶点 对 wx、v 的 容量 0 及 值 为 0 的 流 。 把 这 个 线性 规划 
重 写 为 有 O(V 十 已 个 约束 的 表示 会 更 高 效 。 练 习 29. 2-5 要 求 你 做 到 这 一 点 。 

最 小 费用 流 

在 这 一 节 中 ， 我 们 使 用 了 线性 规划 来 解决 已 知 存在 高 效 算法 的 问题 。 事 实 上 ， 为 一 个 问题 设 
计 一 个 高 效 的 专用 算法 ， 比 如 用 于 单 源 最 短路 径 问题 的 Dijkstra 算法 ， 或 者 用 于 最 大 流 问题 的 扒 
送 - 重 贴标签 (push-relabel) 方 法 ， 在 理论 和 实践 中 通常 比 线性 规划 更 加 高 效 。 

线性 规划 的 真正 能 力 来 自 其 求解 新 问题 的 能 力 。 回 顾 在 本 章 开始 政治 家 面临 的 问题 一 一 获 
得 足够 数量 的 选票 ， 而 不 用 花费 太 多 金钱 ， 本 书 之 前 所 介绍 的 任何 算法 都 不 能 解决 此 问题 ， 然 而 
我 们 可 以 用 线性 规划 求解 它 。 很 多 书 中 都 有 大 量 真实 世界 中 可 被 线性 规划 解决 的 问题 的 例子 。 
对 各 种 我 们 可 能 还 不 知道 高 效 算法 的 问题 ， 线 性 规划 也 特别 有 用 。 

例如 ， 考 虑 最 大 流 问题 的 如 下 推广 。 假 设 每 条 边 (x， 四 除了 有 容量 clu, WS, BATE 
数值 的 费用 a(u，v) 。 如 同 在 最 大 流 问 题 中 一 样 ， 我 们 假设 如 果 (u，v) FE，clu，v) 二 0， 并 且 
这 里 没有 反 平 行 边 。 如 果 通 过 边 (x， 了 传送 f 个 单位 的 流 ， 那 么 产生 了 一 个 费用 au, v) fe 
同时 还 给 定 了 一 个 流 目 标 4。 我 们 希望 从 s 到 z RŽ d 个 单位 的 流 ， 同 时 使 得 流 上 发 生 的 总 费用 
D aluo) fa 最 小 。 这 个 问题 被 称 为 最 小 费用 流 问 题 。 


(WEE 


图 29-3(a) 显 示 了 最 小 费用 流 的 一 个 例子 。 我 们 希望 从 ; 到 上 发送 4 个 单位 的 流 ， 同 时 产生 最 
小 的 总 费用 。 任 何 特定 的 合法 流 ， 即 一 个 满足 约束 (29. 48) ~ (29. 50) 的 函数 ， 产 生 一 个 总 费用 
>) a (u,v)f,。。 我 们 希望 找到 一 个 特殊 的 4 个 单位 的 流 ， 能 够 最 小 化 这 个 费用 。 


(u,v) EE 


图 29-3(b) 给 出 了 一 个 最 优 解 ， 总 费用 为 
Dd) alu, Dfa = (26 2) +65 DHB DHO. DHA. 3) = 27 


(u,v)EE 
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图 29-3 (a) 一 个 最 小 费用 流 问题 的 例子 。 我 们 用 c 表示 容量 ，a 表示 费用 。 顶 点 * ERM 

点 , t 是 汇 点 ， 而 且 我 们 希望 从 s 发送 4 个 单位 的 流 到 t。(b) 此 最 小 费用 流 的 一 个 

解 ， 其 中 4 个 单位 的 流 从 s 被 发 送 到 +:。 对 于 每 条 边 ， 流 和 容量 写成 流 /容量 的 形式 
目前 有 专门 为 最 小 费用 流 问题 设计 的 多 项 式 时 间 算 法 ,但 是 它们 已 超出 了 本 书 的 范围 。 不 
过 ， 我们 可 以 把 最 小 费用 流 问题 表示 成 一 个 线性 规划 问题 。 此 线性 规划 问题 看 起 来 和 一 个 最 大 
流 问题 很 类 似 ， 它 有 人 额外 的 约束 ( 即 流 值 正好 是 a 个 单位 )， 而 且 还 有 新 的 目标 函数 最 小 化 


费用 : 
最 小 化 S, aluo) fe (29. 51) 
满足 约束 
fo Lcu) ”对 每 个 u,v€EV 
S fa o fa 9 Heth uC V—({s,t} 
veEV vEV 
dfa È fu =d 
faz 对 每 个 u,vEV (29. 52) 
多 商品 流 


作为 最 后 一 个 例子 ， 我 们 考虑 另外 一 个 流 问 题 。 假 设 26. 1 节 中 的 Lucky Puck 公司 决定 多 样 
化 它 的 生产 线 ， 不 只 生产 冰球 ， 还 生产 球 杆 和 头盔 。 每 件 装备 都 是 在 它 自己 的 工厂 内 制造 ， 有 自 
己 的 仓库 ， 而 且 每 天 必须 从 工厂 运送 到 仓库 。 球 杆 是 在 温哥华 制造 ， 必 须要 运送 到 萨 斯 卡通 ， 而 
头盔 是 在 埃 德 蒙 顿 制造 ， 必 须要 运送 到 里 贾 那 。 运 输 网 络 的 容量 并 没有 改变 ， 然 而 不 同 的 物品 或 
者 商品 必须 共用 同一 个 网 络 。 

这 个 例子 是 多 商品 流 问题 的 一 个 实例 。 在 此 问题 中 ， 我们 仍 给 定 一 个 有 向 图 G 一 (V，E), 其 
中 每 条 边 (u，v) EE 有 一 个 非 负 的 容量 c(u，v) 宇 0。 与 最 大 流 问题 一 样 ， 我 们 默认 对 (wu，wv) FE 有 
clu， 马 二 0， 男 外， 此 图 没有 反 平行 边 。 此 外 ， 我 们 还 知道 种 不 同 的 商品 Ki, Ky, ++, Kir 其 
中 用 三 元 组 K= (ss ts dO RTEA R m i。 这 里 ， 顶 点 s 是 商品 i 的 源 点 ， 顶 点 是 商品 i 
的 汇 点 ; di 是 商品 i 的 需求 ， 即 该 商品 从 s Be, 所 需 流量 值 。 我 们 定义 商品 :的 流 ， 用 Si 表示 
(于 是 fi 是 商品 i 从 顶点 w 到 顶点 的 流 ) 为 一 个 满足 流量 守恒 和 容量 约束 的 实数 值 函数 。 现 在 
我 们 定义 汇聚 流 所 .为 各 种 商品 流 的 总 和 ， 于 是 fa = 2 Siw 。 边 (xx， 切 上 的 汇聚 流 不 能 超过 边 
(xs， 切 的 容量 。 在 这 个 问题 中 ， 我 们 不 会 去 最 小 化 任何 目标 函数 ;只 需 确 定 是 否 存在 这 样 的 一 个 
流 。 因 此 ， 我们 写 了 一 个 没有 目标 函数 的 线性 规划 : 

最 小 化 0 

满足 约束 


861 
862 





k 
S, fee L caso) 对 每 个 xz E V 
i=l 


Mh Di = 9 对 每 个 i 二 1,2,…,k URu E V—{s;5t;} 
VEY veV 
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PT ee ee = d; 对 每 个 1 二 152909 ik 
wEV vEV 


fiw 2 0 对 每 个 u,vEV 以 及 对 每 个 i 二 1,2,…,k 
这 个 问题 唯一 已 知 的 多 项 式 时 间 算 法 是 将 它 表 示 成 一 个 线性 规划 ， 然 后 用 一 个 多 项 式 时 间 的 线 
性 规划 算法 解决 。 


练习 

29.2-1 请 将 单 对 最 短路 径 线 性 规划 从 式 (29. 44) 一 (29. 46) 转 换 成 标准 型 。 

29.2-2 ”请 明确 写 出 求 图 24-2(a) 中 从 结 点 s 到 结 点 y 的 最 短路 径 的 线性 规划 。 

29.2-3 在 单 源 最 短路 径 问 题 中 ， 我 们 希望 找 出 从 源 点 s 到 所 有 顶点 vEV 的 最 短路 径 权 值 。 给 
定 一 个 图 G， 请 写 出 一 个 线性 规划 ， 其 解 具有 如 下 性 质 ， 对 每 个 顶点 v€EV，d, 是 从 ;到 
v 的 最 短路 径 权 值 。 

29.2-4 ”请 明确 写 出 求 图 26-1(a) 中 最 大 流 的 线性 规划 。 

29.2-5 ”请 重 写 最 大 流 式 (29. 47)~(29. 50) 的 线性 规划 ， 使 得 它 只 使 用 OCV 十 EE) 个 约束 。 

29.2-6 ”请 写 出 一 个 线性 规划 ， 给 定 一 个 二 部 图 G 二 (V，E)， 求解 最 大 二 分 匹配 问题 。 

29.2-7 ”在 最 小 费用 多 商品 流 问 题 中 ， 给 定 有 向 图 G 二 (V，E)， 其 中 每 条 边 (4，v) EE 有 一 个 非 
RAE clu, Y>0fl—-T HA al(u，v)。 与 多 商品 流 问题 一 样 ， RNA RRA 
商品 Ki, Kz, ae K,» 其 中 用 三 元 组 K;=(s;5 tis qd;) 来 详细 说 明 商 品 ti 与 多 商品 流 
问题 一 样 ， 我 们 为 商品 i 定义 流 六 ， 在 边 (x，z 上 定义 汇聚 流 f.,。 一 个 可 行 流 满足 在 
每 条 边 (u，v) 上 汇 取 流 不 超过 边 (u，w) 的 容量 。 一 个 流 的 费用 是 Dauro) foo » 目标 


是 寻找 具有 最 小 费用 的 可 行 流 。 请 将 这 个 问题 表示 为 一 个 线性 规划 。 


29.3 单纯 形 算法 

单纯 形 算法 是 求解 线性 规划 的 经 典 方法 。 和 本 书 其 他 算法 相 比 较 而 言 ， 它 的 执行 时 间 在 最 
坏 的 情况 下 并 不 是 多 项 式 。 然 而 ， 它 确实 使 我 们 对 线性 规划 有 深刻 的 理解 ， 并 且 在 实际 中 此 算法 
通常 相当 快速 。 

除了 本 章 稍 早 描述 的 几何 解释 外 ， 单 纯 形 算法 与 28. 1 节 中 讨论 的 高 斯 消 元 法 有 些 类 似 。 高 
斯 消 元 法 从 一 个 解 未 知 的 线性 等 式 系 统 开 始 。 在 每 次 迭代 中 ， 我们 把 这 个 系统 重 写 为 具有 一 些 
额外 结构 的 等 价 形式 。 经 过 一 定 次 数 的 迭代 后 ， 我 们 已 重 写 这 个 系统 ， 使 得 它 的 解 很 容易 得 到 。 
单纯 形 算法 以 一 种 类 似 的 方式 进行 ， 而 且 可 以 将 其 看 成 不 等 式 上 的 高 斯 消 元 法 。 

现在 我 们 描述 隐藏 在 单纯 形 算法 每 轮 和 迭代 背后 的 主要 思想 。 每 轮 和 迭代 都 关联 一 个 “基本 解 ”， 
我 们 很 容易 从 线性 规划 的 松弛 型 中 得 到 此 “基本 解 ”: 将 每 个 非 基 本 变量 设 为 0， 并 从 等 式 约 束 中 
计算 基本 变量 的 值 。 每 轮 迭 代 把 一 个 松弛 型 转换 成 一 个 等 价 的 松弛 型 。 关 联 的 基本 可 行 解 的 目 
标 值 将 会 不 小 于 上 一 轮 的 迭代 ， 通 常会 更 大 一 些 。 为 了 增 大 目标 值 ， 我 们 选择 一 个 非 基 本 交 量 ， 
使 得 如 果 从 0 开始 增加 变量 值 ， 目 标 值 也 会 增加 。 变 量 值 能 够 增加 的 幅度 受 限 于 其 他 的 约束 条 
件 。 特 别 地 ， 我 们 增加 它 ， 直 到 某 基 本 变量 变 为 0。 然后 重 写 松 弛 型 ， 交 换 此 基本 变量 和 选 定 的 
非 基 本 变量 。 尽 管 我 们 已 经 使 用 了 一 个 特殊 的 变量 设置 来 引导 算法 ， 并 会 将 其 用 于 我 们 的 证 明 
中 ,但 此 算法 并 不 显 式 地 保持 该 解 。 它 简单 地 重 写 此 线性 规划 ， 直 到 一 个 最 优 解 变 得 “明显 ”。 

单纯 形 算法 的 一 个 例子 

我 们 从 一 个 扩展 例子 开始 。 考 虑 下 面 标准 型 的 线性 规划 : 

最 大 化 32; +2,+2a; (29. 53) 

满足 约束 


864 
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a P a T Sa, & 3 (29. 54) 
Qa, + 2m 十 bma < M (29:55) 
m 十 æ F 2a = 36 (29. 56) 

Lis Tzs T3 = 0 (29: 57) 


为 了 利用 单纯 形 算法 ， 必 须 将 此 线性 规划 转换 成 松弛 型 ;我 们 在 29. 1 节 看 到 了 如 何 做 到 这 
一 点 。 松 弛 除了 是 一 个 代数 操作 外 ， 也 是 一 个 有 用 的 算法 概念 。 回 顾 在 29. 1 节 中 ， 每 个 变量 有 
一 个 对 应 的 非 负 约束 ， 如 果 一 个 等 式 约束 的 非 基本 变量 的 一 个 特定 设置 导致 其 基本 变量 变 为 0， 
则 称 这 个 等 式 约束 对 这 个 特定 设置 是 紧 的 。 类 似 地 ， 非 基本 变量 的 一 个 设置 可 以 使 一 个 基本 变 
量变 为 负 性 的 ， 称 为 违反 这 个 约束 。 因 此 ， 松 弛 变量 显 式 地 维护 每 个 约束 与 紧 的 状态 有 多 远 ， 于 
是 这 些 松 弛 变量 能 帮 我 们 确定 可 以 将 非 基本 变量 增 大 多 少 而 不 违反 任何 约束 。 

将 松弛 变量 r, rs 和 zs 分 别 关联 于 不 等 式 (29. 54) 一 (29. 56)， 并 将 线性 规划 写成 松弛 型 ， 


我 们 得 到 


z = 3a F a + 2a, (29. 58) 
x = 80 — Fi = = Bay (29. 59) 
a S M — 2a, ~ 2a, ~ Say (29. 60) 
zs = 86 = wep 一 z — Lae (29. 61) 


这 个 约束 系统 中 式 (29. 59 ~ 29. 61) 有 3 个 等 式 和 6 PER, Bn. r: 和 zs 的 任意 设置 
LT z, zs 和 zs Ws 因此 ， 这 个 等 式 系统 有 无 限 个 解 。 如 果 所 有 的 ti, t2, +, we 都 是 
非 负 的 ， 则 解 是 可 行 的 ， 可 行 解 的 数量 也 是 无 限 的 。 像 这 样 的 一 个 系统 的 无 限 个 可 行 解 在 稍 后 的 
证 明 中 会 有 用 处 。 我 们 将 集中 于 基本 解 : 把 等 式 右边 所 有 ( 非 基 本 ) 变 量 设 为 0， 然 后 计算 等 式 左 
边 (基本 ) 变 量 的 值 。 在 这 个 例子 中 ， 基 本 解 为 (元 ， 五 ，…， 元 ) 王 (0，0，0，30，24，36)， 其 
目标 值 为 z= 二 (3。，0) 十 (1，0) 十 (2。0) 二 0。 注 意 到 ， 这 个 基本 解 对 每 个 i€ BRET =bn. Mahi 
形 算 法 的 每 次 迭代 会 重 写 等 式 集合 和 目标 函数 ， 以 便 将 一 个 不 同 的 变量 集合 放 在 右边 。 因 此 , 会 
将 一 个 不 同 的 基本 解 与 重 写 过 的 问题 联系 起 来 。 我 们 强调 重 写 绝 不 会 以 任何 方式 改变 基本 的 线 
性 规划 ; 每 次 迭代 中 的 问题 都 与 前 一 次 迭代 中 的 问题 有 相同 的 可 行 解 集合 。 然 而 ， 问 题 确 实 与 前 
一 次 迭代 问题 有 着 不 同 的 基本 解 。 

如 果 一 个 基本 解 也 是 可 行 的 ， 则 称 其 为 基本 可 行 解 。 在 单纯 形 算法 的 执行 中 ， 基 本 解 几乎 总 
是 基本 可 行 解 。 然 而 ， 我 们 将 在 29. 5 节 中 看 到 ， 在 单纯 形 算法 的 前 面 几 次 迭代 中 ， 基 本 人 解 可 能 
不 是 可 行 的 。 

在 每 次 迭代 中 ， 我 们 的 目标 是 重新 整理 线性 规划 ， 使 得 基本 解 有 一 个 更 大 的 目标 值 。 我 们 选 
择 一 个 在 目标 函数 中 系数 为 正 的 非 基 本 变量 xz.， 而 且 尽 可 能 增加 z. 的 值 而 不 违反 任何 约束 。 变 
Bax. 成 为 基本 变量 ， 并 且 某 个 其 他 变量 x, 变 成 非 基 本 变量 。 其 他 基本 变量 和 目标 函数 的 值 也 可 

继续 这 个 例子 ， 让 我 们 来 考虑 增加 zi 的 值 。 当 增加 zi A, au. x 和 zs 的 值 都 减 小 。 因 为 
对 每 个 变量 有 一 个 非 负 约束 ， 所 以 我 们 不 能 允许 它们 中 任何 一 个 变 成 负 值 。 如 果 x, 增加 到 30 以 
E, BA x, 变 成 负 值 ; 而 当 zi 分 别 增加 到 12 和 9 以 上 ，zs 和 zs 也 变 成 负 值 。 第 3 个 约束 ( 式 
(29. 61)) 是 最 紧 的 约束 ， 它 限制 了 我 们 可 以 将 的 值 增加 多 少 。 因 此 ， 我 们 互 换 c Ma, H 
程式 (29. 61) ， 于 是 得 到 


T2 T3 £6 


4 2 4 
为 了 重 写 右边 包含 rs 的 其 他 等 式 ， 我 们 用 等 式 (29. 62) 来 取代 zl。 在 等 式 (29. 59) 中 也 如 此 ， 我 
们 得 到 








XY 9 


(29. 62) 
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T: T: £ 
z= 30— zı — x — 3z, = 30— (9 ies =} ap = Ble, 








a a 二 +42 (29. 63) 


类 似 地 ， 我 们 可 以 把 等 式 (29. 62), HRR. 60) 以 及 目标 函数 (29. 58) 联 系 起 来 ， 重 写 我 们 的 
线性 规划 为 如 下 形式 : 








pe a7 + 4 3a — Ste (29. 64) 
9 2 a 

aait 2 A (29. 65) 
Ga 322 Dg s 

aS (29. 66) 

r= 6 te 4a, + 3 (29. 67) 


我 们 称 此 操作 为 一 个 转动 。 如 上 面 所 展示 的 ， 一 个 转动 选取 一 个 非 基 本 变量 x.( 称 为 替 入 变量 ) 
和 一 个 基本 变量 zx,( 称 为 替 出 变量 )， 然 后 替换 二 者 的 角色 。 

等 式 (29. 64) 一 (29. 67) 中 描述 的 线性 规划 等 价 于 等 式 (29. 58) ~ (29. 61) 中 描述 的 线性 规划 。 
我 们 在 单纯 形 算法 中 执行 了 两 个 操作 : 重 写 等 式 使 得 变量 在 等 式 的 左边 与 右边 之 间 移 动 ， 以 及 
替换 一 个 等 式 为 另 一 个 等 式 。 第 一 个 操作 显然 建立 了 一 个 等 价 的 问题 ， 而 第 二 个 操作 通过 简单 
的 线性 代数 也 建立 了 一 个 等 价 问题 。( 参 见习 题 29. 3-3.) 

为 了 说 明 等 价 性 ， 观 察 到 初始 的 基本 解 (0，0，0，30，24，36) 满 足 新 的 等 式 (29. 65) ~ 
(29.67)， 且 目标 值 为 27 十 (1/4)。0 十 (1/2)。0 一 (3/4)。36 王 0。 新 的 线性 规划 关联 的 基本 解 将 
非 基 本 变量 的 值 设 为 0， 于 是 得 到 (9，0，0，21，6，0)， 目 标 值 为 一 27。 简 单 的 算术 证 明 这 个 
解 也 满足 等 式 (29. 59) 一 (29. 61)， 且 当 插 入 目标 函数 (29. 58) 时 ， 目 标 值 为 (3。9) 十 (1。0) 十 
(2 «0)=27,, 

继续 该 例子 ， 我 们 希望 找到 一 个 可 增加 值 的 新 变量 。 我 们 不 想 增加 zx; ， 因 为 当 它 的 值 增加 时 ， 
目标 值 减 小 。 我 们 可 以 尝试 增加 zx; Maz; WEF xz3。 我 们 可 以 将 zx 的 值 增加 到 多 少 而 不 违反 任 
AR? ARACO. 65) 限 制 它 为 8， HRAC. 66) 限 制 它 为 42/5， 而 约束 式 (29. 67) 限 制 它 为 
3/2。 第 三 个 约束 又 是 最 紧 的 ， 因 此 重 写 第 三 个 约束 ,使 得 z 在 等 式 左边 r 在 右边 。 然 后 将 这 个 
新 等 式 zs 二 3/2 一 3z2/8 一 zs /4 十 xs/8 替换 进 等 式 (29. 64) ~(29. 66) 中 ， 得 到 新 的 但 等 价 的 系统 














opr ee ie aces 
SS a E 

a= 33 aya Sa (29. 69) 
3 3% Xs | 

六 一 也 2a = (29. 70) 

ee E a (29. 71) 








4 16 8 16 
这 个 系统 存在 关联 的 基本 解 (33/4，0，3/2，69/4，0，0)， 目 标 值 为 111/4。 现 在 增加 目标 值 的 
唯一 方法 是 增加 x;。 这 三 个 约束 分 别 给 出 了 上 界 132、4 和 ce (我 们 从 约束 (29.71) 中 得 到 上 界 
co。 因 为 当 增 加 x; 时 ， 基 本 变量 x 的 值 也 增加 。 因 此 ， 此 约束 对 zz 增加 多 少 没有 限制 )。 我 们 
将 zz 增加 到 4， 它 变 成 非 基 本 的 。 然 后 ， 为 zz 解 等 式 (29. 70)， 并 代入 其 他 等 式 得 到 








2= 29-2 — 4 a (29. 72) 
TE T3 Xs Te 
n=8+2+ 5 (29. 73) 
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Baty ns pe 29. 74 
= 4 3 3 + 3 (29. 74) 
z= 18 ae = (29. 75) 


此 时 ， 这 个 目标 函数 中 所 有 系数 都 是 负 的 。 正 如 我 们 将 在 本 章 后 面 看 到 的 ， 这 种 情况 只 在 已 重 写 
线性 规划 ， 使 得 基本 解 是 一 个 最 优 解 时 才 发 生 。 因 此 ， 对 于 这 个 问题 ， 解 (8，4，0，18，0，0) 的 
目标 值 28 是 最 优 的 。 现 在 回 到 式 (29. 53) 一 (29. 57) 中 给 出 的 原始 线性 规划 。 原 始 的 线性 规划 中 
仅 有 变量 xi、 T2 All x35 于 是 解 是 xy 8, t154, xr, =0, 目标 值 为 (3 8+ 。4) 十 (2。0) 王 
28。 注 意 ， 在 最 终 解 中 松弛 变量 的 值 度量 了 每 个 不 等 式 中 松弛 剩余 多 少 。 松 弛 变量 x, 等 于 18, 














868 














869 








且 在 不 等 式 (29. 54) 中 ， 左 边 值 为 8 十 4 十 0 二 12， 比 右边 的 值 30 小 了 18。 松 弛 变量 rs 和 zs 为 0， 
确实 在 不 等 式 (29. 55) 和 (29. 56) 中 左右 两 边 相 等 。 还 观察 到 即使 在 初始 松弛 型 中 系数 是 整数 ， 但 
其 他 线性 规划 的 系数 不 必 是 整数 ， 过 渡 解 也 不 一 定 是 整数 。 而 且 ， 线 性 规划 的 最 终 解 也 不 必 是 整 
数 ; 这 个 例 中 存在 一 个 整数 解 纯 属 巧合 。 

转动 

现在 形式 化 主 元 的 过 程 。 过 程 PIVOT 以 一 个 松弛 型 为 输入 ， 给 定 元 组 (N，B,，A, b, c v) 
替 出 变量 z 的 下 标 !2， 以 及 替 人 变量 zx, 的 下 标 e。 它 返回 描述 新 松弛 型 的 元 组 (N,，B，A，b, 56， 
D. CKE, mXn BEE A 和 人 的 元 素 实际 上 都 是 松弛 型 中 系数 的 负 值 。) 


PIVOT(N,B,A,6,c,v,l,e) 
1 // Compute the coefficients of the equation for new basic variable <.. 
2 let A be a new mXn matrix 
3 2 =b, /ar 
4 foreachj © N—{e} 
5 Qj =ay/Ae 
6 au=1/a, 

7 // Compute the coefficients of the remaining constraints. 

8 for each i€ B— {1} 

9 6,=b;—aib, 

10 for each jE N—{e} 

11 Âj =i — Ae 

12 Gu = — aida 

13 // Compute the objective function. 

14 g=vtc. b, 

15 for each jE N—{e} 

16 ĉj 一 大 一 所 ay 

17 全 = 一 入 

18 // Compute new sets of basic and nonbasic variables. 

19 =N- te} Ut) 

20 Ê=B-—{1}U {e} 


~AARKRA 


21 return(X,B,A,8,¢,9) 


PIVOT 执行 如 下 。 第 3 一 6 行 通过 重 写 x 在 左边 的 等 式 将 z. 置 于 等 式 左边 ,来 计算 x, 的 新 
等 式 中 的 系数 。 第 8 一 12 行 通过 将 每 个 zx, 替换 为 这 个 新 等 式 的 右边 来 更 新 剩 下 的 等 式 。 第 14 一 
17 行 对 目标 函数 进行 同样 替换 ， 第 19 一 20 行 更 新 非 基 本 变量 和 基本 变量 集合 。 第 21 行 返回 新 
的 松弛 型 。 如 给 出 的 一 样 ， 如 a 二 0，PIVOT 将 产生 除 0 的 错误 ， 但 如 我 们 将 在 引 理 29. 2 和 引 
理 29. 12 的 证 明 中 看 到 的 那样 ， 仅 当 ar 40 时 调用 PIVOT. 

现在 我 们 总 结 PIVOT 对 基本 解 中 变量 值 的 影响 。 
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引 理 29. 1 考虑 当 a,40 时 对 PIVOTCN，B，A，5，c，um，!，e) 的 调用 。 令 调用 返回 值 为 
(Ñ, Ê, A, b, ¢, D, SZTAPFAMZEHRAM, MA 

1. 对 每 个 jEN, Z=0. 

2. 元 ,=b,/ai o 

3. 对 每 个 i EB 一 {e}, Ti= bi lrbo 

证 明 ”第 一 个 命题 成 立 ， 因 为 基本 解 总 是 将 所 有 的 非 基 本 变量 设 为 0。 当 我 们 将 约束 


ek Sole. 
j€N 
HH KFS SESE ARE I OWN, SES (CB, A Tb. AA ech, h PIVOT 的 第 3 行 推出 
Te = b. = b,/a 


这 样 就 证 明了 第 二 个 命题 。 类 似 地 ， 对 每 个 iE 8 一 {e}， 利 用 第 9 行 得 出 


元 =b; = p d ô. 


这 样 证 明了 第 三 个 命题 。 图 
正式 的 单纯 形 算法 
现在 我 们 可 以 对 单纯 形 算法 进行 形式 化 了 ， 先 前 已 用 例子 说 明 。 这 个 例子 是 特别 好 的 一 个 ， 
我 们 还 有 其 他 几 个 问题 需要 考虑 : 


。 如 何 确定 一 个 线性 规划 是 不 是 可 行 的 ? 

。 如 果 此 线性 规划 是 可 行 的 ， 但 初始 基本 解 不 可 行 ， 那 么 怎么 办 ? 

。 如 何 确定 一 个 线性 规划 是 否 无 界 ? 

。 如 何 选 择 替 人 变量 和 替 出 变量 ? 

在 29. 5 节 中 ， 我 们 将 说 明 如 何 确定 一 个 问题 是 否 可 行 ， 如 果 可 行 ， 如 何 找 出 一 个 初始 基本 
解 是 可 行 的 松弛 型 。 因 此 ， 假 设 有 一 个 过 程 INITIALIZE-SIMPLEX(A，5，c) ， 输 入 为 一 个 标准 
型 的 线性 规划 ， 即 一 个 mXn HERAS la), 一 个 m EE bS O), 一 个 nn 维 向 量 c==(c;)。 
如 果 这 个 问题 是 不 可 行 的 ， 此 过 程 返 回 一 个 消息 说 明 此 线性 规划 不 可 行 ， 然 后 终止 。 否 则 ， 此 过 
程 返回 一 个 初始 基本 解 可 行 的 松弛 型 。 

如 前 所 述 ， 子 过 程 SIMPLEX 以 一 个 标准 型 的 线性 规划 作为 输入 。 它 返回 一 个 款 维 向 量 
元 一 (元 ) ， 为 式 (29. 19)~ (29. 21) 中 描述 的 线性 规划 的 一 个 最 优 解 。 


SIMPLEX(A,6,c) 
1 (N,B,A,6,c)=INITIALIZE-SIMPLEX(A,6,c) 
2 letA be a new vector of length m 
3 while some index jE N has c;> 0 
4 choose an index e€ N for which c,> 0 
5 for each index ¿€ B 
6 if a> 0 
7 A; =b; /a; 
8 elseA; = 20 
9 choose an index ¿€ B that minimizesA, 
10 ifA,==co 
11 return “unbounded” 
12 else(N,B,A,b,c,v)=PIVOT(N,B,A,b,c,v, l,e) 
13 fori=l ton 
14 if i€ B 
15 z=); 


16 else 元 ;一 0 
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17 return(Z, ,元 ，… 元,) 


子 过 程 SIMPLEX 执行 如 下 。 在 第 1 行 ， 它 调用 上 面 所 述 的 过 程 INITIALIZE-SIMPLEX(A， 
05，c) ， 要 么 确定 这 个 线性 规划 是 不 可 行 的 ， 要 人 么 返回 一 个 初始 基本 解 可 行 的 松弛 型 。 第 3 一 12 行 
中 的 while 循环 形成 了 算法 的 主体 部 分 。 如 果 目 标 函 数 中 所 有 系数 都 是 负 值 ， 那 么 while 循环 终 
止 。 否则 ， 第 4 行 选择 一 个 变量 zx,.， 作 为 替 人 人 变量， 其 系数 在 目标 函数 中 为 正 值 。 尽 管 我 们 可 以 
选择 任意 系数 为 正 的 变量 作为 替 和 变量， 但 仍 假设 使 用 某 个 事先 制定 的 确定 性 规则 。 接 下 来 ， 第 
5 一 9 行 检查 每 个 约束 ， 然 后 挑选 出 一 个 约束 ， 此 约束 能 够 最 严格 地 限制 z. 值 增加 的 幅度 ， 而 又 
不 违反 任何 非 负 约束 ; 和 这 个 约束 相关 联 的 基本 变量 是 x,。 再 一 次 ,我们 可 以 从 多 个 变量 中 自 
由 选择 一 个 作为 蔡 出 变量 ， 但 假设 使 用 某 个 预先 制定 的 确定 性 规则 。 如 果 没 有 约束 能 够 限制 蔡 
人 变量 所 增加 的 幅度 ， 算 法 在 第 11 行 返回 “无 界 ”。 否 则 ,第 12 行 通过 调用 上 面 所 述 的 PIVOT 
GN, Bs Ay bs E, us l, e)s 26 HE HH AS Bt BEA ES A E. 第 13~16 行 通过 把 所 有 的 非 基 
本 变量 设 为 0 及 把 每 个 基本 变量 元 设 为 6;， 来 计算 初始 线性 规划 变量 的 一 个 解 T, Ts ts Tps 
接着 第 17 行 返 回 这 些 值 。 

为 了 说 明 SIMPLEX 是 正确 的 ， 首 先 说 明 如 果 SIMPLEX 有 一 个 初始 可 行 解 并 且 最 终 会 停 
止 ， 则 它 要 么 返回 一 个 可 行 解 ， 要 么 确定 此 线性 规划 是 无 界 的 。 然 后 ， 我 们 说 明 SIMPLEX 会 停 
止 。 最 后 ， 我 们 在 29. 4 节 ( 定 理 29. 10) 中 说 明 返 回 解 是 最 优 的 。 

引 理 29.2 ”给 定 一 个 线性 规划 (A，6b，c)。 假 设 在 SIMPLEX 第 1 行 中 对 INITIALIZE- 
SIMPLEX 的 调用 返回 一 个 基本 解 可行 的 松弛 型 。 如 果 SIMPLEX 在 第 17 行 返回 一 个 解 ， 则 这 个 
解 是 此 线性 规划 的 一 个 可 行 解 。 如 果 SIMPLEX 在 第 11 行 返回 “无 界 ”， 则 此 线性 规划 是 无 界 的 。 

证 明 ”我 们 使 用 下 面 三 部 分 的 循环 不 变 式 : 

在 第 3 一 12 行 while 循环 部 分 的 每 次 迭代 开始 ， 

1. 此 松弛 型 等 价 于 调用 INITIALIZE-SIMPLEX 返回 的 松弛 型 。 

2. 对 每 个 i€EB， RITA b20. 

3. 此 松弛 型 相关 的 基本 解 是 可 行 的 。 

初始 化 : 对 第 一 次 迭代 ， 此 松弛 型 的 等 价 性 是 平凡 的 。 在 引 理 的 表述 中 ,假设 在 SIMPLEX 
的 第 1 行 调用 INITIALIZE-SIMPLEX 时 返回 一 个 基本 解 可 行 的 松弛 型 。 因 此 ， 不 变 式 的 第 三 部 
分 为 真 。 因 为 这 个 基本 解 可 行 ， 每 一 个 基本 变量 zx; 是非 负 的 。 此 外 ， 因 为 这 个 基本 人 解 把 每 一 个 
基本 变量 r 设 为 6;:， 对 所 有 的 iE B， RITA 6;: 宇 90。 因此 ， 不 变 式 的 第 二 部 分 成 立 。 

保持 : 我 们 将 说 明 while 循环 的 每 一 次 迭代 维持 了 循环 不 变 式 ， 假设 第 11 行 的 return 语句 没 
有 执行 。 在 讨论 终止 时 ， 将 处 理 第 11 行 执行 的 情形 。 通 过 调用 PIVOT 过 程 ， 此 while 循环 的 一 
次 迭代 把 基本 变量 与 非 基 本 变量 交换 。 根 据 练习 29. 3-3， 此 松弛 型 与 前 一 次 迭代 中 的 形式 等 价 ， 
根据 循环 不 变 式 ， 也 与 初始 松弛 型 等 价 。 

现在 来 论证 循环 不 变 式 的 第 二 个 部 分 。 假 设 在 while 循环 每 次 迭代 的 开始 ， 对 每 个 i€ B, 
& 之 0， 我 们 将 说 明 第 12 行 调用 PIVOT 之 后 ， 这 些 不 等 式 依然 成 立 。 因 为 变量 b 和 基本 变量 的 
集合 B 的 唯一 改变 发 生 在 此 赋值 中 ， 这 就 足以 说 明 第 12 行 维持 了 这 部 分 的 不 变 式 。 令 5;、a; 和 
B 表示 PIVOT 调用 之 前 的 值 ，2. 表示 从 PIVOT 返回 的 值 。 

首先 ， 观察 到 6b. 宇 90， 这 是 因为 根据 循环 不 变 式 有 6, 宇 0， 根 据 SIMPLEX 的 第 6 行 和 第 9 行 ， 
Aa, >0, 根据 PIVOT 的 第 3 行 ， 有 &. 王 六 /as o 

对 于 剩 下 的 下 标 iE B—(1}, RATA 

6,=6,—a;,6, (根据 PIVOT 的 第 9 行 ) 
=b;—a;. (b/a.) (根据 PIVOT 的 第 3 行 ) (29. 76) 
RNA ALES IR, a,.>0 R aK. MRa,.>0, WAL 1 使 得 对 所 有 的 ziE 了 3， 
b/d <b; /aie (29. 77) 
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我 们 有 
b= bi — aie (b,/ae) 《根据 式 (29.76)) 
> b; —aie(b;/aie) ARF K (29. 77)) 
= b,—b, =0 
AmS. WMR a.<0, WAH a. bi Alb, 都 是 非 负 的 ， 式 (29. 76) 意 味 着 2 也 必 为 非 负 的 。 
现在 我 们 表明 基本 解 是 可 行 的 ， 即 所 有 的 变量 具有 非 负 值 。 非 基本 变量 被 设 为 0， 从 而 是 非 
负 的 。 而 每 个 基本 变量 x, 由 如 下 等 式 定义 : 
x; = b; — > as jj 
且 基 本 解 为 ;二 6;。 利 用 循环 不 变 式 的 第 二 部 分 ， 我 们 得 到 每 个 基本 变量 元 也 都 是 非 负 的 。 873 
终止 : 此 while 循环 以 两 种 方式 之 一 结束 。 若 它 因 为 第 3 行 中 的 条 件 而 终止 ， 则 当前 的 基本 解 是 
可 行 的 ， 且 在 第 17 行 中 返回 此 解 。 另 外 一 个 终止 方式 是 在 第 11 行 返回 "无界 ”。 在 这 种 情况 下 ， 对 于 
第 5~8 行 中 for 循环 的 每 次 迭代 ， 当 第 6 行 执行 时 ， 我 们 发 现 ar<. KERE TENN 
co Hite 
=O i € N—({e} 
b — Dias z; 若 i EB 


现在 我 们 说 明 这 个 解 是 可 行 的 ， 即 所 有 的 变量 非 负 。 除 了 z. 外 的 非 基 本 变量 都 为 0， 以 及 元 二 
co>0; 因此 ， 所 有 的 非 基本 变量 是 非 负 的 。 对 于 每 个 基本 变量 云 ， 我 们 有 
T= b— Jas T; =b ie 


循环 不 变 式 意 味 着 O50, HHA a<, TZ. a 所 以 , 去 : 宇 0。 
现在 来 证 明 解 去 的 目标 值 是 无 界 的。 根据 等 式 (29. 42) ， 目 标 值 为 
z= v+ Dues Tj = UFC. 


因为 e >0ORRE 4 行 的 SIMPLEX) 及 元 =ce， 目 标 值 为 cc， 所 以 这 个 线性 规划 是 无 界 的 。 ff 

下 面 需 要 说 明 SIMPLEX 会 终止 ， 以 及 什么 情况 下 会 终止 ， 它 返回 的 解 是 最 优 的 。29.4 节 中 
将 会 强调 最 优 性 。 现 在 我 们 来 讨论 终止 。 

终止 性 

在 本 节 开 头 所 给 的 例子 中 ， 单 纯 形 算法 的 每 次 迭代 会 增加 和 基本 解 关 联 的 目标 值 。 如 练习 
29. 3-2 要 求证 明 的 那样 ，SIMPLEX 的 迭代 不 会 减 小 基本 解 关联 的 目标 值 。 可 惜 的 是 ， 可 能 会 存 
在 迭代 保持 目标 值 不 变 。 这 个 现象 称 为 退化 ， 现 在 我 们 开始 仔细 地 研究 它 。 874 

PIVOT 第 14 行 中 的 赋值 语句 ?一 z 十 c. 6, 改变 了 目标 值 。 因 为 当 c.>0 Hf, SIMPLEX 才 会 调 
用 PIVOT， 让 目标 值 保 持 不 变 ( 即 ?一切 的 唯一 方法 就 是 让 2. 为 0。 此 值 在 PIVOT 的 第 3 行 被 赋 
值 为 6 二 5,/a. 。 因 为 我 们 总 是 在 ai 关 0 时 调用 PIVOT， 因 此 可 以 看 到 b. 等 于 0， 于 是 要 让 目标 值 
保持 不 变 ， 就 必须 有 b,=0 

的 确 ， 这 种 情况 可 能 发 生 。 考 虑 线性 规划 


z = ma t æ P ae 
tn = 8 = Fy Bey 
Is = T ~ f3 
假设 选择 x, 作为 蔡 和 人 变量 ，z 作为 蔡 出 变量 。 在 转动 后 ， 我 们 得 到 
z = 8 a a ti 
a = 8 ~= & = 2 


Xs = io — i 
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此 时 ， 我 们 唯一 的 选择 是 以 z 作为 蔡 入 变量 、 六 作为 替 出 变量 来 进行 转动 。 因 为 6; 二 0， 所 以 
在 转动 后 目标 值 8 保持 不 变 : 


z = 8 + a => Bf = & 
t = 8 = öğ =~ By 
E] S X2 = Pe 


虽然 目标 值 没 有 变化 ， 但 是 我 们 的 松弛 型 变 了 。 幸 运 的 是 ， 如 果 再 次 旋转 ， 以 xz; 为 震 和 变量 ， 
a, 为 替 出 变量 ， 目 标 值 会 增加 (到 16)， 单 纯 形 算法 可 以 继续 运行 。 

退化 会 阻止 单纯 形 算法 终止 ， 因 为 它 可 以 引起 一 种 称 为 循环 (cycling) 的 现象 : SIMPLEX 的 
两 次 不 同 迭 代 中 的 松弛 型 完全 一 样 。 因 为 退化 ，SIMPLEX 会 选择 一 个 转动 操作 序列 ， 让 目标 值 
不 变 但 是 会 在 此 序列 中 重复 一 个 松弛 型 。 因 为 SIMPLEX 是 一 个 确定 性 算法 ， 如 果 它 循环 ， 那 么 
它 会 在 同一 系列 的 松弛 型 中 永远 循环 下 去 ， 不 会 终止 。 

循环 是 SIMPLEX 唯一 可 能 不 会 终止 的 原因 。 为 了 说 明 这 个 事实 ， 我 们 首先 必须 设计 一 些 额 
外 的 工具 。 

在 每 一 次 循环 中 ， 除 了 集合 N、B 以 外 ，SIMPLEX 还 维护 A、2%、c 和 vw。 尽管 需要 显 式 维 
PA, b, cMvu 以 高 效 实现 单纯 形 算法 ， 但 我 们 不 维护 它们 也 能 得 到 结果 。 换 句 话 说， 基本 变量 
和 非 基 本 变量 的 集合 足 可 以 唯一 确定 松弛 型 。 在 证 明 这 个 事实 以 前 ， 需 要 证 明 一 个 有 用 的 代数 
引 理 。 

引 理 29.3 设 了 是 一 个 下 标 集合 。 对 于 每 一 个 JET,， 设 ww FB RRA, Ar 是 一 个 实数 
变量 。 设 yy 是 任意 的 实数 。 假 设 对 于 变量 c 的 任何 设置 ， 我 们 有 

Dest; =y+ > piz; (29. 78) 
那么 对 于 任意 的 jE€I, a =B, Hy=0. 

证 明 ”因为 等 式 (29.78) 对 于 任意 的 z; 值 都 成 立 ， 我 们 可 以 采用 特殊 值 来 导出 关于 a、B 和 7 
的 结论 。 如 果 对 每 一 个 jE€I， 让 zj 二 0， 可 以 得 出 y= 二 0。 现 在 选择 任意 一 个 下 标 7EI， 并 对 所 有 
KWkAj, r= 和 x 二 0。 那 么 必然 有 a 二 B。 因 为 选择 的 ; 是 T 中 任意 的 一 个 下 标 ， 所 以 得 出 
对 每 一 个 jEI， 有 a 二 B。 z 

一 个 特定 的 线性 规划 有 很 多 不 同 的 松弛 形式 ; 回顾 每 一 个 松弛 型 和 原始 的 线性 规划 有 同样 
可 行 解 和 最 优 解 的 集合 。 我 们 现在 来 说 明 一 个 线性 规划 的 松弛 型 能 够 被 基本 变量 的 集合 唯一 确 
定 。 也 就 是 说 ， 给 定 基本 变量 的 集合 ， 一 个 唯一 的 松弛 型 (唯一 的 系数 集合 和 右 部 ) 与 这 些 基本 变 
量 相 关联 。 

引 理 29.4 设 (A,，6b，c) 是 一 个 线性 规划 的 标准 形式 。 给 定 基本 变量 的 一 个 集合 B， 那 么 关 
联 的 松弛 型 是 唯一 确定 的 。 

证 明 采用 反 证 法 ,假设 有 两 种 不 同 的 松弛 型 具有 相同 基本 变量 集合 B。 这 些 松 弛 型 必须 也 
具有 等 同 的 非 基 本 变量 集合 N= 二 {1，2，…，n 十 m) 一 B。 我 们 将 第 一 个 松弛 型 写成 


z= v+ Sez; (29. 79) 
jEN 

a= b — djayz;,i EB (29. 80) 
JEN 

将 第 二 个 写成 

z 一 也 十 >)cjzi (29. 81) 
JEN 

xi=b!— Dalzri€EB (29. 82) 
jEN 


考虑 式 (29. 82) 减 去 式 (29. 80) 所 形成 的 等 式 系统 。 得 到 的 等 式 系统 为 
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0 一 (6, — bi) — >) (a; — aaj i E B 
JEN 


或 者 ， 等 价 地 ， 
Jas My = b + Quai jz; EB 


现在 ， 对 于 每 一 个 i€B， 应 用 引 理 29. 其 中 一， B=a;', y=b,—6;, URI=N. AW 
@j 二 B， 所 以 对 每 一 个 jE N， 我 们 有 a; =a,;', RAW v=0, 我 们 有 6: 二 6 。 因 此 ， 对 于 这 两 个 
松弛 型 ，A 和 5。 分别 与 A' 和 46' 相 等 。 采用 一 个 类 似 的 论证 方法 ， 练 习 29. 3-1 说 明 必然 有 c=c' 和 
v 二 v ， 因 此 ， 这 些 松弛 型 必然 等 同 。 图 
我 们 现在 可 以 说 明 循 环 是 SIMPLEX 可 能 不 会 终止 的 唯一 原因 。 


引 理 29.5 如 果 SIMPLEX 在 至 多 (” ”) RRR RHE, MAE AMEE 
证 明 根据 引 理 29.4， 基 本 变量 集合 B 唯一 确定 了 一 个 松弛 型 。 总 共有 ntm 个 变量 ， 
且 1B|=m， 所 以 至 多 有 ( ”i”) 种 选择 B 的 方式 . 因此 ， 至 多 有 (””) 种 松弛 形式 。 所以， 如 


果 SIMPLEX 运行 超过 ( ””) 次 渤 代 ， 它 必然 循环 。 a 


循环 在 理论 上 是 可 能 的 ， 但 非常 罕见 。 我 们 可 以 通过 小 心地 选择 替 人 变量 和 替 出 变量 来 避 
免 其 发 生 。 一 种 方法 是 对 输入 稍微 进行 扰动 ， 使 得 不 可 能 有 两 个 解 具 有 相等 的 目标 值 。 另 一 种 方 
法 是 通过 总 是 选择 下 标 最 小 的 变量 来 打破 相等 的 目标 值 ， 这 种 策略 被 称 为 Bland 规则 。 这 里 略 去 
采用 这 些 策略 可 以 避免 循环 的 证 明 。 

引 理 29.6 如 果 SIMPLEX 的 第 4 行 和 第 9 行 总 是 通过 选择 具有 最 小 下 标的 变量 来 打破 目标 
值 不 变 的 局 面 ， 那 么 SIMPLEX 必然 终止 。 E 

我 们 以 下 面 的 引 理 来 总 结 这 一 节 

引 理 29.7 假设 INITIALIZE-SIMPLEX 返回 一 个 基本 解 可 行 的 松弛 型 ， 则 SIMPLEX BA 


报告 一 个 线性 规划 是 无 界 的 ， 要 么 在 至 多 ( T ”) 次 循环 内 终止 ， 并 得 到 一 个 可 行 解 。 


WEAR 引 理 29.2 和 引 理 29. 6 说 明 如 果 INITIALIZE-SIMPLEX 返回 同一 个 基本 解 可 行 的 松 
弛 型 ， 那 么 SIMPLEX 要 么 报告 一 个 线性 规划 是 无 界 的 ， 要 么 以 一 个 可 行 解 结束 。 根 据 引 理 29. 5 


的 逆 否 命题 ， 如 果 SIMPLEX 以 一 个 可 行 解 结束 ， 那么 它 在 至 多 ( ””) 次 循环 内 终止 。 四 


练习 
29.3-1 请 完成 引 理 29. 4 的 证 明 , 说 明 必 有 =c 和 w= 二 vw 
29.3-2 请 说 明 在 SIMPLEX 的 第 12 行 对 PIVOT 的 调用 永远 不 会 减 小 v 的 值 。 
29.3-3 证 明 : 对 PIVOT 过 程 给 定 的 松弛 型 和 该 过 程 返 回 的 松弛 型 是 等 价 的 。 
29.3-4 假设 把 一 个 标准 型 的 线性 规划 (A，2，c) 转 换 成 松弛 型 。 证 明 : SEAR HY AW 
XJ i=l, 2, +, m, A 6; 宇 0。 
29.3-5 采用 SIMPLEX 求解 下 面 的 线性 规划 : 
最 大 化 18zi 十 12. 5z 
满足 约束 
a F zy 
12 
16 


T2 


8 
VA KM 


Tis T2 
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29.3-6 采用 SIMPLEX 求解 下 面 的 线性 规划 : 


最 大 化 S51 — ds 

满足 约束 
ty ~ w = l 
2 而 ”二 和 2 
Zev By = 0 


29.3-7 采用 SIMPLEX 求 解 下 面 的 线性 规划 : 
最 小 化 a, tr tr 





满足 约束 
Qe, + 7.5% == Se, = 10000 
20a; + Se, TtT 10a, = 30.000 
Zis X29 Xs = 0 


min) ae EIR MEA EIA B 


29.3-8 在 引 理 29. 5 的 证 明 中 ， 我 们 声明 至 多 存在 ( 


给 出 一 个 线性 规划 的 例子 ， 其 中 有 严格 少 于 (” ”) 种 方法 来 选取 此 集合 B。 


29.4 对 偶 性 

我 们 已 经 证 明 在 某 些 假设 下 SIMPLEX 会 终止 。 然 而 ， 我 们 还 没有 说 明 它 实际 上 能 找到 线性 
规划 的 一 个 最 优 解 。 为 此 ， 我 们 引入 一 个 有 力 的 概念 ， 称 为 线性 规划 对 偶 性 。 

对 偶 性 使 我 们 能 够 证 明 一 个 解 的 确 是 最 优 的 。 我 们 在 第 26 章 定理 26. 6 中 看 到 了 一 个 对 偶 性 
的 例子 一 一 最 大 流 最 小 割 定理 。 假 设 给 定 最 大 流 问 题 的 一 个 实例 ， 我 们 发 现 一 个 流 f 具有 流 值 
|f| 。 如 何 能 够 确定 f 是 一 个 最 大 流 ? 根据 最 大 流 最 小 割 定 理 ， 如 果 能 够 找到 一 个 割 的 值 也 为 
| f| ， 那 么 我 们 确定 f 的 确 是 一 个 最 大 流 。 这 样 的 关系 提供 了 一 个 对 偶 性 的 例子 给 定 一 个 最 大 
化 问题 ， 我 们 定义 一 个 相关 的 最 小 化 问题 ， 使 得 这 两 个 问题 具有 同样 的 最 优 目标 值 。 

给 定 一 个 最 大 化 目标 的 线性 规划 ， 我 们 应 该 描述 如 何 形式 化 一 个 对 偶 线 性 规划 ， 其 中 目标 
是 最 小 化 ， 而 且 最 优 值 与 初始 线性 规划 的 最 优 值 相同 。 当 表示 对 偶 线性 规划 时 ， 我 们 称 初始 的 线 
性 规划 为 原始 (primal) 线 性 规划 。 

给 定 一 个 标准 型 的 原始 线性 规划 ， 如 式 (29. 16) 一 式 (29. 18) 所 示 ， 我 们 定义 其 对 偶 线性 规 
划 为 


最 小 化 2 by (29. 83) 
满足 约束 

Yao 了 = 1,250 ,nN (29. 84) 

yO, =l pym (29. 85) 


为 了 构造 对 偶 问 题 ， 我 们 将 最 大 化 改 为 最 小 化 ， 交 换 右 边 系 数 与 目标 函数 ， 并 且 将 小 于 等 于 
号 改 成 大 于 等 于 号 。 原 始 问 题 的 mx 个 约束 ， 每 一 个 在 对 偶 问 题 中 都 有 一 个 对 应 的 变量 yo IA 
问题 的 ”个 约束 ， 每 一 个 在 原始 问题 中 都 有 一 个 对 应 的 变量 zx;。 例 如 ， 
考虑 式 (29. 53) 一 (29. 57) 给 出 的 线性 规划 。 这 个 线性 规划 的 对 偶 是 
最 小 化 30y1 十 24ys 十 36ys (29. 86) 
满足 约束 
加 t 2 F dy ae 3 (29. 87) 
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Se T 2 T o p >l (29. 88) 
Sy) T by T Boy = 2 (29. 89) 
Yis Yz» X3 = 0 (29. 90) 


我 们 将 在 定理 29.10 中 说 明 此 对 偶 线性 规划 的 最 优 值 总 是 等 于 原始 线性 规划 的 最 优 值 。 此 
外 ， 单 纯 形 算法 实际 上 隐 含 地 同时 解决 了 原始 线性 规划 和 对 偶 线 性 规划 ， 从 而 提供 了 最 优 性 的 
一 个 证 明 。 

我 们 从 说 明 弱 对 偶 性 开始 ， 它 表明 原始 线性 规划 的 任意 可 行 解 的 值 不 大 于 此 对 偶 线 性 规划 
的 任意 可 行 解 的 对 应 值 。 

引 理 29. 8( 线 性 规划 弱 对 偶 性 ) 设 云 表示 式 (29.16) 一 (29.18) 中 原始 线性 规划 的 任意 一 个 
可 行 解 ， 了 表示 式 (29. 83)~(29. 85) 中 对 偶 问 题 的 任意 一 个 可 行 解 。 那 么 有 


D T >y 
证 明 RITS 
6 2;)<>)( Dayz.) z; (根据 不 等 式 (29. 84)) 
= (Yas 元 )7 
二 Dos. (根据 不 等 式 (29. 17)) 
推论 29.9 SERED RIERA 性 规划 (A，2D，c) 的 一 个 可 行 解 ， 令 了 表示 相应 对 偶 问 题 的 
一 个 可 行 解 。 如 果 


216 ay 2,07: 
那么 元 和 了 分 别 是 原始 线性 规划 和 对 偶 线 性 规划 的 最 优 解 。 

证 明 根据 引 理 29.8， 原 始 问题 的 一 个 可 行 解 的 目标 值 不 会 超过 此 对 偶 问 题 可 行 解 的 目标 
值 。 原 始 线性 规划 是 一 个 最 大 化 问题 ， 而 对 偶 线 性 规划 是 一 个 最 小 化 问题 。 因 此 ， 如 果 可 行 解 去 
入 有 相同 的 目标 值 ， 两 者 均 不 可 能 改进 。 a 

在 证 明 总 存在 一 个 对 偶 解 ， 其 值 等 于 原始 问题 最 优 解 的 值 之 前 ， 我 们 先 来 描述 如 何 找 出 这 
样 的 一 个 解 。 当 我 们 对 式 (29. 53) ~ (29. 57) 中 的 线性 规划 运行 单纯 形 算法 时 ， 最 后 一 次 迭代 产生 
松弛 形式 (29. 72) 一 (29.75) ， 目 标 值 为 <= 28—2,/6—2;/6—22;/3, B={1, 2, 4}@ N=(3, 
5，6}。 如 下 面 我 们 将 看 到 的 ， 最 终 松 弛 型 对 应 的 基本 解 的 确 是 线性 规划 的 一 个 最 优 解 ; 因此 ， 
线性 规划 式 (29. 53) 一 (29. 57) 的 一 个 最 优 解 是 (去 MH, BI—=(8, 4, 0), HERA > 8)+ 
(1。4) 十 (2，0) 二 28。 也 如 下 面 所 看 到 的 ， 我 们 可 以 顺利 得 到 一 个 最 优 对 偶 解 : 原始 目标 函数 的 
系数 取 负 是 对 偶 变 量 的 值 。 更 准确 地 说 ， 假 设 原 始 问题 的 最 后 松弛 型 为 

=v ‘+ Qe Tj a= bi — Dalz; JEB 


于 是 ， 为 了 得 到 一 个 对 偶 最 优 解 ， 我 们 设 
z= Riy oR 人 (29.91) 
因此 ， 式 (29. 86) ~ (29. 90) P 3E SC AY XT ER HE Se AAR EE, = OCA nH = 
4EB), =—c;=1/6, UR 3z =— c; =2/3. ROS A BM (29. 86) 的 值 ， 我 们 得 到 一 个 目标 
值 为 (30。0) 十 (24。(1. 6)) 十 (36。(2/3)) 王 28， 这 证 实 了 原始 问题 的 目标 值 的 确 等 于 对 偶 问题 
的 目标 值 。 综 合 这 些 计算 和 引 理 29. 8， 推 出 原始 线性 规划 的 最 优 目标 值 是 28。 现 在 来 说 明 这 一 
方法 在 一 般 情况 下 适用 : 我 们 可 以 找到 对 偶 问 题 的 一 个 最 优 解 ， 同 时 证 明 原 始 问题 的 一 个 解 是 
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最 优 的 。 

定理 29. 10( 线 性 规划 对 偶 性 ) 假设 SIMPLEX 在 原始 线性 规划 (A，6，c) 上 返回 值 元 二 (zi， 
T, =, 元 ,)。 令 和 和 B 分 别 表示 最 终 松弛 型 非 基本 变量 和 基本 变量 的 集合 ， 邻 c' 表 示 最 终 松 弛 
型 中 的 系数 ， 令 了 一 (页 ， 现 ，…， 巩 ) 由 式 (29.91) 定 义 。 那 么 元 是 原始 线性 规划 的 一 个 最 优 解 ， 
本 是 对 偶 线 性 规划 的 一 个 最 优 解 ， 以 及 


De Ti = ai (29. 92) 
证 明 根据 推论 29.9， 如 果 可 以 找到 满足 式 (29. 92) MATH, MAM y 必然 是 最 优 的 原 
始 解 和 对 偶 解 。 我 们 现在 要 说 明定 理 叙述 中 描述 的 去 和 了 满足 式 (29. 92) 。 
假设 我 们 在 一 个 原始 线性 规划 上 执行 SIMPLEX， 如 式 (29.16) 一 (29. 18) 中 所 述 。 这 个 算法 
经 历 一 系列 的 松弛 型 ， 直 到 它 以 一 个 最 终 松弛 型 结束 ， 此 时 目标 函数 为 


z=v + > ejz; (29. 93) 
因为 SIMPLEX 结束 时 有 一 个 解 ， 根 据 第 3 行 的 条 件 ， 我 们 知道 对 于 所 有 的 jE N， 
gxi (29. 94) 
如 果 定 义 对 于 所 有 的 FCB, 
= (29. 95) 
那么 可 以 重 写 式 (29. 93) 为 
z=u+ cj 


=v + ciz; + >)cfzi (AAwRIE Byc; = 0) 


JEN JEB 
ntm 
=v + > ox, (AA NU B= {1,2,++,n+m}) (29. 96) 


XE FAS BUTEA Z, 对 于 所 有 的 jEN， 有 去 二 0， 以 及 x 一 v。 因 为 所 有 的 松弛 
型 都 是 等 价 的 ， 如 果 在 不 处 对 初始 目标 函数 求 值 ， 也 必 会 得 到 同样 的 目标 值 : 





n n+m 
二 二 vu! + Se Ti (29. 97) 
j=] y1 
= u! = Se! Zi SE DY 元/ 
JEN jEB 
=v4+ >) e 0A Oez) (29. 98) 
JEN JEB 


现在 我 们 要 说 明 式 (29. 91) 所 定义 的 了 对 这 个 对 偶 线 性 规划 是 可 行 的 ， 且 其 目标 值 为 > by 
等 于 > cz 。 式 (29. 97) 说 明 第 一 个 和 最 后 一 个 松弛 型 用 工 求 值 是 相等 的 。 更 _- 般 地 ， 所 有 松弛 
型 的 等 价 意味 着 对 任意 变量 集合 < 二 (zi ，zm，…，x)， 我 们 有 
Tan = Fa 
因此 ， 对 任意 特定 值 集合 二 = G, m, = 元 )， 我 们 有 
Dan,= J+ Se 元 一 3 z+ Sod T; 


n m 
Ey js + 5 
=v + c z; + Cnti Tn 
j=l i=1 
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=e te Yel 五 十 > (— Wi) Tat (根据 等 式 (29. 91) 和 (29. 95)) 
=v+ Dd z+ $ (a Say 7) (根据 等 式 (29. 32)) 
=v + Diz Dost YD ems, 


i=] j=1 


vt Delay ds. +) Yaw z, 


因此 ， 
Xoz = (v-e) +) (ch + Pan) a (29. 99) 
应 用 引 理 29. 3 到 等 式 (29， 99) 上 ， 我 们 得 到 
v — Soy: =0 (29. 100) 
ch + Says =E j= dy prs 7) (29. 101) 


根据 等 式 (29. 100)， 我 们 有 Jb: = o' ， 因 此 对 偶 问题 的 目标 值 ( >)65,) 等 于 原始 问题 的 目 


标 值 (” ) 。 我 们 还 需要 说 明 解 了 对 于 对 偶 问题 是 可 行 的 。 根 据 不 等 式 (29. 94) 和 等 式 (29.95)， 对 [884 
于 所 有 7 一 1， 2， SAA ntm, 有 cj 委 0。 因此 ， 对 任意 的 j=l, 25 soy Ny 等 式 (29. 101) 可 推出 


c= c + Par < ayy, 
这 满足 对 偶 性 的 约束 式 (29. 84). RE AAMBESICNUBA cKO, SRT (29. 91) 
来 设置 了 时 ， 我们 得 到 每 个 5: 宇 9， 因 此 约束 的 非 负 性 也 满足 。 图 
我 们 至 今 已 说 明 给 定 一 个 可 行 的 线性 规划 ， 若 INITIALIZE-SIMPLE 返回 一 个 可 行 解 ， 且 如 
Ae SIMPLEX 终止 时 没有 返回 “无 界 ”， 那 么 返回 的 解 的确 是 一 个 最 优 解 。 我 们 也 已 说 明 如 何 构 造 
对 偶 线 性 规划 的 一 个 最 优 解 。 


练习 


29. 4-1 给 出 练习 29. 3-5 中 线性 规划 的 对 偶 问题 。 

29.4-2 ”假设 我 们 有 一 个 线性 规划 不 是 标准 型 。 我 们 需要 先 将 其 转换 成 标准 型 ， 然 后 才能 转换 为 
对 偶 。 然 而 ， 如 果 能 直接 产生 对 偶 ， 将 更 为 方便 。 说 明 我 们 如 何 能 够 直接 构造 一 个 任意 
线性 规划 的 对 偶 。 

29. 4-3 对 式 (29. 47) 一 (29. 50) 给 出 的 最 大 流 线 性 规划 ， 构 造 其 对 偶 。 说 明 如 何 将 此 形式 解释 为 
一 个 最 小 割 问题 。 

29. 4-4 对 式 (29. 51) 一 (29. 52) 给 出 的 最 小 费用 流 线 性 规划 ， 构 造 其 对 偶 。 说 明 如 何 用 图 和 流 来 
解释 这 个 问题 。 

29. 4-5 证明: 一 个 线性 规划 对 偶 的 对 偶 是 原始 线性 规划 。 885 

29.4-6 第 26 章 哪 一 个 结果 可 以 被 解释 成 最 大 流 问题 的 弱 对 偶 ? 
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29.5 初始 基本 可 行 解 

在 本 节 ， 我 们 首先 描述 如 何 测试 一 个 线性 规划 是 否 可 行 ， 如 果 可 行 ， 对 基本 解 可 行 的 那些 线性 规 
划 如 何 产生 其 松弛 型 。 我 们 最 后 证 明 线性 规划 基本 定理 ， 即 SIMPLEX 过 程 永远 产生 正确 的 结果 。 

找到 一 个 初始 解 

在 29. 3 节 中 ,假设 有 一 个 过 程 INITIALIZE-SIMPLEX， 它 确定 一 个 线性 规划 是 否 有 任何 的 
可 行 解 ， 如 果 有 ， 则 给 出 一 个 基本 解 可 行 的 松弛 型 。 我 们 在 这 里 描述 这 个 过 程 。 

一 个 线性 规划 是 可 行 的 ， 而 其 初始 基本 解 是 不 可 行 的 ， 这 种 情况 是 可 能 出 现 的 。 例 如 考虑 下 


面 的 线性 规划 : 
最 大 化 Dti hy (29. 102) 
满足 约束 
2 (29. 103) 
w = ip = 一 和 (29. 104) 
Zis Xp = 0 (29. 105) 


如 果 要 把 这 个 线性 规划 转换 成 松弛 型 ， 基 本 解 将 设 x 二 0，zz 二 0。 这 个 解 违 反 了 约束 
(29. 104)， 因 此 ， 它 不 是 一 个 可 行 解 。 因 而 ，INITIALIZE-SIMPLEX 无 法 仅 返 回 明 显 的 松弛 型 。 为 
了 确定 一 个 线性 规划 是 否 有 可 行 解 ， 我 们 可 以 构成 一 个 辅助 线性 规划 。 对 这 个 辅助 线性 规划 ， 我 
们 ( 稍 加 努力 ) 就 可 以 找到 一 个 基本 解 可 行 的 松弛 型 。 进 一 步 地 ， 这 个 辅助 线性 规划 的 解 可 以 确定 
初始 线性 规划 是 否 是 可 行 的 ; 如 果 是 ， 它 将 提供 一 个 可 行 解 ， 使 得 我 们 能 够 初始 化 SIMPLEX。 

引 理 29.11 设 世 是 一 个 标准 型 的 线性 规划 ， 在 式 (29.16) 一 (29.18) 中 给 出 。 设 tr 是 一 个 
MEE, Lut TARA ntl 个 变量 的 线性 规划 : 


最 大 化 — ty (29. 106) 
满足 约 来 
Djazz ro L by i=1,2,,m (29. 107) 
j=l 
Tj = 0, j =0,l, sn (29. 108) 


那么 荆 是 可 行 的 当 且 仅 当 工 wx 最 优 目标 值 为 0。 

证 明 假设 有 一 个 可 行 解 世 二 (Zz! ，zz，*…，z,)。 那 么 这 个 解 却 二 0 与 均一 起 是 La 的 一 
个 可 行 解 ， 目 标 值 为 0。 因 为 220 是 L。 的 一 个 约束 ， 且 目标 函数 是 最 大 化 一 x。， 所 以 这 个 解 
对 于 工 ,一 定 是 最 优 的 。 

相反 ， 假 设 Lu 的 最 优 目标 值 为 0。 那么 五 二 0， 且 剩余 解 乏 的 值 满足 工 的 约束 。 = 

现在 我 们 来 描述 找 出 标准 型 线性 规划 工 的 一 个 初始 可 行 解 的 策略 : 

INITIALIZE-SIMPLEX(A, b, c) 


1 let & be the index of the minimum &; 


2 ifo // is the initial basic solution feasible? 
3 return ({1,2, =, nm}, {a + 1, E2, 52 + m}, A, b,c, 0) 
4 form L,,, by adding — zo to the left-hand side of each constraint 


and setting the objective function to — x» 
let (N, B, A, b, c, v) be the resulting slack form for Laux 
/一 元 十 及 
// Lax has n + 1 nonbasic variables and m basic variables. 
(N, B; A, b, c, v) = PIVOTUN, B, A; bs es v, L, 0) 


// The basic solution is now feasible for Laux- 


Soon oo wo 


10 iterate the while loop of lines 3—12 of SIMPLEX until an optimal solution 
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to Laux is found 


11 if the optimal solution to Lax sets Zo to 0 


12 if Z is basic 
13 perform one (degenerate) pivot to make it nonbasic 
14 from the final slack form of Lax» remove zo from the constraints and 


restore the original objective function of L, but replace each basic 
variable in this objective function by the right-hand side of its 
associated constraint 

15 return the modified final slack form 


16 else return “infeasible” 887 


INITIALIZE-SIMPLEX 的 运行 如 下 。 第 1 一 3 4, HAR N=({1, 2, +, n}, B={n+1, 
n+2, =, ntm}, SFA iC BAZ=), URMFMAICNAZ=ONAREP., RINKS 
地 测试 工 的 初始 松弛 型 的 基本 解 。( 因 为 A、2 和 < 的 值 在 松弛 型 与 标准 型 中 相同 ， 建 立 松弛 型 不 
需 费 什么 力气 .如果 第 2 行 中 发 现 这 个 基本 解 是 可 行 的 ， 即 对 所 有 的 ENUB 有 元 人 0， 则 第 3 
行 返回 这 个 松弛 型 。 否 则 ， 在 第 4 行 中 ， 我 们 如 在 引 理 29. 11 一 样 构造 辅助 线性 规划 Le. AW 
L 的 初始 基本 解 是 不 可 行 的 ， 所 以 L, 的 松弛 型 的 初始 基本 解 也 一 定 不 可 行 。 为 了 找到 一 个 基本 
可 行 解 ， 我 们 执行 一 个 主 元 (pivot) 操 作 。 第 6 行 选择 /二 n 十 & 作 为 基本 变量 的 下 标 ， 该 基本 变量 
将 是 下 面 一 个 主 元 操作 的 蔡 出 变量 。 因 为 基本 变量 是 Tmo Lro o Inm FUTE x, 将 是 负 
值 最 大 的 变量 。 第 8 行 执行 对 PIVOT 的 调用 ， 以 zo WEAR, a 为 替 出 变量 。 我 们 稍 后 会 看 
到 ， 由 此 PIVOT 的 调用 产生 的 基本 人 解 是 可 行 的 。 现 在 有 一 个 基本 人 解 可 行 的 松弛 型 ， 我 们 可 以 在 
第 10 行 重复 调用 PIVOT 来 完全 求解 出 辅助 线性 规划 。 正 如 第 11 行 中 的 测试 所 展示 的 ， 如 果 我 
们 找到 了 一 个 目标 值 为 0 的 Ls 的 最 优 解 ， 那 么 在 第 12 一 14 行 ， 我 们 可 以 生成 一 个 工 的 松弛 型 ， 
其 基本 解 是 可 行 的 。 为 了 做 到 这 一 点 ， 我 们 首先 在 第 12 一 13 行 处 理 退化 情形 ， 其 中 xz 可 能 仍然 
是 基本 变量 ， 其 值 为 二 ,一 0。 在 这 种 情形 下 ， 我 们 执行 一 个 转动 步骤 把 zs 从 基本 解 中 移 除 ， 采 
用 任何 满足 ao £0 的 eE N 作为 替 入 变量 。 新 的 基本 解 仍然 可 行 ; 退化 转动 没有 改变 任何 变量 的 
值 。 下 面 我 们 从 约束 中 删除 所 有 z 项 ， 并 且 恢 复工 的 原始 目标 函数 。 原 始 目标 函数 可 能 包含 了 
基本 变量 和 非 基 本 变量 。 因 此 ， 在 这 个 目标 函数 中 ， 我 们 将 每 个 基本 变量 用 其 关联 的 约束 的 右 部 
来 替换 。 于 是 第 15 行 返 回 此 修改 后 的 松弛 型 。 另 外 ， 如 果 在 第 11 行 中 发 现 初 始 线性 规划 工 是 不 
可 行 的 ， 那 么 在 第 16 行 中 返回 这 一 信息 。 

现在 我 们 来 说 明 INITIALIZE-SIMPLEX 在 线性 规划 式 (29. 102) ~ (29. 105) 上 的 操作 。 如 果 
我 们 可 以 找到 二 和 之 的 非 负 值 满足 不 等 式 (29. 103) 和 (29. 104) ， 则 此 线性 规划 是 可 行 的 。 利 用 
引 理 29.11, 构造 辅助 线性 规划 为 : 


最 大 化 = (29. 109) 
满足 约束 
2 (29. 110) 
n = bo = m = St (29. 111) 
Ris Bes Ty a 0 


根据 引 理 29. 11， 如 果 这 个 辅助 线性 规划 的 最 优 目标 值 是 0， 那 么 初始 线性 规划 有 一 个 可 行 解 。 
如 果 这 个 辅助 线性 规划 的 最 优 目标 值 是 负 的 ， 那 么 初始 线性 规划 没有 一 个 可 行 解 。 
我 们 把 这 个 线性 规划 写成 松弛 型 ， 得 到 ， 
2 = Pan A am SE, 
tw = ho a or ba Se ke 


T3 
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我 们 还 没有 走出 森林 ， 因 为 设 定 z= —4 的 基本 解 对 这 个 辅助 线性 规划 是 不 可 行 的 。 然 而 ， 可 以 
通过 调用 PIVOT 将 此 松弛 型 转换 成 基本 解 可 行 的 松弛 型 。 如 第 8 行 所 表明 的 ， 选 择 zo EWEFA 
变量 。 在 第 6 行 ， 选 择 zx, 作为 替 出 变量 ， 而 它 是 基本 解 中 负 值 最 大 的 基本 变量 。 转 动 后， 我 们 
得 到 松弛 型 





Z m 4 Ai | 5 Ta — 4 
Zo = A gs ~ boo F a 
m = E = m ~ io T Z 


对 应 的 基本 可 行 解 是 ( 运 ， 五 ， 五 ， 五 ， 五 ) 王 (4，0，0，6，0)。 现 在 重复 调用 PIVOT， 直 到 得 到 Lax 
的 一 个 最 优 解 。 在 这 种 情况 下 ， 一 个 以 之 AA, x 为 蔡 出 变量 的 PIVOT 调用 推出 


zZ = Er Xo 
ean Zo TX u 
2 ua eer 5 
o JA 4To 924 Xa 
a Ss 5 5 








这 个 松弛 型 是 此 辅助 线性 规划 的 最 终 解 。 因 为 这 个 解 中 zo 二 0， 我 们 知道 初始 问题 是 可 行 的 。 而 
且 ， 因 为 zo 一 0， 我们 可 以 将 其 从 约束 集合 中 移 除 。 然 后 ， 通 过 适当 地 替换 恢复 初始 目标 函数 ， 
使 其 只 包含 非 基本 变量 。 在 这 个 例子 中 ， 我 们 得 到 目标 函数 为 


4 Xo Ri p ti 
5 ag aaa ot 





22; — a = 22 ( 


设 zw 二 0， 然 后 简化 ， 我 们 得 到 目标 函数 





iaa 
以 及 松弛 型 
---$+%-4 
n= 和 十 于 十 至 
“~ #4- asa 


这 个 松弛 型 有 一 个 可 行 的 基本 解 ， 我 们 可 以 将 它 返 回 给 过 程 SIMPLEX, 

现在 我 们 形式 化 地 说 明 INITIALIZE-SIMPLEX 的 正确 性 。 

引 理 29.12 如果 一 个 线性 规划 工 没 有 可 行 解 ， 那 么 INITIALIZE-SIMPLEX 返回 “不 可 行 ”; 
否则 ， 它 返回 一 个 基本 解 可 行 的 有 效 松 弛 型 。 

证 明 首先 假设 线性 规划 工 没 有 可 行 解 。 那 么 根据 引 理 29. 11， 在 式 (29. 106) 一 (29. 108) 中 
定义 的 Lin Wi AREAS, FF BARGE xz。 上 的 非 负 约束 ， 最 优 目 标 值 必然 是 非 负 的 。 另 外 ， 


这 个 目标 值 必 定 是 有 限 的 ， 因为 对 ;一 1， 2 设置 x,=0, x= | min{6,} | 是 可 行 的 ， 且 这 


个 解 的 目标 值 为 一 | min(b,} | 。 因 此 ，INITIALIZE-SIMPLEX 的 第 10 行将 找到 一 个 非 正 目标 值 
的 解 。 设 三 是 和 最 终 松 弛 型 相关 的 基本 解 。 我 们 不 能 有 一 0， 因 为 Lu 将 会 有 目标 值 为 0， 与 
目标 值 为 负 的 事实 相 矛 盾 。 因 此 ， 第 11 行 的 测试 导致 第 16 行 返 回 “不 可 行 ”。 

现在 假设 线性 规划 L 确实 有 一 个 可 行 解 。 从 练习 29. 3-4， 我 们 知道 如 果 对 i 二 1，2，…，m 
有 ;之 0， 那 么 和 初始 松弛 型 相关 的 基本 解 是 可 行 的 。 在 这 种 情况 下 ,第 2~3 行将 返回 和 输入 相 
关 的 松弛 型 。( 将 标准 型 转换 成 松弛 型 很 容易 ， 因 为 A、5 和 < 在 二 者 中 相同 。) 

在 余下 的 证 明 中 ， 我 们 要 处 理 线性 规划 是 可 行 的 但 在 第 3 行 中 并 不 返回 的 情形 。 我 们 要 表明 
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在 这 种 情形 下 ,第 4 一 10 行 找 到 Lu 的 一 个 可 行 解 ， 其 目标 值 为 0。 首先 ， 根 据 第 1 一 2 行 ， 必 
然 有 
b <0 

和 

如 和 2EB (29. 112) 
在 第 8 行 中 ， 执 行 一 个 转动 操作 ， 其 中 替 出 变量 x,( 回 顾 /二 n 十 &， 使 得 5 二 0) 是 具有 最 小 b 的 
等 式 的 左 部 ， 而 替 人 变量 是 额外 添加 的 变量 zx。。 现 在 我 们 来 说 明 在 这 个 转动 之 后 ，5， 的 所 有 元 素 
都 是 非 负 的 ， 因 此 ，Ls. 的 基本 解 是 可 行 的 。 设 忒 是 调用 PIVOT 之 后 的 基本 解 ，b 和 BB 表示 
PIVOT 返回 的 值 ， 引 理 29. 1 推出 


b;—a, 6, #i € B—{e} 
z= (29; 113) 
b,/ ar Ai =E 
第 8 行 中 调用 PIVOT 有 e=0, MRBBARGH(29. 107), PRAM av, 
© Apt; Se din i= 1,2,°%*,m (29. 114) 
j=0 
那么 
äg =a, ==]; EB (29. 115) 


GER. anki x 出 现在 不 等 式 (29. 114) 中 的 系数 ， 不 是 此 系数 的 负 值 ， 因 为 Lu 是 在 标准 型 而 不 
是 松弛 型 中 。) 因 为 VE 了 B， 所 以 也 有 a. =—1. Alb, b,/a.>0, FEES. WFR FE MAE 
量 , 我 们 有 


Zi = b;— az ê. (根据 等 式 (29. 113)) 
= 6b,—ai(b,/a.) (根据 PIOVT 的 第 3 行 ) 
=b — (根据 等 式 (29. 115) 和 a, =— 1) 
>0 (根据 不 等 式 (29. 112)) 


这 意味 着 现在 每 个 基本 变量 都 是 非 负 的 。 因 此 ， 在 第 8 行 调用 PIVOT 后 ， 基 本 解 是 可 行 的 。 接 下 
来 ， 执 行 第 10 行 以 求解 Lux。 因 为 我 们 已 经 假设 工 有 一 个 可 行 解 ， 引 理 29. 11 意味 着 Lu 有 一 个 目 
标 值 为 0 的 最 优 解 。 因 为 所 有 的 松弛 型 都 是 等 价 的 ，L。w 的 最 终 基本 解 必 肥 二 0， 而 且 当 把 x 从 


线性 规划 中 删除 后 ， 我 们 得 到 一 个 L 的 可 行 松弛 型 。 然 后 第 15 行 返回 这 个 松弛 型 。 a 
线性 规划 基本 定理 


我 们 通过 说 明 过 程 SIMPLEX 的 确 有 效 来 结束 本 章 内 容 。 特 别 地 ， 任 何 线性 规划 要 么 是 不 可 
TH, 要么 是 无 界 的 ， 要么 有 一 个 有 限 目 标 值 的 最 优 解 。 在 每 种 情况 下 ，SIMPLEX 都 能 做 出 正 
确 的 操作 。 

定理 29. 13( 线 性 规划 基本 定理 ) ”任何 以 标准 型 给 出 的 线性 规划 L 可 能 会 是 如 下 情形 : 

1. 有 一 个 有 限 目 标 值 的 最 优 解 。 

2. 不 可 行 。 

3. 无 界 。 

如 果 工 是 不 可 行 的 。SIMPLEX 返回 “不 可 行 ?。 如 果 工 是 无 界 的 ，SIMPLEX 返回 “无 界 ”。 否 则 ， 
SIMPLEX 返回 一 个 有 限 目 标 值 的 最 优 解 。 

证 明 根据 引 理 29. 12， 如 果 线 性 规划 工 不 可 行 , 那么 SIMPLEX 返回 “不 可 行 "。 现 在 假设 线性 
规划 工 是 可 行 的 。 根 据 引 理 29.12, INITIALIZE-SIMPLEX 返回 一 个 基本 解 可 行 的 松弛 型 。 因 而 根据 
引 理 29.7，SIMPLEX 或 者 返回 “无 界 ”， 或 者 以 一 个 可 行 解 终止 。 如 果 它 以 一 个 有 限 解 终 止 ， 那么 定 
H 29. 10 告诉 我 们 这 个 解 是 最 优 的 。 另 外 ， 如 果 SIMPLEX 返回 “无 界 ”， 那么 引 理 29. 2 告诉 我 们 线性 
HRI L 的 确 是 无 界 的 。 因 为 SIMPLEX 总 是 以 这 些 方式 之 一 结束 ， 于 是 完成 证 明 。 = 
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练习 

29. 5-1 ” 写 出 详细 的 伪 代 码 来 实现 INITIALIZE-SIMPLEX 的 第 5 行 和 第 14 行 。 

29.5-2 ”请 说 明 当 SIMPLEX 的 主体 循环 部 分 被 INITIALIZE-SIMPLEX 运行 时 ， 永 远 不 会 返回 “无 界 ”。 

29.5-3 ”假设 已 知 一 个 标准 型 的 线性 规划 工 ， 并 且 假 设 对 工 与 工 的 对 偶 问 题 ， 初 始 松 弛 型 相应 的 
基本 解 都 是 可 行 的 。 请 说 明 工 的 最 优 目 标 值 是 0。 

29. 5-4 ”假设 在 一 个 线性 规划 中 我 们 允许 严格 的 不 等 式 。 请 说 明 在 这 种 情况 下 ， 线 性 规划 基本 定 


理 不 再 成 立 。 
29.5-5 用 SIMPLEX 求解 下 面 的 线性 规划 : 
最 大 化 Lit Bay 
满足 约束 
ži = e Be 8 
— = 8 
— T + in < 2 
Ly sL? = 0 


29. 5-6 用 SIMPLEX 求 解 下 面 的 线性 规划 : 


最 大 化 5 
满足 约束 
Tı T 2 & 4 
一 22) = fy < ~= 
By = 1 
Ke Wy = 0 


29.5-7 用 SIMPLEX 求解 下 面 的 线性 规划 : 


最 大 化 xı +32, 
满足 约束 
= ği a ay Se il 
= 2 =) ay 2 S28 
Xi + kr S 2 
Tı 9X2 = 0 


29. 5-8 求解 式 (29. 6) ~ (29. 10) 给 出 的 线性 规划 。 
29.5-9 考虑 下 面 一 个 变量 的 线性 规划 ， 我 们 称 为 P: 


最 大 化 t 
满足 约束 
ra<s 
r= 0 


EP r, s 和 + 上 是 任意 的 实数 。 设 刀 是 己 的 对 偶 。 
叙述 对 r、s 和 z 的 哪些 值 ， 可 以 做 出 如 下 断言 : 
1. P Al D 都 具有 有 限 目 标 值 的 最 优 解 。 

2. 忆 是 可 行 的 ， 但 刀 是 不 可 行 的 。 

3. 刀 是 可 行 的 ， 但 也是 不 可 行 的 。 

4. P AD 都 是 不 可 行 的 。 
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思考 题 


29-1 


29-2 


29-3 


29-4 


(线性 不 等 式 的 可 行 性 ) ”给 定 一 个 在 nn 个 变量 z1，zz，…，z, Em 个 线性 不 等 式 的 集合 ， 

线性 不 等 式 可 行 性 问题 关注 是 否 有 变量 的 一 个 设置 ， 能 够 同时 满足 每 个 不 等 式 。 

a. 证 明 : 如 果 有 一 个 线性 规划 的 算法 ， 那 么 可 以 利用 它 来 解 一 个 线性 不 等 式 可 行 性 问题 ， 
在 线性 规划 问题 中 ， 你 用 到 的 变量 和 约束 的 个 数 应 该 是 n 和 m 的 多 项 式 。 

b. 证 明 : 如 果 有 一 个 线性 不 等 式 可 行 性 问题 的 算法 ， 那 么 可 以 用 它 来 求解 线性 规划 问题 。 
在 线性 不 等 式 可 行 性 问题 中 ， 你 用 到 的 变量 和 线性 不 等 式 的 个 数 应 该 是 n Am 的 多 项 
式 ， 即 线性 规划 中 变量 和 约束 的 数目 。 

(互补 松弛 性 ) 互补 松弛 性 描述 原始 变量 值 和 对 偶 约 束 ， 以 及 对 偶 变 量 值 与 原始 约束 之 间 

的 关系 。 设 zx 表示 式 (29.16) 一 (29.18) 中 给 出 的 原始 线性 规划 的 一 个 可 行 解 ，y 表示 式 

(29. 83) ~ (29. 85) 中 给 出 的 对 偶 线 性 规划 的 可 行 解 。 互 补 松弛 阐述 下 面 的 条 件 是 和 y 为 

最 优 的 充分 必要 条 件 : 


Day: = o RAZ; = 07 = 12,50 
i=] 

以 及 
Yas T = b RE y: = 0,1 =1,2,+%+,m 


a. 对 式 (29. 53) ~ (29. 57) 中 的 线性 规划 验证 互补 松 弛 性 成 立 。 

b. 证 明 : 对 任意 的 原始 线性 规划 和 它 相 应 的 对 偶 ， 互 补 松弛 性 成 立 。 

c. 证 明 : 式 (29. 16)~ (29. 18) 中 给 出 的 原始 线性 规划 的 一 个 可 行 解 乏 是 最 优 的 ， 当 且 仅 当 
存在 值 => Doo cts Wm TEE 
1. y Æ (29. 83) ~ (29. 85) 中 给 出 的 对 偶 线性 规划 的 一 个 可 行 解 。 


2. 对 于 所 有 的 7 有 > oz =c, FÆ, AK 


3. 对 于 所 有 的 i 有 二 ==0, 于 是 Diaz) <b 


(整数 线性 规划 ) 一 个 整数 线性 规划 问题 是 一 个 线 性 规划 问题 ， 外 加 变量 z 必须 取 整 数值 
的 额外 约束 。 练 习 34. 5-3 说 明 仅 确定 一 个 整数 线性 规划 是 否 有 可 行 解 是 NP 难 的 ， 这 意味 
着 这 个 问题 目前 没有 已 知 多 项 式 时 间 的 算法 。 

a. 证 明 : 弱 对 偶 性 ( 引 理 29. 8) 对 整数 线性 规划 成 立 。 

b. 证 明 : 对 偶 性 (定理 29. 10) 对 整数 线性 规划 不 总 是 成 立 。 

c. 给 定 一 个 标准 型 的 原始 线性 规划 ， 我 们 定义 了 为 原始 线性 规划 的 最 优 目 标 值 ，D 为 其 
对 偶 问 题 的 最 优 目标 值 ，IP 为 整数 版 本 的 原始 问题 ( 即 原始 问题 加 上 变量 取 整 数值 的 约 
束 ) 的 最 优 目 标 值 ，ID 为 整数 版 本 的 对 偶 问题 的 最 优 目标 值 。 假 设 整数 版 本 的 原始 线性 
规划 和 其 整数 版 本 的 对 偶 线性 规划 都 是 可 行 的 、 有 界 的 ， 请 说 明 IP<P=D<ID，。 

(Farkas 引 理 ) 设 A 为 一 个 妈 X7 和 矩阵 ，c 为 一 个 nn 4EM EB. AKA Farkas 引 理 说 明正 好 有 

一 个 系统 

Az <0 
cx > 0 
以 及 


[895] 
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是 可 解 的 ， 其 中 之 是 一 个 n 维 向 量 ，y 是 一 个 m 维 向 量 。 证 明 Farkas 引 理 。 

29-5 (最 小 代价 流通 ) ”这 个 问题 中 ， 我们 考虑 29. 2 节 中 最 小 代价 流 问题 的 一 个 变形 ， 其 中 我 
们 没有 给 定 需 求 、 一 个 源 点 ,或 者 一 个 汇 点 。 取 而 代 之 ,我 们 像 以 前 一 样 给 定 一 个 流 网 络 
和 边 的 代价 a(u，v)。 如 果 一 个 流 在 每 条 边 上 满足 容量 限制 ， 以 及 在 每 一 个 顶点 上 满足 流 
量 守恒 条 件 ， 则 称 它 是 可 行 的 。 我 们 的 目标 是 在 所 有 可 行 流 中 ， 找 到 一 个 代价 最 小 的 。 我 
们 把 这 个 问题 称 为 最 小 代价 流通 问题 。 

a. 把 最 小 代价 流通 问题 形式 化 为 一 个 线性 规划 。 

b. 假设 对 于 所 有 的 边 (u，v) EE,， 我 们 有 al(u，v)0。 描 绘 此 最 小 代价 流通 问题 的 一 个 最 
优 解 。 

c. 把 最 大 流 问 题 形式 化 为 一 个 最 小 代价 流通 问题 的 线性 规划 。 也 就 是 给 定 一 个 最 大 流 问题 
的 实例 G= 二 (V，E)， 其 中 有 源 点 s CA t 以 及 边 上 的 容量 限制 c<， 给 定 一 个 (可 能 不 
同 ) 的 网 络 G 一 (V’",，E )， 具 有 边 上 容量 限制 A， 以 及 边 上 的 代价 a ， 使 得 你 可 以 通过 
创建 一 个 最 小 代价 流通 问题 来 得 到 最 大 流 问题 的 一 个 解 。 

d. 把 单 源 最 短路 径 问 题 形式 化 成 一 个 最 小 代价 流通 问题 的 线性 规划 。 

本 章 注 记 
本 章 仅仅 是 研究 线性 规划 广阔 领域 的 一 个 开始 。 许 多 书籍 都 对 线性 规划 专门 作 了 详细 的 论 

述 ， 包 括 ChvatalL69]、Gass[130]、KarloffL197]、SchrijverL303] 和 Vanderbeil 344 ]。 其 他 许多 

书籍 也 都 很 好 地 介绍 了 线性 规划 的 内 容 ， 包 括 Papadimitriou 和 Steiglitz[ 271 ]、Ahuja、Magnanti 

和 OrlinL7]。 本 章 内 容 采 用 的 是 Chvátal 的 方法 。 

线性 规划 的 单纯 形 算法 是 在 1947 年 由 G. Dantzig 提出 的 。 不 久之 后 ， 研 究 者 发 现在 各 种 领 

域 中 的 很 多 问题 都 可 以 形式 化 成 线性 规划 ， 并 使 用 单纯 形 算法 求解 。 于 是 ， 线 性 规划 的 许多 应 用 

和 许多 相关 算法 繁荣 起 来 。 单 纯 形 算法 的 很 多 不 同形 式 仍 然 是 求解 线性 规划 问题 的 最 流行 的 方 

法 。 这 段 历史 在 很 多 地 方 都 有 记载 ， 包 括 文献 [69] 和 文献 [L197] 中 的 注 记 。 

椭 球 算法 是 线性 规划 的 第 一 个 多 项 式 时 间 算 法 ,在 1979 年 由 L. G. Khachian 提出 ; €A 

N. Z. Shor, D. B. Judin 和 A. S. Nemirovskii 的 早期 工作 为 基础 。Grotschel、Lovdsz 和 Schrijver 

[L154] 在 组 合 优化 中 描述 如 何 使 用 椭 球 算法 来 解 各 种 问题 。 到 目前 为 止 ， 在 实践 中 ， 椭 球 算法 看 

起 来 还 无 法 与 单纯 形 算法 媲美 。 

Karmarkar 的 论文 L198] 包 含 了 第 一 个 内 点 算法 的 描述 。 他 之 后 的 许多 研究 者 都 设计 出 了 内 

点 算法 。 在 Goldfarb 和 Todd[141] 的 文章 以 及 Ye[361] 的 书 中 都 有 好 的 综述 。 

单纯 形 算法 的 分 析 在 研究 领域 仍然 活跃 。V. Klee 和 G. J. Minty 构造 了 一 个 单纯 形 算法 运行 

2 一 1 次 迭代 的 例子 。 单 纯 形 算法 通常 在 实践 中 执行 得 非常 好 ， 许 多 研究 者 尝试 给 出 这 个 实验 观 

察 的 理论 依据 。 有 一 类 研究 是 由 K. H. Borgwardt 开始 ， 然 后 其 他 许多 人 继续 进行 ， 显 示 在 输入 

的 某 些 概率 假设 下 ， 单 纯 形 算法 在 多 项 式 时间 期 望 内 收 钱 。Spielman 和 Teng[ 322] 在 这 个 领域 中 

取得 了 进展 ， 他 们 引入 了 “算法 的 平滑 分 析 ” 并 将 其 应 用 到 单纯 形 算法 上 。 

已 知 单纯 形 算法 在 某 些 特殊 情况 下 会 运行 得 更 有 效率 。 特 别 值得 注意 的 是 ， 网 络 单纯 形 算 

法 ， 即 专门 用 于 网 络 流 问 题 的 单纯 形 算法 。 对 某 些 网 络 问题 ， 包 括 最 短路 径 、 最 大 流 和 最 小 代价 

流 问 题 ， 网 络 单纯 形 算法 的 不 同形 式 在 多 项 式 时 间 内 和 运行。 例如， 参考 OrlinL268] 的 文章 和 里 面 

的 引用 。 
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多 项 式 与 快速 傅 里 叶 变 换 


两 个 nn 次 多 项 式 相 加 的 最 直接 方法 所 需 的 时 间 为 802)， 但 是 相 乘 的 最 直接 方法 所 需 的 时 间 为 OG?) 
在 本 章 中 ， 我 们 将 讨论 快速 传 里 叶 变换 ， 或 者 FFT， 如 何 使 多 项 式 相 乘 的 时 间 复 杂 度 降低 为 @(nlgn)。 

傅 里 叶 变 换 的 最 常见 用 途 是 信号 处 理 ， 这 也 是 快速 傅 里 叶 变换 的 最 常见 用 途 。 信 号 通常 在 
时 间 域 中 给 出 : 一 个 把 时 间 映 射 到 振幅 的 函数 。 健 里 叶 分 析 允 许 我 们 将 时 间 域 上 信号 表示 成 不 
同 频率 的 相 移 正弦 曲线 的 加 权 秋 加 。 和 频率 相关 的 权重 和 相位 在 频率 域 中 刻画 出 信号 的 特征 。 
FFT 有 很 多 日 常 应 用 ， 如 压缩 技术 ， 可 用 于 编码 数字 视频 和 音频 信息 ， 包 括 MP3 文件 。 在 信号 
处 理 这 一 丰富 的 研究 领域 中 有 不 少 很 好 的 参考 书 ; 本 章 注 记 将 列 出 其 中 一 些 。 

多 项 式 

一 个 以 z 为 变量 的 多 项 式 定义 在 一 个 代数 域 上 ， 将 函数 A(z) 表 示 为 形式 和 : 


nl 
A(z) = Da 


我 们 称 ce ，a ，…，a,_1 为 如 上 多 项 式 的 系数 ， 所 有 系数 都 属于 域 下 ， 典 型 的 情形 是 复数 集合 C 
如 果 一 个 多 项 式 A(z) 的 最 高 次 的 非 零 系数 是 a:， 则 称 ACz) 的 次 数 是 上 &， 记 degree(A) 一 上。 任何 
严格 大 于 一 个 多 项 式 次 数 的 整数 都 是 该 多 项 式 的 次 数 界 ， 因 此 ， 对 于 次 数 界 为 n 的 多 项 式 ， 其 次 
数 可 以 是 0~~n 一 1 之 间 的 任何 整数 ， 包 括 0 和 ”一 1。 

我 们 在 多 项 式 上 可 以 定义 很 多 不 同 的 运算 。 对 于 多 项 式 加 法 ,如果 A(z) 和 B(x) 是 次 数 界 为 
n 的 多 项 式 ， 那么 它们 的 和 也 是 一 个 次 数 界 为 n 的 多 项 式 C(zx)， 对 所 有 属于 定义 域 的 zx， 都 有 
C(xz) 二 A(z) 十 B(xz)。 也 就 是 说 ， 若 





A(x) = Sage 
A 和 0 

Bix) = Doz! 
w j 

C(x) = Sea! 


其 中 对 于 7 二 0，1，…,， n—-1, c=a,t+d;. WIN, MRA BWR A(z) =62°+72?—-10x+9 和 
B(x) =— 223 +42—5, ABA C(x) =42° +72? —62+4, 
对 于 多 项 式 乘法 ， 如 果 A(z) 和 BO PEKRE A n 的 多 项 式 ， 则 它们 的 乘积 C(z) 是 一 个 
次 数 界 为 2n 一 1 的 多 项 式 ， 对 所 有 属于 定义 域 的 xz， 都 有 C(x) 二 A(zx)B(z)。 读 者 或 许 以 前 也 学 
过 多 项 式 乘 法 ， 其 方法 是 把 ACz) 中 的 每 一 项 与 BCz) 中 的 每 一 项 相 乘 ， 然 后 再 合并 同类 项 。 例 
如 ， 我 们 可 以 对 两 个 多 项 式 Az) = 62° 十 7x* 一 10x 十 9 Al Bla) = — 22° +42—5 进行 如 下 的 乘法 : 
62+ 7 有 一 10xz+9 
一 2 好 a> 4r $ 
二 一 35a" 4-502 — 45 
242°+ 282° — 40x? + 36x 
— 122° — 142° + 2027*— 182° 
— 122° — 142° + 442*— 202° — 752’ + 862 — 45 














528 。 第 七 部 分 算法 问题 选编 


另外 一 种 表示 乘积 CCz) 的 方法 是 


Ca = >) ax (30. 1) 
其 中 
G= S abya (30. 2) 
k=0 


注意 ，degree(C) 一 degree(A) 十 degree(B)， 意 味 着 如 果 A 是 次 数 界 为 ns 的 多 项 式 ，B 是 次 数 界 
An, 的 多 项 式 ， 那 么 C 是 次 数 界 为 ns 十 ns 一 1 的 多 项 式 。 因 为 一 个 次 数 界 为 & 的 多 项 式 也 是 次 数 
界 为 十 1 的 多 项 式 ， 所 以 通常 称 乘积 多 项 式 C 是 一 个 次 数 界 为 n, 十 ns 的 多 项 式 。 

本 章 概述 

30. 1 节 介 绍 两 种 表示 多 项 式 的 方法 : 系数 表达 和 点 值 表达 。 当 我 们 用 系数 表达 表示 多 项 式 
时 ， 多 项 式 ( 式 (30. DARGO. 2)) 乘 法 的 最 直接 算法 所 需 运 行 时 间 为 O), 但 采用 点 值 表达 ， 
运行 时 间 仅 为 96(n)。 然 而 ， 我 们 通过 对 这 两 种 表示 法 进行 转换 ， 采 用 系数 表达 求 多 项 式 乘积 ， 
可 以 使 运行 时 间 变 为 8(nlgn)。 为 了 和 弄 清 这 种 方法 为 什么 可 行 ， 我 们 必须 在 30. 2 节 中 首先 学 习 
单位 复数 根 。 然 后 ， 我 们 运用 FFT 和 它 的 逆 变 换 ( 也 在 30. 2 节 中 介绍 ) 来 执行 上 述 转换 。30. 3 节 
将 展示 如 何在 串 行 模型 和 并 行 模型 上 快速 实现 FFT。 

本 章 大 量 使 用 了 复数 ， 并 且 专 用 符号 ;表示 V 一 1。 


30. 1 多 项 式 的 表示 


从 某 种 意义 上 ， 多 项 式 的 系数 表达 与 点 值 表达 是 等 价 的 ， 即 用 点 值 形式 表示 的 多 项 式 都 对 
应 唯一 系数 形式 的 多 项 式 。 在 本 节 中 ， 我 们 将 介绍 这 两 种 表示 方法 ， 并 展示 如 何 把 这 两 种 表示 法 
结合 起 来 ， 以 使 两 个 次 数 界 为 n 的 多 项 式 乘法 运算 在 8(nlgn) 时 间 内 完成 。 


对 一 个 次 数 界 为 n 的 多 项 式 A(z) = Yaz! 而 言 ， 其 系数 表达 是 一 个 由 系数 组 成 的 向 量 a= 


(ao，a1，*…，a,1)。 在 本 章 所 涉及 的 和 矩阵 方程 中 ， 我 们 一 般 将 向 量 作 为 列 向 量 看 待 。 

采用 系数 表达 对 于 多 项 式 的 某 些 运 算是 很 方便 的 。 例 如 ， 对 多 项 式 A DEBE zxo 的 求 值 
运算 就 是 计算 A(zxo) 的 值 。 使 用 霍 纳 法 则 ， 我 们 可 以 在 8(n) 时 间 复 杂 度 内 完成 求 值 运 算 : 

ACT) = Ay + 2 Ca, +. Cag Hee + 29 lana Toa i177 )) 

类 伏地 ， 对 两 个 分 别 用 系数 向 量 (w ，a ，…，o- A O= Cys Drs oy BRAM SARE A 
加 时 ， 所 需 的 时 间 是 @(n); 我 们 仅 输出 系数 向 量 c 一 (Ce@，ca，…，c-)， 其 中 对 7 一 0，1，…， 
ml, =a Tbs 

现在 来 考虑 两 个 用 系数 形式 表示 的 、 次 数 界 为 n HAT A) A B(z) 的 乘法 运算 。 如 果 用 
式 (30. DARGO. 2) 中 所 描述 的 方法 ， 完 成 多 项 式 乘 法 所 需 时 间 就 是 OC’), FAA THLE a 中 的 每 
个 系数 必须 与 向 量 5 中 的 每 个 系数 相 乘 。 当 用 系数 形式 表示 时 ， 多 项 式 乘法 运算 似乎 要 上 比 求 多 项 
式 值 和 多 项 式 加 法 的 运算 更 困难 。 由 式 (30. 2) 推 导 给 出 的 系数 向 量 c 也 称 为 输入 向 量 a 和 2 的 卷 
积 (convolution) ， 表 示 成 一 acC92。 因 为 多 项 式 乘 法 与 卷 积 的 计算 都 是 最 基本 的 计算 问题 ， 这 些 
问题 在 实际 应 用 中 非常 重要 ， 所 以 本 章 将 重点 讨论 有 关 的 高 效 算 法 。 

点 值 表 达 

一 个 次 数 界 为 n 的 多 项 式 A(z) 的 点 值 表达 就 是 一 个 由 nn 个 点 值 对 所 组 成 的 集合 

{Cto syo) s (tien) ,Tes Yma)? 
使 得 对 k=0, 1, =, n—-1, MA zi 各 不 相同 ， 
y = ACy) (30. 3) 
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一 个 多 项 式 可 以 有 很 多 不 同 的 点 值 表 达 ， 因 为 可 以 采用 nn 个 不 同 的 点 x。，Zzi，…，Z-1 构 成 的 集 
合作 为 这 种 表示 方法 的 基 。 

对 一 个 用 系数 形式 表达 的 多 项 式 来 说 ， 在 原则 上 计算 其 点 值 表 达 是 简单 易 行 的 ， 因 为 我 们 
所 要 做 的 就 是 选取 n SALA Zo. tis tts Tris RAX k=O, 1, +, n—-1 RAG). REZ 
纳 法 则 ， 求 出 这 ”个 点 值 所 需 时 间 复 杂 度 为 9( 巡 ) 。 在 稍 后 可 以 看 到 ， 如 果 我 们 巧妙 地 选取 点 
必 ， 就 可 以 加 速 这 一 计算 过 程 ， 使 其 运行 时 间 变 为 6(nlgn)。 

求 值 计算 的 逆 ( 从 一 个 多 项 式 的 点 值 表达 确定 其 系数 表达 形式 ) 称 为 插值 。 下 面 定 理 说 明 ， 当 
插值 多 项 式 的 次 数 界 等 于 已 知 的 点 值 对 的 数目 ， 插 值 才 是 明确 的 。 

定理 30. 1( 插 值 多 项 式 的 唯一 性 ) ”对 于 任意 nn 个 点 值 对 组 成 的 集合 {Cz0，Y%)，(X1，%)，…， 
(zs1，Yn-1))}， 其 中 所 有 的 zx 都 不 同 ; 那么 存在 唯一 的 次 数 界 为 nn 的 多 项 式 A(z)， 满 足 y= 
AC), KO, 1s ws nls 

证 明 证 明 主 要 是 根据 某 个 矩阵 存在 闭 矩 阵 。 式 (30. 3) 等 价 于 和 矩阵 方程 


1 2 oe nl 
Xo To To ao Yo 
2 nl 
1 xy zr | x a 
if 1 1 .1 
hea. (30. 4) 
2 1 
1 Dri < Saa 2 Ari nl 


左边 的 矩阵 表示 为 V(x。，zi，…，Z,_1)， 称 为 范 德 蒙 德 矩阵 ， 根 据 思考 题 D1， 该 矩阵 的 

行列 式 值 为 
JL œ) 
因此 ， 由 定理 D. 5， 如 果 a BA, WAEREA ERR). A, Ae MRI, 
我 们 能 够 唯一 确定 系数 a; : 
a = Vlos ty E 

定理 30. 1 的 证 明 过 程 描述 了 基于 求解 线性 方程 组 ( 式 (30. 4) ) 的 一 种 插值 算法 。 利 用 第 28 章 
中 的 LU 分 解 算 法 ， 我 们 可 以 在 O(n ) 的 时 间 复 杂 度 内 求 出 这 些 方程 的 解 。 

一 种 更 快 的 基于 ”个 点 的 插值 算法 是 基于 如 下 拉 格 朗 日 公式 : 





7 一 1 [[ (z— 2) 
A(x) = = (30. 5) 
` 名 六 T Czy = 23) 


读者 可 以 验证 等 式 (30. 5) 的 右 端 是 一 个 次 数 界 为 n 的 多 项 式 ， 并 满足 对 所 有 上，A(zi) 王 y。 练 
习 30. 1-5 要 求 读者 运用 拉 格 朗 日 公式 ， 在 B(x) 的 时 间 复 杂 度 内 计算 A 的 所 有 系数 。 
因此 ,nn 个 点 的 求 值 运算 与 插值 运算 是 定义 完备 的 互 逆 运 算 ， 它们 将 多 项 式 的 系数 表达 与 点 
值 表达 进行 相互 转化 。 对 于 这 些 给 出 的 问题 ， 上 面 给 出 算法 的 运行 时 间 为 O). 
对 许多 多 项 式 相关 的 操作 ， 点 值 表 达 是 很 便利 的 。 对 于 加 法 ， 如 果 CCz)=A(Cz) 十 BCz)， 则 
对 任意 点 zt， 满足 CCzi) 二 A(zi) 十 BCzs)。 更 准确 地 说 ， 如 果 已 知 A 的 点 值 表 达 
{Co 90) 4) gy se 
和 B 的 点 值 表达 
LE Crs yn 
(注意 ，A AB 在 相同 的 个 位 置 求 值 );， 则 C 的 点 值 表达 是 
{ (xo » Yo 十 站 ) ’ (zi yy1 + yi D gives EE 9 Val Vea )} 





O ”从 数值 稳定 性 的 角度 ， 插 值 是 一 个 众所周知 的 棘手 的 问题 。 尽 管 这 里 所 描述 的 方法 在 数学 上 是 正确 的 ， 但 在 计 
算 期 间 输 入 的 微小 不 同 ， 或 者 四 舍 五 人 的 误差 都 会 造成 结果 的 很 大 不 同 。 
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因此 ， 对 两 个 点 值 形式 表示 的 次 数 界 为 n 的 多 项 式 相 加 ， 所 需 时 间 复 杂 度 为 8(n)。 

类 似 地 ， 对 于 多 项 式 乘 法 ， 点 值 表达 也 是 方便 的 。 如 果 CCz)=A(Cz)B(Gz)， 则 对 于 任意 点 
a.» Clay) =Ala,) Bla), FAX A 的 点 值 表达 和 B 的 点 值 表 达 进 行 逐 点 相 乘 ， 就 可 得 到 C 的 
点 值 表 达 。 不 过 ， 我 们 也 必须 面 对 这 样 一 个 问题 ， 即 degree(C) =degree(A) +degree(B); 如 果 
A 和 B 次 数 界 为 x， 那么 C 的 次 数 界 为 2z。 对 于 A 和 B 每 个 多 项 式 而 言 ， 一 个 标准 点 值 表达 是 
由 个 点 值 对 所 组 成 。 当 我 们 把 这 些 点 值 对 相 乘 ， 就 得 到 C 的 个 点 值 对 ， 由 于 C 的 次 数 界 为 
2n， 要 插值 获得 唯一 的 多 项 式 C， 我 们 需要 2n 个 点 值 对 (参见 练习 30. 1-4) 。 因 此 ， 必 须 对 A 和 
B 的 点 值 表 达 进 行 “ 扩 展 ”， 使 每 个 多 项 式 都 包含 2” 个 点 值 对 。 给 定 A 的 扩展 点 值 表达 

Ce 
和 B 的 对 应 扩展 点 值 表达 : 
{ (zo Vo) Cy 3519 Wee es ure )} 
则 C 的 点 值 表达 为 
{ (2 ;Wy ) (219M D yey En Veet E )} 
给 定 两 个 点 值 扩展 形式 的 输入 多 项 式 ， 我 们 可 以 看 到 使 其 相 乘 而 得 到 点 值 形 式 的 结果 需要 OC) 
时 间 ， 比 采用 系数 形式 表达 的 多 项 式 相 乘 所 需 时 间 少 得 多 。 

最 后 ， 我 们 考虑 对 一 个 采用 点 值 表达 的 多 项 式 ， 如 何 求 其 在 某 个 新 点 上 的 值 。 对 这 个 问题 ， 
最 简单 不 过 的 方法 就 是 先 把 该 多 项 式 转换 为 系数 形式 表达 ， 然 后 在 新 点 处 求 值 。 

系数 形式 表示 的 多 项 式 的 快速 乘法 

我 们 能 和 否 利用 基于 点 值 形 式 表达 的 多 项 式 的 线性 时 间 乘 法 算法 ， 来 加 速 基 于 系数 形式 表达 
的 多 项 式 乘 法 运算 呢 ? 答案 关键 在 于 我 们 能 否 快速 把 一 个 多 项 式 从 系数 形式 转换 为 点 值 形式 ( 求 
值 );， 以 及 从 点 值 形式 转 换 为 系数 形式 (插值 。 

我 们 可 以 采用 任何 点 作为 求 值 点 ， 但 通过 精心 地 挑选 求 值 点 ， 可 以 把 两 种 表示 法 之 间 转 化 
所 需 的 时 间 复 杂 度 变 为 8(n lgn)。 如 将 在 30. 2 节 看 到 的 ， 如 果 选 择 “ 单 位 复数 根 ” 作 为 求 值 点 ， 
我 们 可 以 通过 对 系数 向 量 进行 离散 传 里 叶 变 换 ( 或 DFT)， 得 到 相应 的 点 值 表 达 。 我 们 也 可 以 通 
过 对 点 值 对 执行 “ 逆 DFT 变换 ， 而 获得 相应 的 系数 向 量 ， 这 样 就 实现 了 求 值 运 算 的 道 运算 一 一 
插值 。30. 2 节 将 说 明 FFT 如 何在 @(nlgn) 的 时 间 复 杂 度 内 完成 DFT Alt DFT 运算 。 

图 30-1 图 解 了 这 种 策略 。 其 中 的 一 个 细节 涉及 次 数 界 。 两 个 次 数 界 为 n 的 多 项 式 乘 积 是 一 
个 次 数 界 为 2n 的 多 项 式 。 因 此 ， 在 对 输入 多 项 式 A MB 进行 求 值 以 前 ， 首 先 把 这 两 个 多 项 式 在 
高 次 系数 前 添加 个 0， 使 其 次 数 界 加 倍 为 2z。 因 为 现在 这 些 向 量 有 2n 个 元 素 , 我 们 可 以 采用 
“2n 次 单位 复数 根 ”， 在 图 30-1 中 标记 为 on. 
















普通 乘法 
RFO) 
时 间 O(n Ig n) 
Alon), B(@%,) 
Alon), B(},) 点 值 乘 法 
时 间 O(n) 


Aaz), Boz) 





图 30-1 一 种 高 效 的 多 项 式 乘法 过 程 图 示 。 上 方 代表 系数 形式 表达 ， 下 方 代表 点 值 形 
式 表达 。 从 左 到 右 的 箭头 对 应 于 乘法 操作 。 项 wx 是 2n 次 单位 复数 根 


给 定 FFT， 我 们 就 有 下 面 时 间 复 杂 度 为 9(nlgn) 的 方法 ,该 方法 把 两 个 次 数 界 为 n 的 多 项 式 
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A(z) 和 B(x) 进行 乘法 运算 ， 其 中 输入 与 输出 均 采 用 系数 表达 。 假 设 n 是 2 的 需 。 实 际 上 ， 我 们 
可 以 通过 添加 系数 为 0 的 高 阶 系 数 ， 来 满足 这 个 要 求 。 

1. 加 倍 次 数 界 : 通过 加 入 nn 个 系数 为 0 的 高 阶 系 数 ， 把 多 项 式 A(z) 和 B(x) 变 为 次 数 界 为 
2n 的 多 项 式 ， 并 构造 其 系数 表达 。 

2. 求 值 : 通过 应 用 2” 阶 的 FFT 计算 出 ADA BOKKER 2n 的 点 值 表 达 。 这 些 点 值 表 
达 中 包含 了 两 个 多 项 式 在 2n 次 单位 根 处 的 取 值 。 

3. 逐 点 相 乘 : 把 A(x) 的 值 与 B(z) 的 值 逐 点 相 乘 ， 可 以 计算 出 多 项 式 Cir) =Ala) B(x) H 
点 值 表 达 ， 这 个 表示 中 包含 了 CCz) 在 每 个 2n 次 单位 根 处 的 值 。 

4. 插值 : 通过 对 2n 个 点 值 对 应 用 FFT， 计 算 其 道 DFT， 就 可 以 构造 出 多 项 式 C(x) 的 系数 
表达 。 
执行 第 1 步 和 第 3 步 所 需 时 间 为 O(n), ， 执 行 第 2 步 和 第 4 步 所 需 时 间 为 BCzlgz) 。 因 此 ， 一 
且 表 明 如 何 运 用 FFT， 我 们 就 已 经 证 明了 下 面 定理 。 

定理 30.2 当 输 入 与 输出 多 项 式 均 采用 系数 表达 时 ， 我 们 就 能 在 (nlgn) 时 间 复 杂 度 内 ， 计 
算出 两 个 次 数 界 为 即 的 多 项 式 乘 积 。 E 


练习 

30. 1-1 运用 等 式 (30.1) 和 (30. 2) 把 下 列 两 个 多 项 式 相 乘 : A(zx) 二 7z 一 十 x 一 10 Al Bla) = 
82° —62+3., ; 

30.1-2 求 一 个 次 数 界 为 n 的 多 项 式 A(z) 在 某 给 定点 z 的 值 存在 另外 一 种 方法 ; 把 多 项 式 A(zx) 
除 以 多 项 式 (z 一 x。)， 得 到 一 个 次 数 界 为 n 一 1 的 商 多 项 式 q(x) 和 余 项 r+， 满足 A(Cz) 王 
qx) (x 一 xo) 十 r。 很 明显 ，A(zo) 二 +r。 请 说 明 如 何 根 据 xo 和 A 的 系数 ， 在 O(n) KET TA) 
复杂 度 内 计算 出 余 项 r 以 及 q(x) 的 系数 。 


30.13 AAW = Š azi 的 点 值 表达 推导 出 A™(z) = Danir 的 点 值 表达 ， 假 设 没有 一 个 


点 是 0。 

30. 1-4 WEH: 为 了 唯一 确定 一 个 次 数 界 为 的 多 项 式 ,n 个 相互 不 同 的 点 值 对 是 必需 的 ， 也 就 
是 说 ， 如 果 给 定 少 于 个 不 同 点 值 对 ， 则 它们 不 能 唯一 确定 一 个 次 数 界 为 n 的 多 项 式 。 
(提示 : 利用 定理 30. 1， 加 入 一 个 任意 选择 的 点 值 对 到 一 个 已 有 ”一 1 个 点 值 对 的 集合 ， 
看 看 会 发 生 什 么 ?) 

30.1-5 ”说明 如 何 利用 等 式 (30. DE @(w) 时 间 复 杂 度 内 进行 插值 运算 。( 提 示 : 首先 计算 多 项 
R |] (zx 一 z) 的 系数 表达 ， 然 后 把 每 个 项 的 分 子 除 以 (z 一 xz); 参见 练习 30. 1-2。 你 可 


以 在 O(n) 时 间 复 杂 度 内 计算 ”个 分 母 中 的 每 一 个 。) 

30.1-6 请 解释 在 采用 点 值 表达 时 ， 用 “显然 ”的 方法 来 进行 多 项 式 除法 ， 哪 里 出 现 了 错误 ， 即 除 
以 相应 的 y 值 。 请 对 除法 有 确定 结果 与 无 确定 结果 两 种 情况 分 别 进行 讨论 。 

30.1-7 考虑 两 个 集合 A 和 B， 每 个 集合 包含 取 值 范围 在 O~10n 之 间 的 n 个 整数 。 我 们 希望 计 
算出 A 与 B 的 笛 卡 儿 和 ， 定 义 如 下 : 

C= (e+ ym € Ay EB) 

注意 到 ，C 中 整数 值 的 范围 在 0 一 20” 之 间 。 我 们 希望 找到 C 中 的 元 素 ， 并 且 求 出 C 中 
的 每 个 元 素 可 表示 为 A 中 元 素 与 B 中 元 素 和 的 次 数 。 请 在 O(nlgn) 的 时 间 内 解决 这 个 问 
题 。( 提 示 : 请 用 次 数 至 多 是 10n 的 多 项 式 来 表示 A MB.) 


30.2 DFT 与 FFT 
在 30. 1 节 中 ， 我 们 断言 : 如 果 使 用 单位 复数 根 ， 可 以 在 @(nlgn) 时 间 内 完成 求 值 与 插值 运 
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算 。 在 本 节 中 ， 我们 给 出 单位 复数 根 的 定义 ， 并 研究 其 性 质 ， 以 及 定义 DET， 然 后 说 明 FFT 如 
何 仅 用 8@(zlgz) 时 间 就 可 以 计算 出 DFT 和 它 的 逆 。 
单位 复数 根 
n 次 单位 复数 根 是 满足 w" 二 1 的 复数 w n 次 单位 复数 根 恰好 有 个 : 对 于 R=O, 1, 0, 
n 一 1， 这 些 根 是 ew”。 为 了 解释 这 个 表达 式 ， 我 们 利用 复数 的 指数 形式 的 定义 : 
e“ = cos(u) +isin(u) 
图 30-2 说 明 n NAA RORI ea op a EL 
面 的 原点 为 圆心 的 单位 半径 的 圆周 上 。 值 
o = e7 (30. 6) 
称 为 主 n 次 单位 根 ?”， 所 有 其 他 n 次 单位 复数 根 都 
Æ wn HK. 
n 个 n 次 单位 复数 根 o Ons me) an | 在 乘法 
意义 下 形成 一 个 群 (参见 31.3 节 )。 该 群 与 加 法 群 
(Zo +) (整数 模 n 具有 相同 的 结构 ， 因 为 ah = 
oh =I ERE ol, w Sah =a, AEH, o = 
wr !。 下 面 的 引 理 给 出 了 nn 次 单位 复数 根 的 一 些 基 图 30-2 ER PLE obs ons rs os 的 值 ， 其 





本 性 质 。 中 ws 二 ew 是 主 8 次 单位 根 
引 理 30. 3( 消 去 引 理 ) ”对 任何 整数 n 宇 0，k 宇 0， 以 及 d>0, 
ak) o k 
Win 一 Wn (30. 7) 

证 明 由 式 (30.6) 可 以 直接 推出 引 理 ， 因 为 

6 (ehd — (CE = at 图 
推论 30.4 对 任意 偶数 zi>0， 有 

al? —= (oy 一 一 】 

WEAR 证 明 留 作 练 习 30. 2-1, a 


引 理 30. 5( 折 半 引 理 ) 如 果 n>-0 为 偶数 ， 那 么 nn 个 n 次 单位 复数 根 的 平方 的 集合 就 是 n/2 
个 n/2 次 单位 复数 根 的 集合 。 
证 明 根据 消去 引 理 ， 对 任意 非 负 整数 &， RITA C) Sone WE, WRAHA n 次 单位 
复数 根 进行 平方 ， 那 么 获得 每 个 n/2 次 单位 根 正好 2 次 ， 因 为 
Can? 一 


Ft, op San”? 平方 相同 。 我 们 也 可 以 由 推论 30.4 来 证 明 该 性 质 ， 因 为 ov’ =l 意味 着 





att? —— at, PRA Cok”? )? = Cot 45 E 


我 们 将 会 看 到 ， 折 半 引 理 对 于 用 分 治 策略 来 对 多 项 式 的 系数 与 点 值 表达 进行 相互 转换 是 非 
常 重要 的 ， 因 为 它 保 证 递归 子 问题 的 规模 只 是 递归 调用 前 的 一 半 。 
引 理 30. 6( 求 和 引 理 ) ”对 任意 整数 nl 和 不 能 被 nn 整除 的 非 负 整数 k&k， 有 


3 (at)? =0 
证 明 等 式 (A. 5) 既 适用 于 实数 ， 也 适用 于 复数 ， 因此 有 





ma oo oP Cl 
S b a~l a — 1 F 研一 ] 
因为 要 求 & 不 能 被 整除， 而且 仅 当 被 n 整除 时 w= 二 1 成 立 ， 同 时 保证 分 母 不 为 0。 a 


=0 


O 很 多 其 他 作者 对 on 有 不 同 的 定义 : an5, AAR EALE SA. BI on 的 定义 ， 


其 背后 的 数学 含义 基本 上 是 相同 的 。 
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有 
A(z) = Dar 
Eal, whe whe es of? EREGI nAn KARARRI, BEA 以 系数 形式 给 出 : 
2 一 (ao，a，…，aw-1)。 接 下 来 对 k=O, 1, +, n=l, ENHR y: 
n= Atk) = Sat (30. 8) 


向 量 y= Cy» ys s Mea ) 就 是 系数 向 量 a= las a ，…，a-i) 的 离散 傅 里 时 变换 (DFT)。 我 
们 也 记 为 »y=DFT, (a). 
FFT 
通过 使 用 一 种 称 为 快速 傅 里 时 变换 (FFT) 的 方法 ， 利 用 复数 单位 根 的 特殊 性 质 ， 我 们 就 可 以 
在 9(Cz1lgz) 时 间 内 计算 出 DFT, (a)， 而 直接 的 方法 所 需 时 间 为 6(r* )。 通 篇 假设 恰好 是 2 的 整 
数 宕 。 尽 管 处 理 非 2 的 整数 寡 的 策略 已 存在 ， 但 它们 超出 了 本 书 的 范围 。 
FFT 利用 了 分 治 策略 ， 采 用 A(Cz) 中 偶数 下 标的 系数 与 奇数 下 标的 系数 ， 分 别 定 义 两 个 新 的 
次 数 界 为 n/2 的 多 项 式 AM! Cr) AM AT (az): 
AM! (x) = ao tartar +H +H a, aa" 
AH (r) = a tH azs Hast 十 … 十 CXW2 1 
ERE, ADEE A 中 所 有 偶数 下 标的 系数 (下 标的 相应 二 进 制 表 达 的 最 后 一 位 为 0)， 以 及 
AN (x) 40% A 中 所 有 奇数 下 标的 系数 (下 标的 相应 二 进 制 表达 的 最 后 一 位 为 1) 。 于 是 有 
A(z) = A (x?) +A" (z?) (30. 9) 
所 以 , RACHE ans ons oot» on AERE RD : 
1. 求 次 数 界 为 n/2 的 多 项 式 A oF AM (2) FER 
(本 (30. 10) 
的 取 值 。 
2. 根据 式 (30. 9 综合 上 述 结果 。 
根据 折 半 引 理 ， 式 (30. 10) 并 不 是 由 nn 个 不 同 值 组 成 ， 而 是 仅 由 n/2 个 n/2 次 单位 复数 根 所 
组 成 ， 每 个 根 正好 出 现 2 次 。 因 此 ， 我 们 递归 地 对 次 数 界 为 n/2 的 多 项 式 A (x) 和 AD (2) FE 
n/2 个 n/2 次 单位 复数 根 处 进行 求 值 。 这 些 子 问 题 与 原始 问题 形式 相同 ， 但 规模 变 为 一 半 。 现 在 ， 
我 们 已 成 功 地 把 一 个 个 元 素 的 DFT, 计算 划分 为 两 个 规模 为 n/2 个 元 素 的 DFT 计算 。 这 一 分 
解 是 下 面 递归 FFT 算 法 的 基础 ， 此 算法 计算 出 一 个 由 个 元 素 组 成 向 量 4a 二 (4ao,，al，…，a,1) 
HY DFT, 其中, ”是 2 WHE. 
RECURSIVE-FFT(a) 


1 n=a. length // nis a power of 2 
2 ifn==1 

3 return a 

4 w,=erln 

5 w=1 

6 al = (ay yg 9°** san2) 

7 all=(g,a3s° sa 1) 

8 _yl°l=RECURSIVE-FFT(a™) 


晶 ” 这 里 的 长 度 n 实 际 上 是 30. 1 节 中 所 指 的 2x， 因 为 我 们 可 以 在 求 值 以 前 ， 加 售 给 定 多 项 式 的 次 数 界 。 因 此 ， 在 多 
项 式 乘 法 的 相关 内 容 中 ， 实 际 上 处 理 的 是 2n 次 单位 根 。 
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9 »f1=RECURSIVE-FFT(a"™) 
10 for k=0 ton/2—1 


11 y=) a, 

12 e+ n/d =y 一 wy 中 ] 

13 WO Won 

14 return y // y is assumed to be a column vector 


RECURSIVE-FFT 的 执行 过 程 如 下 。 第 2 一 3 行 代表 递归 的 基础 ; 一 个 元 素 的 DFT 就 是 该 
元 素 自身 ， 因 为 在 这 种 情形 下 ， 





Yo = Ana =a,*l=—a 
第 6 一 7 行 定义 多 项 式 AY DMA (z) 的 系数 向 量 。 第 4、5 和 13 行 保证 w 可 以 正确 更 新 ， 只 
要 第 11 一 12 行 被 执行 ， 就 有 w 二 wh。( 次 次 迭代 中 让 w 的 值 改变 可 以 节约 每 次 通过 for 循环 重新 
计算 of 的 时 间 )。 第 8 一 9 行 执行 递归 计算 DFTw ， 对 于 & 一 0，1，…，7/2 一 1， 
of! = A Cote) 
ye = AD Conje) 
或 者 ， 根 据 消去 引 理 ， 有 ol, sol, PE 
y™ = AM (git) 
yf = AM (ait) 
第 11~12 行 综合 了 递归 DFTws 的 计算 结果 。 对 yp， ，…，yw_1， 第 11 行 推出 
n= y 二 ym 
= A att) + tA (att) 
= Aloh) CAR HE XK (30. 9)) 
对 Ynzo Yazi s Iis BOR=0, 1, e, n/2—1, 第 12 行 推出 : 


= a 1 
Vet n/2) =V T ony, i 


= ye Hap y (A 为 g 一 一 以 ) 
— All (wr) 十 a" AU (wr) 

= AMT Cai) AD) (BW aft = oft 

= Alay) GRR (30. 9)) 


因此 ， 由 RECURSIVE-FFT 返回 的 向 量 y 确实 是 输入 向 量 a 的 DFT. 

在 第 11~12 行 对 k=0, 1, =, n/2—1, HMA yP RT oke EB 11 行 中 ， 这 个 乘积 加 到 
To E, REF 12 行 又 减 去 它 。 因 为 应 用 了 每 个 因子 of 的 正 数 形式 和 负数 形式 ， 我 们 把 因子 
ak 称 为 旋转 因子 (twiddle factor), 

为 了 确定 过 程 RECURSIVE-FFT 的 运行 时 间 ， 注 意 到 除了 递归 调用 外 ， 每 次 调用 所 需 的 时 
间 为 8(n)， 其 中 是 输入 向 量 的 长 度 。 因 此 ， 对 运行 时 间 有 下 列 递归 式 : 

Tn) = 2T(n/2) + OC) = O(nlgn) 
因此 ， 采 用 快速 传 里 叶 变换 ， 我 们 可 以 在 8lnlgn) 时 间 内 ， 求 出 次 数 界 为 n 的 多 项 式 在 n 次 单位 
复数 根 处 的 值 。 

在 单位 复数 根 处 插值 

现在 我 们 展示 如 何在 单位 复数 根 处 插值 来 完成 多 项 式 乘 法 方案 ， 使 得 我 们 把 一 个 多 项 式 从 
点 值 表 达 转 换 回 系数 表达 。 我 们 如 下 进行 插值 : 把 DFT 写成 一 个 矩阵 方程 ， 然 后 再 观察 其 逆 矩 
阵 的 形式 。 
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根据 等 式 (30. 4) ， 我 们 可 以 把 DFT 写成 矩阵 乘积 y—Via, HPV, 是 一 个 由 ww, 16 








充 成 的 范 德 蒙 德 矩 阵 : 
ie ie a 1 1 = 1 a 
1 2 3 ax n—l 
y Wn Wn Wn Wn ay 
2 4 6 2(n—1) 
y2 1 w, w w, Wn az 
F 3(n—1) 
3 1 w, w w cs U3 
Me I 1 dad OT ead Pe atte abe oo E 


对 j,k 一 0，1，…，n 一 1，V, CR, DAERA at V, 中 元 素 的 指数 组 成 一 张 乘法 表 。 对 于 逆 
运算 a=DFT,"(y), 我们 把 y RA V, ABER V, 来 进行 处 理 。 

定理 30.7 j, k=0, 1, =, n—-1, V HG, DRADER a" /n. 

证 明 ”我 们 证 明 VV, =I, HPL, Wn Xn Ae. BBV V, PG, ) 处 的 元 素 : 


a-l n—l 
M Vle >) Gi /nd od y= a a 
k=0 k=0 


如 果 了 了 一 7， 则 此 和 为 1; 否则 ， 根 据 求 和 引 理 ( 引 理 30. 6)， 此 和 为 0。 注 意 ， 只 有 一 aI) 


j 一 j 委 "一 1， 使 得 7 一 7 不 能 被 整除， 才能 应 用 求 和 引 理 。 E 
2 Ee EM V ， 可 以 推导 出 DFT，(y) : 
aj = Ly (30. 11) 


其 中 7 一 0，1，…，7? 一 1。 通 过 比较 式 (30. 8) 与 式 (30. 11)， 我们 可 以 看 到 ， 对 FFT 算法 进行 如 
下 修改 就 可 以 计算 出 逆 DFT( 参 见 练习 30.2-4): 把 a 与 y 互 换 ， Mon 替换 w,， 并 将 计算 结果 
的 每 个 元 素 除 以 x。 因 此， 我 们 也 可 以 在 @(nlg7) 时 间 内 计算 出 DFT，。 913 
我 们 可 以 看 到 ， 通 过 运用 FFT 5% FFT, HAE (nlgn) 时 间 内 把 次 数 界 为 n 的 多 项 式 
在 其 系数 表达 与 点 值 表达 之 间 进 行 相互 转换 。 在 矩阵 乘法 的 相关 内 容 中 ,已 经 说 明了 下 面 
结论 。 
定理 30. 8( 卷 积 定 理 ) ”对 任意 两 个 长 度 为 nn 的 向 量 a fob, HP NAZAR, 
aQ) b = DFTa (DFT), (a) e DFT;, (5b)) 
其 中 向 量 a 和 已 用 0 填充 ， 使 其 长 度 达到 Qn, FA“. ”表示 2 个 2n 个 元 素 组 成 向 量 的 点 乘 。 OF 


练习 

30. 2-1 证 明 推 论 30. 4。 

30. 2-2 ”计算 向 量 (0，1，2，3) 的 DFT. 

30. 2-3 ”采用 运行 时 间 为 8(n1lgn) 的 方案 完成 练习 30. 1-1。 

30.2-4 SHARE, E (nlgn) 运 行 时 间 内 计算 出 DFT; : 。 

30.2-5 请 把 FFT 推 广 到 ”是 3 的 寡 的 情形 ， 写 出 运行 时 间 的 递归 式 并 求解 。 

*30.2-6 ”假设 我 们 不 是 在 复数 域 上 执行 n 个 元 素 的 FFT( 其 中 为 偶数 )， 而 在 整数 模 m 生成 的 环 
Z 上 执行 FFT， 其 中 mm 二 2”%? 十 1， 且 tt 是 任意 正 整数 。 在 模 m 的 意义 下 ， 用 w= 二 2 代替 
ws 作为 主 n 次 单位 根 。 证 明 : 在 该 系统 中 ，DFT 与 道 DFT 定义 是 完备 的 。 

30. 2-7 给 定 一 组 值 mx， mie: "9 zı (A) REA BS), 说 明 如 何 求 出 仅 以 Zo» Bs Tag Za CAT 
能 有 重复 ) 为 零点 的 一 个 次 数 界 为 n 十 1 的 多 项 式 PCz) 的 系数 。 你 给 出 的 过 程 运 行 时 间 
应 为 O(nlg*n)。( 提 示 : 当 且 仅 当 P(z) 是 (zx 一 zz) 的 倍数 时 ， 多 项 式 PE z 处 值 
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为 0。) 
*30. 2-8 一 个 向 量 a= (ao As **» wa_1) 的 线性 调频 变换 (chirp transform) 是 向 量 y=» bod Migs 


M1)» P ye = Sae ，z 是 任意 复数 。 因 此 ， 通 过 取 z 一 w，DEFT 是 线性 调频 变换 的 


对 任意 复数 z， 请 说 明 如 何在 Oozlgz) 时 间 内 求 出 线性 调频 变换 的 值 。( 提 
: 利用 等 式 


% = /2 > (ajz?” yg M2) 
可 以 把 线性 调频 变换 看 做 一 个 卷 积 。) 


30.3 ”高效 FFT 实现 


因为 DFT 的 实际 应 用 (如 信号 处 理 ) 中 需要 尽 可 能 快 的 速度 ， 本 节 将 探究 两 种 高 效 的 FFT 实 
现 方 法 。 首 先 ， 我 们 来 讨论 一 种 运行 时 间 为 6(n lgn) 的 FFT 迭代 实现 方法 ， 不过， 在 此 运行 时 
闻 的 @ 记 号 中 ， 隐 含 的 常数 要 比 30. 2 节 中 递归 实现 方法 的 常数 小 。( 如 果实 现 精 确 ， 这 个 递归 方 
法 可 能 会 更 加 高 效 地 应 用 硬件 缓存 。) 然 后 ,我们 将 深入 分 析 迭 代 实 现 方法 ,设计 出 一 个 高 效 的 并 
行 FFT 电 路 。 
FFT 的 一 种 迭代 实现 
首先 我 们 注意 到 ， 在 RECURSIVE-FFT 中 ， 第 10~13 行 的 for 循环 中 包含 了 oy 的 2 次 
计算 。 在 编译 术语 中 ， 我 们 称 该 值 为 公用 子 表达 式 (common subexpression) 。 我 们 可 以 改变 循环 ， 
使 其 仅 计 算 一 次 ， 并 将 其 存放 在 临时 变量 上 中 。 
for k=0 to n/2—1 
t=" 
= +t 
e+ (n/2) =y =% 
在 这 个 循环 中 ， 把 旋转 因子 wo 乘 以 y 岂 ， 把 所 得 乘积 存 人 tP, REA 次 ] 中 增加 及 减 
去 上 ， 这 一 系列 操作 称 为 一 个 蝴蝶 操作 (bufferfly operation), ， 图 30-3 图 解说 明了 执行 步 又。 
Jp yl + ogy yoy, 
yp -ogy 
(a) 


0) kyll 
WO 





图 30-3 一 个 蝴蝶 操作 。(a) 两 个 输入 向 量 从 左边 进入 ， 旋 转 因 子 ot FEU ye, 
和 与 差 在 右边 输出 。(b) 一 个 蝴蝶 操作 的 简化 草图 。 我 们 将 在 一 个 并 
ÍT FFT 电路 中 使 用 此 表达 


现在 来 说 明 如 何 使 FFT 算 法 采用 迭代 结构 而 不 是 递归 结构 。 在 图 30-4 中 ， 我 们 已 把 输入 向 
量 安排 在 一 次 RECURSIVE-FFT 调用 相关 的 各 次 递归 调用 中 ， 将 输入 向 量 安排 成 树 形 结构 ， 其 
中 初始 调用 时 有 ”一 8。 树 中 的 每 一 个 结 点 对 应 每 次 过 程 递 归 调 用 ， 由 相应 的 输入 向 量 标记 。 每 
次 RECURSIVE-FFT 调用 产生 两 个 递归 调用 ， 除 非 该 调用 已 收 到 了 1 个 元 素 的 向 量 。 第 一 次 调 
用 作为 左 孩 子 ， 第 二 次 调用 作为 右 孩 子 。 
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30-4 过 程 RECURSIVE-FFT 递归 调用 时 产生 的 输入 向 量 树 。 初 始 调 用 时 ”一 8 


观察 此 树 ， 我 们 注意 到 ， 如 果 把 初始 向 量 a 中 的 元 素 按 其 在 叶 中 出 现 次 序 进行 安排 ， 就 可 以 
对 过 程 RECURSIVE-FFT 的 执行 进行 追踪 ， 不 过 是 自 底 向 上 而 不 是 自 顶 向 下 。 首 先 ， 我 们 成 对 
取出 元 素 ， 利 用 一 次 蝴蝶 操作 计算 出 每 对 的 DFT， 然 后 用 其 DFT 取代 这 对 元 素 。 这 样 向 量 中 就 
包含 了 /2 个 二 元 素 的 DFT。 下 一 步 ， 我 们 按 对 取出 这 n/2 个 DFT， 通 过 两 次 蝴蝶 操作 计算 出 
具有 四 个 元 素 向 量 的 DFT， 并 用 一 个 具有 四 个 元 素 的 DFT 取代 对 应 的 两 个 二 元 素 的 DFT。 于 是 
向 量 中 包含 n/4 个 四 元 素 的 DFT。 继 续 进 行 这 一 过 程 ， 直 至 向 量 包 含 两 个 具有 n/2 个 元 素 的 
DFT， 这 时 ， 我 们 综合 应 用 n/2 次 蝴蝶 操作 ， 就 可 以 合成 最 终 的 具有 ?个 元 素 的 DFT。 
为 了 把 这 个 自 底 向 上 的 方法 变 为 代码 ， 我 们 采用 了 一 个 数组 AL0..z 一 1]， 初 始 时 该 数组 包 
含 输入 向 量 a 中 的 元 素 ， 其 顺序 为 它们 在 图 30-4 中 树叶 出 现 的 顺序 。( 我 们 在 后 面 将 说 明 如 何 确 
定 这 个 顺序 ， 这 也 称 为 位 逆序 置换 。) 因 为 需要 在 树 的 每 一 层 进行 组 合 ， 于 是 引入 一 个 变量 Wit 
算 树 的 层次 ， 取 值 范围 为 人 1( 在 最 底层 ， 这 时 我 们 组 合 对 来 构成 二 元 素 的 DFT) 到 lgn( 在 最 项 
层 ， 这 里 我 们 要 对 两 个 具有 n/2 个 元 素 的 DFT 进行 组 合 ， 以 产生 最 后 结果 )。 因 此 ， 这 个 算法 有 
如 下 结构 : 
1 for s=1 to lgn 
2 for k=0 to n—1 by 2° 
3 combine the two 2 一 -element DFTs in 
Alk .2+27?—VJand Ak +2"... 4-2-1) 
into one 2'-element DFT in ALR. .k+2'—1] 


我 们 可 以 用 更 精确 的 伪 代 码 来 描述 第 3 行 中 的 循环 主体 部 分 。 从 子 程序 RECURSIVE-FFT 中 复 
fi] for 循环 ， 让 y 与 A[k. .十 2 二 一 1 一 致 ，y 站 与 A[LRE 十 2 ..& 十 2 一 1 一 致 。 在 每 次 蝴蝶 
操作 中 ， 使 用 的 旋转 因子 依赖 于 s 的 值 ; Eo, WH, HP m=2), GABE m 仅 为 使 代码 
易 读 。) 我 们 又 引入 另 一 个 临时 变量 w， 使 得 能 恰当 地 执行 蝴蝶 操作 。 当 用 循环 主体 来 取代 第 3 
行 的 整个 结构 时 ， 就 得 到 下 面 的 伪 代 码 ， 它 是 稍 后 我 们 将 展示 的 并 行 实现 的 基础 。 这 个 代码 首 
先 调用 辅助 过 程 BIT-REVERSE-COPY(a，A)， 把 向 量 a 按 我 们 所 需要 的 初始 顺序 复制 到 数组 
A 中 。 


ITERATIVE-FFT(a) 
1 BIT-REVERSE-COPY(a,A) 
2 n=a. length //n is a power of 2 
3 for s=1 to lgn 
m=2' 
wp = e/m 
for k=0 ton—1 by m 
w=1 
for j=0 to m/2—1 
t=wALkt+j+m/2] 


© 0O 4 nn $ 
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10 u=A[kt+j] 

11 ALk+jJ=utt 

12 Alkt+j+m/2]=u-t 
13 W=WWm 

14 return A 


BIT-REVERSE-COPY 是 如 何 把 输入 向 量 a 中 的 元 素 按 希望 的 顺序 放 入 数组 A? 在 图 30-4 
中 ， 叶 出 现 的 顺序 是 一 个 位 逆序 置换 。 也 就 是 说 ， 如 果 让 rev(k) 为 的 二 进 制 表示 各 位 逆序 所 形 
成 的 lgn 位 的 整数 ， 那 么 我 们 希望 把 向 量 中 的 元 素 a 放 在 数组 的 ALrev(k)] 位 置 上 。 例 如 ， 在 
图 30-4 中 ， 叶 出 现 的 次 序 为 0， 4，2，6，1，5，3，7; 这 个 序列 用 二 进 制 表示 为 000，100， 
010，110，001，101，011，111， 当 把 二 进 制 表示 各 位 闭 序 后 ， 得 到 序列 000，001，010，011， 
100，101，110，111。 为 了 获得 一 般 情 况 下 的 位 逆序 置换 ， 注 意 到 在 树 的 最 顶层 ， 最 低位 为 0 的 
下 标 在 左 子 树 中 ， 以 及 最 低位 为 1 的 下 标 在 右 子 树 中 。 在 每 一 层 去 掉 最 低位 后 ， 我 们 沿 着 树 往 下 
继续 这 一 过 程 ， 直 到 在 叶子 得 到 由 位 逆序 置换 给 出 的 顺序 。 

由 于 很 容易 计算 函数 rev(&) ， 因 此 过 程 BIT-REVERSE-COPY 相对 简单 : 


BIT-REVERSE-COPY (a, A) 
1 n=a.length 

2 fork=0ton—l 

3 Alrev(k) ]=a, 


这 种 迭代 的 FFT 实现 方法 的 运行 时 间 为 O(n ign). AFA BIT-REVERSE-COPY(a，A) 的 运 
行 时 间 当 然 是 O(nlgn)， 因 为 迭代 了 nn 次 ， 并 可 以 在 O(lgn) 时 间 内 ， 把 一 个 0~~n 一 1 之 间 的 lgn 
位 整数 逆序 。( 在 实际 中 ， 通常 事先 知道 ”的 初始 值 ， 我 们 就 可 以 编制 出 一 张 表 ， 把 下 映射 为 
rev(k), {# BIT-REVERSE-COPY 的 运行 时 间 为 g(z) ， 且 该 式 中 隐 含 的 常数 因子 较 小 。 此 外 ， 
我 们 也 可 以 采用 思考 题 17-1 中 描述 的 聪明 的 摊 还 道 序 二 进 制 计数 器 方案 )。 为 了 完成 
ITERATIVE-FFT 的 运行 时 间 是 @(nlgn) 的 证 明 ， 需 要 说 明 最 内 层 循 环 体 (第 8 一 13 行 ) 执 行 次 数 
Li) A Onign). Xt s HRM, 第 6 一 13 行 的 for 循环 迭代 了 n/m=n/2 R, P 8 一 13 行 的 最 
内 层 循环 迭代 了 m/2=2 R. K, 


Lint = > lg 
s=1 s=1 





并 行 FFT 电路 

我 们 可 以 利用 能 高 效 实 现 一 个 迭代 FFT 算法 的 许多 性 质 ， 来 产生 一 个 高 效 的 并 行 FFT 算 
法 。 我 们 将 把 并 行 FFT 算法 表示 成 一 个 电路 。 图 30-5 给 出 了 n=8 时 , 已 知 n 个 输入 ,一 个 并 行 
FFT 电路 计算 FFT. 该 电路 开始 时 对 输入 进行 位 逆序 置换 ， 其 后 电路 分 为 lgn 级 ， 每 一 级 由 n/2 
个 并 行 执行 的 蝴蝶 操作 所 成 。 电 路 的 深度 定义 为 任意 的 输入 和 任意 的 输出 之 间 最 大 的 可 以 达到 
的 计算 元 素数 目 。 因 此 ， 上 面 电 路 的 深度 为 Ogn). 

并 行 FFT 电路 的 最 左边 的 部 分 执行 位 逆序 置换 ， 其 余部 分 模拟 兴 代 的 ITERATIVE-FFT 
过 程 。 因 为 最 外 层 for 循环 的 每 次 迭代 执行 n/2 次 独立 的 蝴蝶 操作 ， 于 是 电路 并 行 地 执行 它 
们 。 在 ITERATIVE-FFT 内 每 次 迭代 的 值 ;对 应 于 图 30-5 中 的 一 个 阶段 的 蝴蝶 操作 。 对 于 
s=1, 2, =, lgn， 阶 段 A n/2’ 组 蝴蝶 操作 (对 应 于 ITERATIVE-FFT 中 每 个 有 值 )， 每 组 
中 有 2” 个 蝴蝶 操作 (对 应 于 ITERATIVE-FFT 中 的 每 个 7 值 ) 。 图 30-5 所 示 的 蝴蝶 操作 对 应 
于 最 内 层 循环 的 蝴蝶 操作 (ITERATIVE-FFT 的 第 9~12 行 )。 此 外 ， 还 要 注意 ， 蝴 蝶 中 用 到 
的 旋转 因子 对 应 于 ITERATIVE-FFT 中 用 到 的 那些 旋转 因子 : 在 阶段 ;， 我 们 使 用 wns 
Wns oy on ’ 其 中 m= 2" s 
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图 30-5 一 个 计算 FFT 的 并 行 电路 ， 这 里 的 输入 为 n 一 8。 每 个 蝴蝶 操作 采用 两 条 线路 上 的 数值 和 一 
个 旋转 因子 来 当做 输入 ， 并 且 它 产生 两 条 线路 上 的 数值 作为 输出 。 不 同 阶 段 的 蝴蝶 操作 加 以 
标记 ， 对 应 于 ITERATIVE-FFT 过 程 的 最 外 层 循环 迭代 。 只 有 最 顶层 和 最 底层 通过 一 个 蝴 
蝶 操 作 的 线路 才 与 此 蝴蝶 操作 相互 作用 ; 而 通过 一 个 蝴蝶 操作 中 间 的 线路 不 会 影响 该 蝴蝶 操 
作 ， 它 们 的 值 也 不 会 被 该 蝴蝶 操作 改变 。 例 如 ， 在 第 2 阶段 顶端 的 蝴蝶 操作 不 会 影响 线路 1 
(输出 标示 为 y 的 线路 ); 它 的 输入 与 输出 只 在 线路 0 和 2 上 (分 别 标示 为 yo 和 ys)。 该 电路 
具有 深度 @( lgn)， 并 是 一 共 执 行 了 B@(nlgn) 个 蝴蝶 操作 


练习 

30.3-1 请 说 明 如 何 用 ITERATIVE-FFT 计算 出 输入 向 量 (0，2，3， 一 1，4，5，7，9) 的 DFT. 

30.3-2 请 说 明 如 何 实 现 一 个 FFT 算 法 ,注意 把 位 逆序 置换 放 在 计算 的 最 后 而 不 是 在 开始 。( 提 
T: 考虑 逆 DFT.) 

30. 3-3 ”在 每 个 阶段 中 ，ITERATIVE-FFT 计算 旋转 因子 多 少 次 ? HE ITERATIVE-FFT, 使 其 
在 阶段 ; 中 计算 旋转 因子 2”" 次 。 

*30.3-4 ”假设 FFT 电路 的 蝴蝶 操作 中 加 法 器 有 时 会 发 生 错 误 : 不 论 输 入 如 何 ， 它 们 的 输出 总 是 
为 0。 假设 确 有 一 个 加 法 器 失效 ,但 你 并 不 知道 是 哪 一 个 。 描 述 你 如 何 能 够 通过 给 整个 
FFT 电路 提供 输入 值 并 观察 其 输出 ， 找 到 那个 失效 的 加 法 器 。 你 的 方法 效率 如 何 ? 


30-1 (分 治 乘法 ) 
a 说 明 如 何 仅 用 三 次 乘法 ， 就 能 求 出 线性 多 项 式 az 二 与 cx 十 d HRB, AR: 有 一 个 
乘法 运算 是 (a 十 6)。(c 十 qd) 。) 
b 试 写 出 两 种 分 治 算法 ， 求 出 两 个 次 数 界 为 的 多 项 式 乘积 ,使 其 在 9(me ) 运 行 时 间 内 。 
第 一 个 算法 把 输入 多 项 式 的 系数 分 成 高 阶 系数 一 半 与 低 阶 系数 一 半 ， 第 二 个 算法 应 该 | of 
根据 其 系数 下 标的 奇偶 性 来 进行 划分 。 920 
c 证 明 : 请 说 明 如 何 用 OCn) 步 计算 出 两 个 位 整数 的 乘积 ， 其 中 每 一 步 至 多 常数 个 1 
位 的 值 进行 操作 。 
30-2 (ŻAR (Toeplitz) E) 特 普 利 茨 矩 阵 是 一 个 nXn 和 矩阵 A= (a;)， 其 中 对 于 i 二 2，3，…， 
n, j=2, 3, +) n, 满足 aj 二 a 1 1。 
a BME A CELA ALE EER ERRER? 乘积 又 如 何 ? 


921 
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30-3 


30-4 


30-5 
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b. 试 说 明 如 何 表示 特 普 利 芯 和 矩阵 才能 在 O(n) 时 间 内 求 出 两 个 nXn 特 普 利 获 和 矩阵 的 和 。 

c. 请 给 出 一 个 运行 时 间 为 O(nlgn) 的 算法 ， 能 够 计算 出 nXn 特 普 利 芯 矩阵 与 一 个 n 维 向 
量 的 乘积 。 请 运用 (b) 中 的 表示 。 

d 请 给 出 一 个 高 效 算法 计算 出 两 个 nXn 特 普 利 芯 矩阵 的 乘积 ， 并 分 析 此 算法 的 运行 时 间 。 

(多 维 快速 傅 里 叶 变 换 ) ”我们 可 以 将 式 (30. 8) 定 义 的 一 维 离散 健 里 叶 变 换 推 广 到 d 维 上 。 

这 时 输入 是 一 个 d AER RAE A = (aj; ,;,…,;,)， 维 数 分 别 为 m9 Nas °**s Nå» 其 中 mnz” ng — 

n, EX d ARBUS E AKAT : 


ml 2-1 


wih Joke seo, Jad 
Yk, sk, ony = 2a Say, sjsj Vn ny Wn, 


其 中 0 过 nti，0 志 过 ns， °°, 人 

a. 证 明 : 我 们 可 以 依次 在 每 个 维度 上 计算 一 维 的 DFT 来 计算 一 个 d 维 的 DFT。 也 就 是 
说 ， 首 先 沿 着 第 1 维 计算 n/n 个 独立 的 一 维 DFT。 然 后 ， 把 沿 着 第 1 维 的 DFT 结果 作 
AA, 我们 计算 沿 着 第 2 FEN n/m 个 独立 的 一 维 DFT。 利 用 这 个 结果 作为 输入 ， 我 
们 计算 沿 着 第 3 维 的 n/n, 个 独立 的 一 维 DFT， 如 此 下 去 ， 直 到 第 a 维 。 

b. 证 明 : 维度 的 次 序 并 无 影响 ， 于 是 可 以 通过 在 d 个 维度 的 任意 顺序 中 计算 一 维 DFT 来 
计算 一 个 a 维 的 DFT, 

c 证 明 : 如 果 采 用 计算 快速 傅 里 叶 变 换 计算 每 个 一 维 的 DFT， 那 么 计算 一 个 a 维 的 DFT 
的 总 时 间 是 O(nlgn)， 与 4 无 关 。 


( 求 一 个 多 项 式 在 茶点 的 所 有 阶 导 数 ) 已 知 一 个 次 数 界 为 n WERA), RELH t 
阶 导数 如 下 : 
A(x) ESO 
d ae 


A?’ (x) = aA’ @ Elara n=l 


0 Etn 
从 A(z) 的 系数 表达 (ao， ais °°, 1) 和 和 一 个 已 知 点 tos 我 们 希望 确定 A” (xo) > 其 中 i 二 
Os dws, Rs 
a. 给 定 系数 (b。， Ds y Bi) 满足 


A(z) = Sa (x— 2%)? 


说 明 如 何在 O(n) 时 间 内 计算 出 AY (zo)， Tot Os Ly tes mie 
b. 请 解释 如 何在 O(n Ign) AEB, bs eo brais BA AC tai), H R=0, 


A, bd = >| Det | 
HH, fP=a,-j!, FHE 
eee #—(n—-1)<1<0 
g@) = 
| 
d 请 解释 如 何在 O(nlgn) 时 间 内 求 出 A(Czo 十 迪 ) 的 值 ， 其 中 上 一 0，1，…，72 一 1。 请 总 
结 说 明 : 我 们 可 以 在 OGzlgz) 时 间 内 ， 求 出 ACz) 所 有 非 平凡 导数 在 zo 的 值 。 
〈 多 项 式 在 多 个 点 的 求 值 ) 我 们 已 经 看 到 ， 运 用 霍 纳 法 则 ， 如 何在 O(n) 时 间 内 求 出 次 数 
界 为 n 的 多 项 式 在 单个 点 的 值 。 同 时 ， 我 们 也 发 现 ， 远 用 FFT 能 在 O(nlgn) 时 间 内 求 出 
这 样 的 一 个 多 项 式 在 所 有 nn 个 单位 复数 根 处 的 值 。 现 在 我 们 就 来 说 明 如 何在 O(nlg*n) 时 
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间 内 ， 求 出 一 个 次 数 界 为 n 的 多 项 式 在 任意 7 个 点 的 值 。 
为 了 做 到 这 一 点 ,我 们 将 假设 下 面 未 经 证 明 的 结论 : 当 一 个 这 样 的 多 项 式 除 以 另 一 个 
多 项 式 时 ， 我 们 可 以 在 Olnlgn) 时 间 内 计算 出 该 多 项 式 的 余 式 。 例 如 ， 多 项 式 32° +2’ — 
3z 十 1 除 以 民 十 zx 十 2， 余 式 为 
(32° + 2? —3x2+1) mod (2? +242) =—Txt+5 


给 定 一 个 多 项 式 A(zx) = Sar 的 系数 表达 和 个 点 xo ,zx ，… Ser > RNA BSH n 


MEAC), Alx), EN a E D 对 Oxi j<n-1, 定义 多 项 式 P; (x) = || Gz) 
k=i 


和 多 项 式 Qj (2) =A(x) mod P(x), HERB, Qi (zx) 次数 至 多 是 j 一 i。 

a. 证 明 : 对 任意 点 z, Alx) mod (x 一 z) 二 A(z)。 

b. 证 明 : Qu (z)= 王 A(Cze) ， 以 及 QiCz) 一 A(Cz)。 

c 证 明 : 对 ik, 我 们 有 Qi (x) 二 Qj (x) mod Pa (x), 以 及 Qj; (x) =Q; Cz)mod PCz)。 
d. 给 出 一 个 运行 时 间 为 O(n I'MA., 以 求 出 ACH) 9 AGS) ws AG). 

30-6 (运用 模 算术 的 FFT) 如 定义 所 述 ， 离 散 傅 里 叶 变 换 CDFT) 计 算 时 需要 用 复数 ， 这 会 由 于 
舍 人 误差 而 导致 精确 度 丢 失 。 对 某 些 问题 而 言 ， 答 案 中 仅 包含 整数 ， 并 且 通 过 使 用 一 种 基 
于 模 算 术 的 FFT 的 不 同形 式 ， 我 们 可 以 保证 计算 的 答案 是 准确 的 。 一 个 此 类 问题 的 例子 
如 下 : 求 两 个 整 系数 多 项 式 的 乘积 。 练 习 30. 2-6 给 出 了 一 种 解决 方法 ， 即 运用 一 个 长 度 
为 QCz) 位 的 模 来 处 理 ”个 点 上 的 DFT。 下 面 给 出 了 另 一 种 方法 ， 即 用 一 个 更 为 合理 的 长 
BEA OClgn) Ws 它 要 求 你 事先 了 解 第 31 MAA. ten A 2 a. 

a. 假定 我 们 寻找 最 小 的 &， 使 得 p 二 kn 十 1 是 素数 。 请 给 出 下 列 结论 的 简单 而 有 启发 性 的 
理由 : 为 什么 我 们 希望 大约 是 lnn。(& 的 值 可 能 比 lnn 大 很 多 或 者 小 很 多 ， 但 是 我 们 
合理 的 期 望 ， 平 均 起 来 只 需 检 查 Ogm NREN k EOR p 的 期 望 长 度 与 的 长 度 
相 比 如 何 ? 

i g fi zZ 的 生成 元 ， 并 设 w=g modp。 

b. 说 明 DFT 与 逆 DFT 在 模 之 的 意义 下 是 定义 完备 的 道 运算 ， 其 中 也 是 主导 次 单位 根 。 

c. 证 明 : 在 模 p 意义 下 ，FFT SRM Ollem Ae. 其 中 长 度 为 OC len) fy 
字 上 操作 需要 单位 时 间 ， 并 假定 算法 已 知 p 和 w。 

d. 请 计算 出 向 量 (0，5，3，7，7，2，1，6) 在 模 p=17 下 的 DFT. TER, g=3 E Zi WE 
成 元 。 

本 章 注 记 

Van Loan 的 书 L343] 对 快速 傅 里 时 变换 做 了 特别 好 的 论述 。Press、Teukolsky、Vetterling 和 
Flannery 在 文献 L283，284] 中 很 好 地 描述 了 快速 侍 里 叶 变 换 及 其 应 用 。 对 于 信号 处 理 这 个 流行 的 
FFT 应 用 领域 ， 详 细 介绍 请 参考 Oppenheim 和 Schafer[266 ]， 以 及 Oppenheim 和 Willsky[267] 的 
教科 书 。Oppenheim 和 Schafer 的 书 也 介绍 了 如 何 处 理 ” 不 是 2 的 整数 次 宕 的 情形 。 

侍 里 叶 分 析 并 不 局 限于 一 维 的 数据 。 它 在 图 像 处 理 中 得 到 了 广泛 应 用 ， 用 来 分 析 二 维 或 更 
高 维 数据 。Gonzalez 与 Woods[146] 和 PrattL281] 的 书 中 讨论 了 多 维 传 里 叶 变 换 以 及 它们 在 图 像 
处 理 中 的 应 用 ， 另 外 ，Tolimieri、An 与 LuL338] 和 Van Loan[ 343] 的 书 中 讨论 了 多 维 快速 傅 里 时 
变换 的 数学 原理 。 

Cooley 与 Tukey[76] 因 在 20 世纪 60 年 代 发 明 FFT 而 声名 远 播 。 事实 上 ，FFT 在 之 前 已 经 
被 发 现 了 好 几 次 ,但 是 它 的 重要 性 在 现代 数字 计算 机 出 现 之 前 并 没有 被 充分 了 解 。 尽 管 Press, 
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Teukolsky, Vetterling 和 Flannery 将 这 个 方法 的 起 源 归 功 于 1924 年 的 Runge 和 Konig， 但 是 一 
篇 Heideman, Johnson 和 Burrus 的 论文 [163] 将 FFT 的 历史 一 直 追 溯 到 1805 年 的 C.F. Gauss. 
Frigo 和 JohnsonL117] 开 发 了 一 个 快速 的 、 可 扩展 的 FFT 实现 ， 称 为 FFTW( 西 方 的 最 快 的 
快速 傅 里 时 变换 (fastest Fourier transform in the West)) 。FFTW 设计 的 初 庄 是 为 了 解决 多 个 维 
度 的 DFT 计算 ， 具 有 同等 问题 规模 大 小 。 在 实际 计算 DFT 之 前 ，FFTW 执行 一 个 计划 信息 表 
(planner) ， 它 通过 一 系列 的 试 运行 ， 确 定 在 主机 上 对 于 给 定 的 问题 规模 ， 如 何以 最 好 的 方式 来 
分 解 FFT 进行 计算 。FFTW 能 够 针对 硬件 的 缓存 进行 高 效 的 自 适应 调整 ， 而 且 一 旦 子 问题 规模 
足够 小 FFTW 能 够 用 优化 的 直线 型 程序 (无 循环 程序 ) 解 决 。 此 外 ， 对 于 任意 问题 规模 n EE n 
是 一 个 大 素数 ) FFTW 都 有 不 凡 的 表现 ， 费 时 仅 Olgan). 
尽管 标准 的 傅 里 叶 变换 假设 输入 表示 点 均匀 地 分 布 在 时 间 域 ， 其 他 的 技术 可 以 在 不 均匀 分 
布 (nonequispaced) 的 数据 下 近似 地 计算 FFT。Ware[ 348] 的 文章 提供 了 一 个 概述 。 
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数论 算法 


数论 曾经 被 视 为 一 种 虽然 优美 但 却 没什么 用 处 的 纯 数 学 学 科 。 如 今 ， 数 论 算法 已 经 得 到 了 
广泛 的 使 用 。 这 很 大 程度 上 要 归功 于 人 们 发 明了 基于 大 素数 的 加 密 方法 。 快 速 计算 大 素数 的 算 
法 使 得 高 效 加 密 成 为 可 能 ， 而 目前 其 安全 性 的 保证 则 依赖 于 缺少 高 效 将 合 数 分 解 为 大 素数 之 积 
(或 求解 相关 问题 ， 如 计算 离散 对 数 ) 方 法 的 现状 。 本 章 介绍 一 些 数 论 知识 以 及 相关 的 算法 ， 它 们 
是 上 文 这 类 应 用 的 基础 。 

31. 1 节 介绍 数论 的 一 些 基 本 概念 ， 例 如 ， 整 除 性 、 等 模 和 唯一 因子 分 解 。31. 2 节 研 究 世界 
上 最 古老 算法 之 一 的 欧 几 里 得 算法 ， 它 用 于 计算 两 个 整数 的 最 大 公约 数 。31. 3 节 回 顾 模 运 算 的 
概念 。31. 4 节 研 究 整 数 a 的 倍数 模 的 结果 集合 ， 并 阐释 用 欧 几 里 得 算法 求 等 式 cz 一 mod n) 
的 全 部 解 的 方法 。31. 5 节 介 绍 中 国 余数 定理 。31. 6 节 考 察 整 数 a Rn 所 得 的 结果 集合 ， 描 
述 反复 平方 算法 ， 用 于 在 已 知 c、2 和 的 情况 下 ， 高 效 计算 a modn 的 结果 。 这 一 运算 是 进行 
高 效 素数 检测 和 许多 现代 密码 学 内 容 的 核心 部 分 。 在 此 之 后 ，31. 7 节 描 述 RSA 公 钥 加 密 系 统 。 
31. 8 节 讨 论 一 种 随机 性 素数 测试 方法 。 该 方法 可 用 来 高 效 地 查找 大 素数 ， 这 正 是 为 RSA 加 密 系 
统 创 建 密 钥 所 必需 的 。 最 后 ，31. 9 节 回 顾 一 个 简单 而 有 效 的 小 整数 因子 分 解 启 发 式 算法 。 有 趣 
的 是 ， 由 于 RSA 的 安全 性 依赖 于 大 整数 因子 分 解 的 难度 ， 人 们 怒 怕 更 希望 因子 分 解 是 一 个 无 多 
项 式 解 法 的 难题 。 

输入 规模 和 算术 计算 的 代价 

由 于 我 们 将 处 理 的 对 象 是 大 整数 ， 本 章 需 要 调整 对 于 输入 规模 大 小 和 基本 算术 运算 代价 的 
理解 。 

在 本 章 中 ,“ 大 输入 ?通常 指 包 含 “ 大 整数 ”的 输入 ， 而 不 是 包含 “很 多 整数 ”的 输入 ( 像 排序 问 
题 中 那样 )。 因 此 ， 我 们 利用 输入 所 需 的 位 数 来 度量 输入 的 大 小 ， 而 不 仅仅 是 输入 中 整数 的 数目 。 
给 定 丰 个 整数 输入 al ，w ，…，w ， 如 果 算 法 可 以 在 关于 lgal，lgas，…，lgas 的 多 项 式 时 间 内 
完成 ， 即 算法 在 关于 二 进 制 编码 后 的 输入 长 度 的 多 项 式 时 间 内 完成 ， 则 该 算法 称 为 多 项 式 时 间 
算法 。 

在 本 书 的 大 部 分 章节 中 ， 将 基本 算术 运算 (乘法 、 除 法 或 者 计算 余数 ) 视 为 只 耗费 单位 时 间 的 
原 语 操作 是 非常 方便 的 。 通 过 计算 算法 中 包含 的 这 类 算术 运算 的 数目 ， 可 以 为 合理 评估 算法 在 
计算 机 上 的 实际 运算 时 间 提 供 基准 。 然 而 ， 当 输入 很 大 时 ， 基 本 运算 也 会 变 得 耗 时 。 因 此 ， 用 数 
论 算法 所 需 的 位 运算 数目 作为 基准 来 衡量 算法 的 时 间 代 价 更 为 方便 且 合 适 。 在 此 模型 中 ,将 两 
个 8 位 整数 用 常规 方法 相 乘 需要 @(B?) 次 位 运算 。 同 样 ， 用 最 朴素 的 方法 计算 一 个 8 位 整数 除 以 
另 一 个 较 短 整数 的 商 或 余数 需要 耗 时 @(B?)。( 见 练习 31. 1-12。) 如 今 ， 人 们 已 经 有 了 更 快 的 计算 
方法 。 例 如 ， 一 个 简单 的 分 治 算法 可 以 在 两 个 8 位 整数 相 乘 的 问题 上 达到 OCB 到 ) 的 运行 时 间 。 
而 已 知 最 快 的 算法 则 只 需要 @(Blg Blglg BP) 的 运行 时 间 。 然 而 在 实际 问题 中 ，8@(B8?) 的 算法 往往 效 
果 最 好 。 我 们 也 将 以 该 界 作为 算法 分 析 的 基准 。 

本 章 将 既 使 用 算法 所 需 的 算术 运算 的 数目 ， 也 使 用 其 所 需 位 运算 的 数目 来 分 析 算法 。 


31.1 基础 数论 概念 


本 节 将 简单 回顾 基础 数论 中 关于 整数 集 Z 二 {…， 一 2， 一 1，0，1，2} 和 自然 数 集 N= 二 {0， 
1，2，…} 的 一 些 概念 。 
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整除 性 与 约 数 

一 个 整数 可 以 被 另外 一 个 整数 整除 是 数论 中 的 一 个 关键 概念 。 符 号 dla ( 读 作 “& BR oe WE 
义 是 ， 存 在 某 个 整数 &， 使 得 e 一 色 。 任 何 整 数 均 可 整除 0。 如 果 a>>0 且 ala, 那么 1dl 委 |a| 。 如 
果 dja， 则 称 a 是 a 的 倍数 。 如 果 a 不 能 整除 a， 则 写作 dta. 

如 果 dla 且 4d 宇 90， 则 称 4 是 a HAM. HER, dla 当 且 仅 当 一 41a， 即 a 的 任何 约 数 的 负数 
同样 可 以 整除 a。 因 此 ， 不 失 一 般 性 ， 可 规定 约 数 为 非 负 数 。 非 零 整 数 a 的 约 数 应 至 少 为 1， 且 
不 会 大 于 |a| 。 例 如 ，24 的 约 数 是 1，2，3，4，6，8，12 和 24。 

任何 正 整 数 a 均 可 被 平凡 约 数 1 和 其 自身 a 所 整除 。 整 数 a 的 非 平 凡 约 数 称 为 a 的 因子 。 例 
如 ，20 的 因子 是 2，4，5 和 10。 

素数 与 合 数 

如 果 一 个 整数 a>1 且 只 能 被 平凡 约 数 1 和 它 自身 所 整除 ， 则 这 个 数 是 素数 。 素 数 有 许多 特 
殊 的 性 质 。 它 在 数论 中 也 扮演 着 十 分 重要 的 角色 。 前 20 个 素数 按 序 排列 如 下 : 

2909091 s 11513517519 +23,29531537 541 543547,5359.61,67571 
练习 31. 1-2 要 求 读 者 证 明 存 在 无 穷 多 个 素数 。 如 果 一 个 整数 a 二 1 且 不 是 素数 ， 则 称 之 为 合 数 。 
例如 ，39 是 一 个 合 数 ， 因 为 3| 39。 称 整数 1 为 基本 单位 ， 并 且 它 既 不 是 素数 也 不 是 合 数 。 同 样 ， 
整数 0 和 所 有 负 整 数 既 不 是 素数 也 不 是 合 数 。 

除法 定理 、 余 数 和 等 模 

给 定 一 个 整数 x， 我 们 可 以 将 整数 集 划 分 为 n 的 倍数 和 非 n 倍数 两 部 分 。 通 过 计算 非 ”倍数 
RA n 的 余数 可 以 对 非 倍数 进行 有 效 分 类 。 而 许多 数论 理论 正 是 通过 这 种 分 类 来 改进 对 n 的 售 
数 和 非 n 倍数 的 划分 。 下 面 的 定理 给 出 该 改进 的 理论 基础 。 这 里 ， 我 们 忽略 了 其 证 明 ( 证 明 参 见 
Niven 和 Zuckerman[ 265 ] 等 ) 。 

定理 31. 1( 除 法 定理 ) ”对 于 任何 整数 a 和 任何 正 整 数 72， 存 在 唯一 整数 g 和 7r， 满 足 0<r<<m 
E a 二 gn 十 r。 E 

称 q= la/n 为 除法 的 商 ， 值 -二 a mod n 为 除法 的 余数 。z|a 当 且 仅 当 a modn=0, 

根据 整数 模 n 的 余数 ,我们 可 以 将 所 有 整数 划分 成 n 个 等 价 类 。 包 含 整 数 a 的 模 等 价 类 为 

[a], = {atkn:k € Z) 
例如 ，[3j; 二 《…， 一 11， 一 4，3，10，17，……}， 这 个 集合 同时 也 可 以 表示 为 [一 4]; 和 [10J,。 
a€ Lb], a=b(mod nn) 是 等 价 的 。 所 有 这 类 等 价 类 的 集合 是 
Z, = {La]n:0<a<n—1)} (31. 1) 





当 读 者 看 到 
Z, = {0,15** .2— 1} Geile 2 
这 个 定义 时 ， 按 照 式 (31. 1) 理 解 即 可 : 0 代表 [0],，1 代表 [1],， 等 等 ， 即 用 每 个 等 价 类 最 小 的 
非 负 元 素来 表示 该 等 价 类 。 然 而 ， 我 们 应 该 记 着 相应 的 等 价 类 。 例 如 ， 在 我 们 说 一 1 是 Z, 的 一 
个 元 素 时 ， 实 际 上 指 的 是 Ln 一 1],;， 因 为 一 1 寺 n 一 1(mod z) 。 
公约 数 与 最 大 公约 数 
WR d 是 a 的 约 数 并 且 4 也 是 5 的 约 数 ， 则 d 是 a 与 6 的 公约 数 。 例 如 ，30 的 约 数 包括 1、 
2、3、5、6、10、15 和 30， 因 此 24 与 30 的 公约 数 为 1、2、3 和 6。 需 要 注意 的 是 ，1 是 任意 两 
个 整数 的 公约 数 。 
公约 数 的 一 条 重要 性 质 是 : 
d|a Hd|b BF d| (a+b) 且 d|(a 一 6b) (31. 3) 
更 一 般 地 ， 对 任意 整数 z+ 和 »y， 有 
d|a 上 且 4dl|6 葛 涵 着 4d | (az 十 by) (31. 4) 
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##H, malb, BAlal<|b|, 或 者 6 二 0， 而 这 说 明 
alb Hbla 蕴涵 着 a =b (31.5) 
两 个 不 同时 为 0 的 整数 a 与 的 公约 数 中 最 大 的 称 为 其 最 大 公约 数 ， 记 作 ecd(a, b). PM, 
gcd(24, 30)=6, gced(5, 7)=1, gcd(0, 9)=9. MRa 与 不 同时 为 0， 则 gcd(a，5) 是 一 个 在 
1 与 min(|a|，|65|) 之 间 的 整数 。 定 义 gcd(0，0) 二 0， 该 定义 是 使 gcd 函数 的 基本 性 质 ( 如 下 面 
的 等 式 (31. 9)) 普 遍 成 立 所 必 不 可 少 的 。 


下 列 性 质 是 gcd 函数 的 基本 性 质 : 
gcd(a,b)= gcd(b,a) (31. 6) 
gcd(a,b)= gcd(— a,b) GLD 
gcd(a,b)= gcd(|a| ,165|) (31. 8) 
gcd(a,0)= |a| (31. 9) 
gcd(a,kay= |a|] 对 任意 &ELZ (31. 10) 


下 面 的 定理 给 出 了 gcd(a，5) 的 男 外 一 个 有 用 特征 。 

定理 31.2 ”如果 任意 整数 & 和 8 不 都 为 0， 则 gcd(a, 中) 是 a 与 6 的 线性 组 合集 {azx 十 by: zx, 
IEZ) 中 的 最 小 正 元 素 。 

证 明 设 * 是 a 与 2 的 线性 组 合集 中 的 最 小 正 元 素 ， 并 且 对 某 个 z，yEZ， 有 s=artby. 
设 q=La/s|, WAG. 8) 说 明 

a mods = a— qs =a—q(axr + by) = a(l — qr) +b(— qy) 

因此 ，a mod s 也 是 a 与 5 的 一 个 线性 组 合 。s 是 这 个 线性 组 合 中 的 最 小 正 数 ， 由 于 Oa mod s<s, 
故 有 a mod s 二 0。 因 此 有 sla, BMH, WBA slo. AIE, s 是 a 与 5 的 公约 数 ， 所 以 
ged(a, b)>s, AA gcdla, DAN Ra 与 整除， 并 且 * 是 < 与 2 的 一 个 线性 组 合 ， 所 以 
由 式 (31. 4) 可 知 gcdCa，p) |s。 但 由 于 gcd(a, b) |s H s>0, Alb gcd(a, D<s. BEMBIE 
HWecd(a, D>s5 gcdla, Ds BAR, BEB gcd(a，5) 二 s， 因 此 证 明了 s 是 a 与 5b 的 最 
大 公约 数 。 m 

推论 31.3 ”对 任意 整数 a 5b, w dla Hdlb, A) d|gedla, b), 

证 明 根据 定理 31.2, gedla, bD Æa Fb 的 一 个 线性 组 合 ， 所 以 由 式 (31. 4) 可知， 该 推论 
成 立 。 m 

推论 31.4 对 所 有 整数 a 和 2 ARARA KH, A 

gcd(an,bmn) = n gcd(a,b) 
证 明 如 果 n= 二 0, 该 推论 显然 成 立 。 如 果 n>, MW gcd(an，bn) 是 集合 {anz 十 bny: x, 


yE2Z} 中 的 最 小 正 元 素 ， 即 集合 {az 十 by: z，yEZ} 中 最 小 正 元 素 的 2” 倍 。 a 
推论 31.5 对 于 任意 正 整 数 n、a 和 465， 如 果 nlab A gcdla, n)=1, R] nlb, 
证 明 ”证明 过 程 留 作 练 习 31. 1-5。 m 
互 质数 


如 果 两 个 整数 a 与 5 只 有 公约 数 1， 即 gcdla, b)=1, Nja 5b 称 为 互 质数 。 例 如 ，8 和 15 
是 互 质数 ， 因 为 8 的 约 数 为 1、2、4、8， 而 15 的 约 数 为 1、3、5、15。 下 面 的 定理 说 明 如 果 两 
个 整数 分 别 与 一 个 整数 p 为 互 质数 ， 则 其 积 与 p 互 质 。 

定理 31.6 Ee RK a, bap, w geda, p)=1 且 gcd(b, p)=1, M ged(ab, p)=1. 

证 明 由 定理 31. 2 可 知 ， 存 在 整数 zx、y、z' 和 y 满足 

ax + py= 1 
bc'+ py’=1 
把 上 面 两 个 等 式 两 边 分 别 相 乘 ， 经 过 整理 得 
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ab(zxr')++plybz'yaripyy')=1 


因为 1 是 ab 与 p 的 一 个 正 线 性 组 合 ， 所 以 应 用 定理 31. 2 就 可 以 证 明 结 论 。 i 
对 于 整数 ny ，ns。，…，n,， 如 果 对 任何 iA 都 有 ecd(n;, nj) =1, WBA m, m, o> m 
两 两 互 质 。 
唯一 因子 分 解 定 理 


下 面 的 结论 说 明 关 于 素数 整除 性 的 一 个 基本 而 重要 的 事实 。 

定理 31.7 对 所 有 素数 p 和 所 有 整数 a,， b, wR plab, WM pla 或 p15( 或 两 者 都 成 立 )。 

证 明 采用 反 证 法 , Bit plab, 但 pta 并且 p15。 因 此 ， gcd(a, p)=1 H ged(b, p)=1, 
这 是 因为 p 的 约 数 只 有 1 和 pp， 又 因为 假设 4a 和 5。 都 不 能 被 pb 整除。 由 定理 31.6 可 知 ， 
gcd(ab, p)=1; HIRIE plab 可 知 gcdC(abp，p) 二 p， 于 是 产生 矛盾 ， 从 而 证 明定 理 成 立 。 a 

从 定理 31.7 可 知 ， 任 意 一 个 合 数 的 素 因 子 分 解 式 是 唯一 的 。 

定理 31. 8( 唯 一 因子 分 解 定理 ) 含 数 4 仅 能 以 一 种 方式 写成 如 下 乘积 形式 : 

a = pi peo pr 

其 中 p; ABR, Ipp, He 为 正 整数 。 

证 明 证 明 过 程 留 作 练 习 31. 1-11, | 

例如 ， 数 6000 可 以 唯一 地 分 解 为 2。3。5:。 


练习 

31.1-1 证 明 : #a>b>c, H c=a+b, Ril cmoda=6b, 

31. 1-2 证 明 有 无 穷 多 个 素数 。 (提示 : 证 明 素 数 pi» Dor tts PE 都 不 能 整除 (pi ps…pi) 十 1)。) 
31.1-3 WE: 如 果 al5 且 61lc， 则 alc。 

31.1-4 证 明 : WR p 是 素数 并 是 O<k<p, WM ged, p)=1, 

31.1-5 证 明 推 论 31. 5。 


31. 1-6 证 明 ， 如 果 是 素数 且 0<k<p， 则 p| | 了 |。 证 明 对 所 有 整数 a、 65 和 素数 p， 有 


(a+b)? =a’ +b (mod p) 
31.1-7 证 明 : 如 果 a 和 9 是 任意 正 整数 ， 且 满足 &|2， 则 对 任意 x, 
(x mod b) moda = x moda 
在 相同 的 假设 下 ,证明 对 任意 整数 zx 和 y， 如 果 z=yCmod db), Il] z= (mod a), 
31.1-8 对 任意 整数 & 之 0， 如 果 存 在 一 个 整数 <， 满 足 必 一 2， 则 称 整数 ”是 一 个 天 次 宕 。 如 果 
对 于 某 个 整数 RS 1, nl EPR. ME n BAEP AR. UAT CHAM 
式 时 间 内 判定 一 个 8 位 整数 n FE ARO PLE. 
31.1-9 证 明 等 式 (31. 6)~(31. 10)。 
31.1-10 WH: 最 大 公约 数 运算 满足 结合 律 ， 即 证 明 对 所 有 整数 a、5 和 c， 
gcd(a,gcd(b,c)) = gcd(gcd(a,b),c) 


= 


“31. 1-11 证 明和 定理 31. 8。 


31.1-12 试 写 出 计算 8 位 整数 除 以 短 整 数 的 高 效 算 法 ， 以 及 计算 8 位 整数 除 以 短 整数 的 余数 的 
高 效 算法 。 所 给 出 的 算法 的 运行 时 间 应 为 8(8? ) 。 

31.1-13 写 出 一 个 高 效 算法 ， 用 于 将 8 位 二 进 制 整数 转化 为 相应 的 十 进 制 表 示 。 证 明 : 如 果 长 
度 至 多 为 8 的 整数 的 乘法 或 除法 运算 所 需 时 间 为 M(8)， 则 执行 二 进 制 到 十 进 制 转 换 所 
需 的 时 间 为 OMOEA. Ar: 应 用 分 治 法 ,分 别 使 用 独立 的 递归 计算 结果 的 前 段 
和 后 段 。) 
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31.2 最 大 公约 数 

在 本 节 中 ， 我们 将 描述 高 效 计算 两 个 整数 最 大 公约 数 的 欧 几 里 得 算法 。 在 对 其 运行 时 间 进 
行 分 析 的 过 程 中 ， 我 们 将 发 现 它 与 斐 波 那 契 数 存在 着 惊人 联系 ， 由 此 可 知 欧 几 里 得 算法 最 坏 情 
况 下 的 输入 。 

在 本 节 中 ， 我 们 仅 对 非 负 整数 进行 讨论 。 由 式 (31. 8) 可 知 ，gcd(a, 5) 二 gcd(|a| ,15| ) 这 一 


限制 是 有 道理 的 。 
原则 上 讲 ， 可 以 根据 a 和 6 的 素 因 子 分 解 求 出 正 整 数 a 和 6 的 最 大 公约 数 gcd(a，b)。 的 确 ， 如 果 
o= He el (31.11) 

a peet (31. 12) 


其 中 使 用 了 零 指 数 ， 从 而 使 得 素数 集合 pis br» > oda 和 6 相同 ， 正 如 练习 31. 2-1 要 求 
读者 证 明 的 ， 
gcd(a,b) = pD pD se peso (31. 13) 
我 们 将 在 31.94 PULA, ARTE ARMAS A REARS STM AIS. 
因此 ， 利 用 这 种 方法 来 计算 最 大 公约 数 不 大 可 能 获得 高 效率 。 
计算 最 大 公约 数 的 欧 几 里 得 算法 基于 如 下 定理 。 
定理 31. 9(GCD 递归 定理 ) ”对 任意 非 负 整数 4a 和 任意 正 整 数 D， 
gcd(a,b) = gcd(b,a mod b) 
WEAR 下 面 将 证 明 gcd(a,， 5) 与 gcd(5，a mod 5) 可 以 互相 整除 ， 这 样 由 等 式 (31.5) 可 知 ， 它 
们 一 定 相 等 (因为 它们 都 是 非 负 整数 )。 
首先 证 明 gcd(a, b)| gcd(5，a mod 5)。 如 果 设 d=gcdla, b), WA dla 上 且 d15。 由 等 
式 (3.8) 可 知 ，(a mod 5b) 二 a 一 go， 其 中 g 二 [a/b5]。 因 为 a modb 是 a 与 的 线性 组 合 ， 所 以 由 等 
式 (31.4) 可 知 ,，d| (a mod 5)。 因 此 ， 由 于 dl16b Hd|(amodd), HH 31.3 可 得 d| gcd(b， 
amodb), 或 者 有 等 价 结 论 
gcd(a,b) | gcd(b,a mod b) (31. 14) 
证 明 gcd(b, a modb) | gcdla,，5) 的 过 程 几乎 与 上 述 过 程 相同 。 如 果 设 d=gcd(b, amodd), 
WW d|b Hd|(amodd), HF a=qb+ (a modb), HEF q= La/b] ， 所 以 a 是 b 和 (a mod5) 的 一 个 
线性 组 合 。 由 等 式 (31. On dla. HF dlb 且 d|1a， 故 根据 推论 31.3, d|gcdla, b), 或 者 有 
等 价 结 论 
gcd(b,a mod b) | gcd(a,b) (31. 15) 
运用 式 (31. 5) ， 再 根据 式 (31. 14) 与 式 (31. 15) ， 就 可 以 完成 对 本 和 定理 的 证 明 。 a 
欧 几 里 得 算法 
欧 几 里 得 ( 约 公 元 前 300 年 ) 的 4 几何 原本 ;描述 了 下 列 gcd 算 法， 实际 上 这 一 算法 出 现 的 时 间 
可 能 还 要 早 些 。 我 们 将 其 描述 为 一 个 由 定理 31. 9 直接 得 到 的 递归 程序 ， 其 输入 a 和 2 都 是 任意 
非 负 整数 。 
EUCLID(a,6) 
1 if 6==0 
2 return a 
3 else return EUCLID(6,a mod b) 


下 面 举例 说 明 EUCLID 的 运行 过 程 。 考 虑 gcd(30，21) 的 计算 过 程 : 





O 存在 量子 计算 机 的 因子 分 解 算法 ， 即 秀 尔 算法 (Shor"s Algorithm)。 一 一 译 者 注 
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EUCLID(30,21) = EUCLID(21,9) = EUCLID(9,3) = EUCLID(3,0) = 3 
该 计算 过 程 三 次 递归 调用 了 EUCLID。 

过 程 EUCLID 的 正确 性 可 以 从 定理 31. 9 以 及 下 列 性 质 推 出 : 如 果 算 法 在 第 2 ITRE a, W 
pb 一 0。 因 此 由 式 (31. DTA, gedla, b)=gcdla, 0 一 <。 因 为 在 递归 调用 的 过 程 中 第 二 个 参数 
的 值 单调 递减 且 始 终 非 负 ， 所 以 算法 不 可 能 无 限 递归 下 去 。 因 此 ，EUCLID 总 能 终止 并 求 出 正确 
答案 。 

欧 几 里 得 算法 的 运行 时 间 

下 面 来 分 析 EUCLID 算法 在 最 坏 情况 下 的 运行 时 间 ， 我 们 把 它 看 成 输入 & 与 2 的 大 小 的 函数 。 不 
失 一 般 性 ， 设 6 过 0。 为 了 确定 这 个 假设 的 合理 性 ， 注 意 如 果 bao, M EUCLID, DZA RÉ 
归 调 用 EUCLIDC5，a)， 即 如 果 第 一 个 自 变 量 小 于 第 二 个 自 变 量 ， 则 EUCLID 进行 一 次 递归 调用 
以 对 调 两 个 自 变 量 ， 然 后 继续 执行 。 类 似 地 ， 如 果 2 一“ 二 0， 则 过 程 在 进行 一 次 递归 调用 后 就 终 
止 执行 ， 因 为 a mod b=0, 

过 程 EUCLID 的 运行 时 间 与 其 递归 调用 的 次 数 成 正比 。 在 我 们 的 分 析 过 程 中 ， 用 到 了 由 递 
归 式 (3. 22) 定 义 的 斐 波 那 契 数 Fo 

引 理 31. 10 ”如 果 a>b>1 并 且 EUCLID(G, DHATI KS 1 次 递归 调用 ， 则 aS Fu, bP. 

证 明 通过 对 进行 归纳 来 证 明 引 理 。 作 为 归纳 的 基础 ， 设 & 王 1， 则 b 宇 1 二 。 又 由 于 
a>b, VA a 宇 2 二 Ff。 因为 6 汪 (a mod 5)， 即 在 每 次 调用 中 ， 第 一 个 变量 严格 大 于 第 二 个 变量 ， 
因此 对 每 次 递归 调用 ,假设 a>} 成立。 

假设 执行 一 1 次 递归 调用 时 引 理 成 立 。 下 面 将 证 明 若 执行 次 递归 调用 ， 引 理 同样 成 立 。 因 
为 &>0， 所 以 有 b>0, #H EUCLID(a, 递归 调用 EUCLID(5，a mod b), 该 函数 依次 进行 了 
& 一 1 次 递归 调用 。 根 据 归纳 假设 可 知 6 二 ,1( 因 此 也 就 证 明了 引 理 的 一 部 分 )， 且 a mod 5 宇 F。 我 
们 有 

b+ (a modb) = 6+ (a—bla/b) <a 
因为 a>b>0 可 导出 La/5b 记 1， 所 以 
aSb+(amodbd) > Fy, + F, = Fy | 

下 面 的 定理 是 这 个 引 理 的 一 个 直接 推论 。 

定理 31.11(Lamé EH) HER RHR, w a>b>l, HO< Fy, WM EUCLID, 1% 
递归 调用 次 数 少 于 有 R 次 。 

通过 证 明 当 k>2 时 ，EUCLIDCFiyi;，Fi) 怡 好 进行 了 一 1 次 递归 调用 ， 可 以 证 明定 理 
31.11 中 的 上 界 是 最 优 的 。 对 于 二 2 的 基本 情况 ，EUCLID(F;，F;) 恰 好 进行 1 次 调用 ， 变 为 
EUCLID, O (我 们 必须 从 & 二 2 开始 ， 因 为 k==1 时 ， 无法 得 到 PLS FL), AAAA, Bit 
EUCLID(F;，F 1) 恰好 进行 了 一 2 次 递归 调用 。 因 为 二 2,， 有 FF 1>0 H Raw =F, t 
Fii» 又 由 练习 31, 1-1 有 Fei mod Fy = Fris TE. 有 

gcd( Fa s FF) = ged(F,, Fy, mod F,) = gcd Fes Fra) 
因此 ，EUCLID(CFiy1，F) 的 调用 次 数 恰 好 比 EUCLID(F;，F_1) 多 一 次 ， 即 恰好 一 1 次 ， 从 而 
达到 定理 31. 11 中 的 上 界 。 

由 于 FRAN, AE EAR. 24) 定 义 的 黄金 分 割 率 (1+V5)/2， 所 以 EUCLID 执行 
中 递归 调用 的 次 数 为 OClg 5)。( 更 紧 的 界 见 练习 31. 2-5.) 因 此 ， 如 果 过 程 EUCLID 作用 于 两 个 8 
位 数 ， 则 它 将 执行 008) 次 算术 运算 和 O(08 ) 次 位 操作 (假设 8 位 数 的 乘法 和 除法 运算 要 执行 0(82) 
次 位 操作 )。 思 考题 31-2 要 求 读者 证 明 位 操作 次 数 的 界 为 008? ) 。 

欧 几 里 得 算法 的 扩展 形式 

现在 重 写 欧 几 里 得 算法 以 计算 出 额外 的 有 用 信息 。 特 别 地 ， 我 们 推广 该 算法 用 于 计算 出 满 
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足下 列 条 件 的 整 系数 和 y: 

d= gcd(a,b) = ax + by (31. 16) 
注意 ,x 与 y 可 能 为 0 或 负数 。 我 们 将 会 发 现 这 些 系 数 对 计算 模 乘法 的 逆 是 非常 有 用 的 。 过 程 
EXTENDED-EUCLID 的 输入 为 一 对 非 负 整数 ， 其 返回 一 个 满足 式 (31. 16) 的 三 元 组 (d，xz，y)。 


EXTENDED-EUCLID(a,6) 
1 if6==0 

2 return(a,1,0) 

3 else(d',x' , y')=EXTENDED-EUCLID(é,a mod b) 
4 (d,z,y)=(d',y',2'—|a/bly') 

5 return(d,z,y) 















图 31-1 演示 了 用 EXTENDED-EUCLID 计算 gcd(99，78) 的 过 程 。 [ 937, 
[a b lab] d x 7 
99 78 1 3 =l] 14 
78 21 3 3 3 -ll 
21 13 1 3 —2 3 
15. 6 2 3 1 -2 
6 3 2 3 
0 — 3 








图 31-1 Fa EXTENDED-EUCLID 计算 gcd(99，78) 。 每 行 显示 一 层 递 归 调 用 : 输入 a 和 6 
的 值 ， 计 算数 值 [a/56]， 并 返回 值 4，z 和 y。 返 回 的 三 元 组 (&，z，y) 成 为 三 元 组 
(& ，z ，y )， 在 更 高 一 层 递 归 中 使 用 。 调 用 EXTENDED-EUCLID(99，78) 返 回 
(3， 一 11，14)， 故 gcd(99，78) 王 3 一 99 。( 一 11) 十 78 。14 


过 程 EXTENDED-EUCLID 是 过 程 EUCLID 的 一 个 变形 。 第 1 行 等 价 于 EUCLID 第 1 行 中 
的 测试 “5b 二 二 0”。 如 果 6 二 0， 则 EXTENDED-EUCLID 不 仅 返 回 第 2 行 中 的 4 一 <， 而 且 返 回 系 
数 zx 王 1 和 y=0, 使 得 4 二 ax 十 5y。 如 果 640, WW) EXTENDED-EUCLID 首先 计算 出 满足 d'= 
gcd(b, a mod b) 和 

d' = bx' + (a mod b) y' (31. 17) 
的 (d ,xz ，y)。 对 过 程 EUCLID 来 说 ， 在 这 种 情况 下 ， 有 d=gcd(a, b)=d'=gcdlb, a mod 5b)。 
为 了 得 到 满足 4 一 az 十 by 的 和 y, PAER d= 二 d' 和 式 (3. 8) 来 改写 式 (31. 17): 
d = br'+(a—b|a/b)y' = ay’ +b(2' —la/bly') 

因此 ， 当 选择 r= y 和 y=2'—La/bly'H, RA W EER &=az 十 by， 从 而 证 明了 过 程 
EXTENDED-EUCLID 的 正确 性 。 

由 于 在 EUCLID 中 ， 所 执行 的 递归 调用 次 数 与 EXTENDED-EUCLID 中 所 执行 的 递归 调用 
次 数 相 等 ， 因 此 ，EUCLID 4 EXTENDED-EUCLID 的 运行 时 间 相 同 ， 两 者 相差 不 超过 一 个 常数 
因子 ， 即 对 a>b>0. 递归 调用 的 次 数 为 OC lg b). 


练习 
31. 2-1 证 明 : 由 式 (31. 11) 和 式 (31. 12) 可 推 得 式 (31. 13), 
31.2-2 计算 调用 过 程 EXTENDED-EUCLID(899, 493) MUIR EMEX (d, x, y). 
31.2-3 证 明 : 对 所 有 整数 a, kin, 
gcd(a,n) = gcd(a+kn,n) 
31.2-4 仅 用 常数 大 小 的 存储 空间 ( 即 仅 存 储 常数 个 整数 值 ) 把 过 程 EUCLID 改写 成 迭代 形式 。 
31.2-5 如 果 a>b>0, WEH: EUCLID, 65) 至 多 执行 1 十 log,2 次 递归 调用 。 把 这 个 界 改 进 
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H1+log,(b/gcd(a, b)). 


31.2-6 过程 EXTENDED-EUCLID(Fi+1，Fi) 返 回 什 么 值 ? 证 明 答案 的 正确 性 。 
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31.2-7 利用 递归 等 式 gcd(ao，a1，…，a,) 二 gcd(ao，gcd(a，…，a,)) 定 义 多 于 两 个 变量 的 
gcd 函数 。 说 明 gcd 函数 的 返回 值 与 其 参数 次 序 无 关 。 同 时 说 明 如 何 找 出 满足 gcd (ay, 
Ais s Aq) = Ao xy Hati + t+a,x, 的 整数 ze，z，…，z。 证 明 所 给 出 的 算法 执行 除 
法 运算 的 次 数 为 O(z 十 lg (max{ao，a ，…，aw)))。 

31.2-8 ”把 nn 个 整数 4a，…，a, 的 最 小 公 倍 数 定义 为 lem(al，as，*…，a,)， 即 每 个 a; 的 倍数 中 
的 最 小 非 负 整数 。 说 明 如 何 使 用 (具有 两 个 自 变 量 的 ) gcd 函数 作为 子 程序 才能 高 效 计算 
tH lem(ay, dgs wy Gado 

31.2-9 WE: m, m, n 和 ns 是 两 两 互 质 的 当 且 仅 当 

gcdlninz ,nam) = ged(mn3 snn) = 1 
更 一 般 地 ， 证明 : m, m, 0, m 两 两 互 质 ， 当 且 仅 当 从 n, 中 导出 的 [lgk1] 对 整数 互 为 质 
数 。 


31.3 jz 
可 以 把 模 运 算 非 正式 地 与 通常 的 整数 运算 一 样 看 待 ， 如 果 执 行 模 运算 ， 则 每 个 结果 值 x 都 
由 集合 {0，1，…，n 一 1} 中 的 某 个 元 素 所 取代 ， 该 元 素 在 模 n 的 意义 下 与 x 等 价 ( 即 用 xmodn 来 
取代 zx)。 如 果 仅 限于 运用 加 法 、 减 法 和 乘法 运算 ， 则 用 这 样 的 非 正 式 模型 就 足够 了 。 模 运算 模 
型 最 适合 于 用 群 论 结构 来 进行 描述 ， 下 面 就 给 出 更 为 形式 化 的 模型 。 
有 限 群 
群 (S$， 申 ) 是 一 个 集合 S 和 定义 在 S 上 的 二 进 制 运算 四 ， 该 运算 满足 下 列 性 质 : 
1. 封闭 性 : 对 所 有 ac，pES， 有 a 中 bpES。 
2. 单位 元 : 存在 一 个 元 素 eE S， 称 为 群 的 单位 元 ， 满 足 对 所 有 4a€S, e Da=a®e=a, 
3. 结合 律 : 对 所 有 a, b,cES， 有 (a 四 站 申 c 一 2 由 (0 四 c)。 
4, Bic: 对 每 个 a€ S， 存 在 唯一 的 元 素 OES, WA a 的 逆 元 ， 满 足 a 四 2 一 Dase, 
例如 ， 考 察 一 个 熟知 的 在 加 法 运算 下 整数 Z 所 构成 的 群 (Z， 十 ): 0 是 单位 元 ，a 的 道 元 为 
一 a。 如 果 群 (S， 申 ) 满 足 交 换 律 ， 即 对 所 有 a,，6bE S， 有 a 名 5 二 6b 名 a， 则 它 是 一 个 交换 群 9 。 
如 果 群 (9， 四 ) 满 足 |S| 天 ce， 则 它 是 一 个 有 限 群 。 
由 模 加 法 与 模 乘法 所 定义 的 群 
通过 对 模 n 运用 加 法 与 乘法 运算 ,可 以 得 到 两 个 有 限 交 换 群 ， 其 中 nn 是正 整数 。 这 些 群 基于 
31.1 节 中 定义 的 整数 模 n 所 形成 的 等 价 类 。 
我 们 需要 合适 的 二 元 运算 来 定义 Z, 上 的 群 ， 该 运算 可 以 通过 重新 定义 普通 的 加 法 运算 与 乘 
法 运算 得 到 。Z, 上 的 加 法 与 乘法 运算 很 容易 定义 ， 因 为 两 个 整数 的 等 价 类 唯一 决定 了 其 和 或 积 
的 等 价 类 。 也 就 是 说 ， 如 果 a=a' (mod n) 和 b=b' (mod n), HRA 
a 十 b 二 a' 十 b'(modn) 
ab= a'b' (mod n) 
因此 ， 定 义 模 n 加 法 与 模 n 乘法 如 下 (分 别 用 十 , Fl +, 表示 ) : 
lah Ll = Lat (31. 18) 
La], eLo] = Lab], 
(Z, 上 的 减法 可 类 似 定 义 为 Laj, 一 ,Lbj, 二 La 一 6j,;， 但 下 面 将 会 看 到 ， 除 法 的 定义 要 复杂 一 些 ,) 


日 ”原文 直译 应 为 阿 贝尔 群 ， 和 交换 群 同 义 。 一 一 译 者 注 
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这 些 事实 说 明 在 Z 中 进行 计算 时 ， 可 以 很 方便 地 使 用 每 个 等 价 类 的 最 小 非 负 元 素 作为 其 代表 ， 
这 种 方法 也 具有 一 般 性 。 我 们 对 这 些 代表 元 素 像 整 数 那样 执行 加 法 、 减 法 与 乘法 ， 但 每 个 结果 x 
都 由 其 所 对 应 类 的 代表 元 素 代 替 ( 即 用 工 modz 来 代替 )。 

运用 该 模 n 加 法 的 定义 ,定义 模 n 加 法 群 (Z,， 十 ,)， 它 的 规模 为 | Z| =n. A 31-2(a) 给 出 
TZ, FORZAR. 























ha A UNEO 

na A WN = CO] Oo 
CoM A WN =j =m 
r OM fF WN! N 
NH OM FW] wm 
bm 上 | 上 
上 wb OU|N 








(a) Cb) 


图 31-2 两 个 有 限 群 ， 其 等 价 类 由 其 代表 元 素 表 示 。(a) 群 (Z6， 十 6)。 
(b) 群 (Zi ，…15) 

定理 31. 12 系统 (Z,， 十 ,) 是 一 个 有 限 交 换 群 。 

证 明 式 (31. 18) 表 明 (Z,， 十 ,) 是 封闭 的 。 由 十 满足 交换 律 与 结合 律 可 以 推出 十 , 满足 交换 
律 与 结合 和 

(Cal, Lol) +,0¢c],= Ca +o], 4c], = ((atb)+c], =[at+%+o], 
= [a], +.06+c¢], = Ca], tL taleh 
La], +.[b],= La +b], = [bta], = Cb], +a], 

(Z, +, ATC OCBILO],). EH aC Bla], AY MRE) Wisc TCR —a(Bll—a], 或 [n 一 aj,)， 
因为 [aj; 十 ,[ 一 aj, 二 [a 一 aj, 二 [0],。 图 

运用 模 乘法 的 定义 ， 可 以 定义 模 n 乘法 群 (Z* ，。,)。 该 群 中 的 元 素 是 ,中 与 互 质 的 元 
素 组 成 的 集合 Z: 

Z; = {La], € Z, : gcd(a,n) = 1} 
AY RZ! 是 良 定义 的 ， 注 意 到 ， 对 0 二 a<n 以 及 所 有 整数 k， 有 a=Catkn)(modn), 。 因 此 根 
据 练习 31. 2-3， 因 为 gcd(a, nn) 二 1， 所 以 对 所 有 整数 &，gcd(a 十 kn，n) 二 1。 因 为 [aj], 二 [a 十 kn: 
&EZ}， 所 以 集合 Z; 是 良 定义 的 ,下面 是 这 种 群 的 一 个 例子 : 

Tt, da Ts 8a Liy 13; 14) 
其 中 定义 在 群 上 的 运算 是 模 15 乘法 运算 。( 这 里 把 元 素 [ajis 表 示 为 <。 例如 ， 把 [7]s 表 示 为 7。) 
图 31-2(b) 显 示 了 和 群 (2 ，“。i)。 例 如 ， 在 ZS, 8 + 11=13¢mod 15) 。 该 群 的 单位 元 为 1。 

定理 31. 13 系统 (Z; ，“。，,) 是 一 个 有 限 交 换 群 。 

证 明 定理 31.6 说 明 (Zi ，…,) 是 封闭 的 。 和 定理 31. 12 证 明 过 程 中 对 十 。 的 证 明 类 似 ， 可 以 
证 明 。, 也 满足 交换 律 和 结合 律 。 其 单位 元 为 [1],。 为 了 证 明 逆 元 的 存在 ， 设 “是 Z 中 的 一 个 元 
素 ， 并 设 (Z，z，Jy) 为 EXTENDED-EUCLID(a, nn) 的 输出 结果 ， 则 d= 二 1， 因 为 aEZ* ， 而 且 

ax+ny = 1 (31. 19) 
或 者 等 价 地 ， 
ax = 1(modn) 


Ke, Ce], 是 Laj; 对 模 n 乘法 的 逆 元 。 进 一 步 ， 因 为 等 式 (31. 19) 说 明了 z 和 nn 的 最 小 正 线性 组 
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合 必然 是 1， 所 以 断言 [xz], EZ 。 因 此 由 定理 31. 2 推出 gcd(x，7) 二 1。 关 于 道 元 的 唯一 性 证 明 
留 到 推论 31. 26, E 

Hey Fe ETE — AE, BE a=5 H n=11, M EXTENDED-EUCLID(a, nn) 返 回 
(d; ta D=; —2, 1) 于 是 1 二 5 % (—2)+11°1, AHEL 2]u CCS In) ELS I He 
WATE 

为 了 方便 起 见 ， 在 本 章 的 后 面部 分 遇 到 群 (Z,， 十 ,) 和 (CZ ，“。,) 时 ， 仍 然 用 代表 元 素来 表示 
等 价 类 ， 并 且 分 别 用 通常 的 运算 记号 十 和 “。 (或 并 置 ， 故 ab 二 a* 5) 来 表示 运算 十 , Me, AHH, 
模 n 等 价 也 可 以 用 Z 中 的 等 式 说 明 。 例 如 ， 下 列 两 种 表示 等 价 : 

ax= b(mod n) 
Lal, "alel = [b], 
为 了 方便 表示 ， 当 从 上 下 文 能 看 出 所 采用 的 运算 时 ， 有 时 仅 用 S Seem ECS, ©). AAT 
ZAZ 分 别 来 表示 群 (Z， 十 ,) 和 (Zr ，。，)。 

一 个 元 素 a 的 (乘法 ) 首 元 表示 为 (a ! mod n)。Z* 中 的 除法 由 等 式 a/b=ab ' (modn) 定 义 。 
例如 ， 在 Zt, A 7 =13(mod15), AW 7 + 13=91=1(mod 15)。 这 样 就 有 4/7 寺 4， 13= 
7(mod 15) 。 

Z 的 规模 表示 为 $Cn)。 这 个 函数 称 为 欧 拉 phi 函数 ， 满 足下 式 ， 

dm)=n J] (1-4) (31. 20) 


pipRKM Apln p 


其 中 p 能 整除 的 任意 素数 (如 果 n 是 素数 ， 则 也 包括 n 本 身 )。 在 此 不 对 此 公式 作出 证 明 。 从 直 
观 上 看 ， 开 始 时 有 一 张 个 余数 组 成 的 表 {0，1，…，n 一 1)， 然 后 对 于 每 个 能 整除 n 的 素数 p， 
在 表 中 划 掉 所 有 zp 的 倍数 。 例 如 ， 由 于 45 的 素 约 数 为 3 和 5， 所 以 


$45) = 45(1 一 二 ) (1 一 去 ) =45(4)(4) = 24 


如 果 p 是 素数 ， MW Zs =(1, Lig ty pl}, 并 且 








1 
=pl =+] =p] Ble 21 
sp) = p(1-+) =p (31. 21) 
WR n 是 合 数 ， 则 $8(n) 二 n 一 1-， 尽 管 它 可 以 表示 为 
$(n) > a 3 (31.22) 
er In Inn 十 —— 
In Inn 


其 中 n3, eT y=0. 577 215 664 9 ERAN, U4 ont, E AAEM PR 
是 


$n) Ss — (31,23) 


6 In Inn 
式 (31. 22) 中 的 下 界 事 实 上 是 最 好 的 ， 因 为 


fit tat — =e (31. 24) 
no n/Ininn 


子 群 

WES, DEDE, STS, HEAS, Diii, MS, DHAS, DHFR 
例如 ， 在 加 法 运算 下 ， 偶 数 形成 一 个 整数 的 子 群 。 下 列 定理 提供 了 识别 子 群 的 一 个 有 用 工具 。 

定理 31. 14( 一 个 有 限 群 的 非 空 封闭 子 集 是 一 个 子 群 ) 如 果 (S，@ 困 ) 是 一 个 有 限 群 ，S 是 S 的 
任意 一 个 非 空子 集 并 满足 对 所 有 a，bES ， 有 a 名 bES， 则 (S'， DAS, Dhit. 

证 明 证 明 过程 留 作 练习 31. 3-3。 E 

Hm, BAO, 2, 4, OER Z 的 一 个 子 群 ， 因 为 它 是 非 空 的 ， 而 且 在 十 运算 下 具有 封闭 
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性 ( 即 在 十 下 它 是 封闭 的 )。 

下 列 定理 对 子 群 的 规模 作出 了 一 个 非常 有 用 的 限制 ， 证 明 在 此 略 去 。 

定理 31. 15( 拉 格 朗 日 定理 ) 如 果 (S， 困 ) 是 一 个 有 限 群 ，(S ， 田 ) 是 (S， 四 ) 的 一 个 子 群 ， 
则 |S'| 是 |S| 的 一 个 约 数 。 

对 一 个 群 S HOF RES’, WEE S' 关 S$， 则 子 群 S' 称 为 群 S 的 真子 群 。31. 8 节 中 对 Miller-Rabin 
素数 测试 过 程 的 分 析 将 用 到 下 面 的 推论 。 

推论 31. 16 ”如果 S' 是 有 限 群 S 的 真子 群 ， 则 |S'| 志 |S|/2。 

由 一 个 元 素 生 成 的 子 群 

定理 31. 14 给 出 了 一 种 用 于 生成 有 限 群 (S，@ 四 ) 的 子 群 的 有 趣 方法 : 选择 一 个 元 素 a, 根据 
群 上 的 运算 取出 由 a 能 生成 的 所 有 元 素 。 具体 地 ， 对 & 宇 1 定义 a” 如 下 : 

-È a=a aA- g 


ks 
例如 ， 如 果 取 群 Z。 中 的 元 素 a 二 2， PM a. aM, oH 
24450,254,0,244,0.52** 
E Zt, a” =kamodn, REZ, 中 , Aa” =a' modn, Ha £RAFRHA (ama), ©) 
来 表示 ， 其 定义 如 下 : 
《大 站 
我 们 称 a ERTE), 或 者 a 是 4a? 的 生成 元 。 因 为 S 是 有 限 集 ， 所 以 (ea 是 S 的 有 限 子 集 ， 它 
可 能 包含 SPH ATR. HOWRAH Al, 944 
a Qa? =a 
故 (a) 具 有 封闭 性 ， 根 据 定理 31.14, ae S 的 一 个 子 群 。 例 如 ,在 Z 中 ， 有 
(0> = {0} 
(1) = {0,1,2,3,4,5} 
(2) = {0,2,4} 
类 似 地 , 在 Z? 中 ， 有 
(1) = {1} 
(2) == <1) 2:4} 
(3) = {1,2,3,4,5,6} 
TERE S "Pa 的 阶 定义 为 满足 a” =e 的 最 小 正 整数 :， 用 ord(a) 来 表示 。 
定理 31. 17 对 任意 有 限 群 (S， 人 名 ) 和 任意 aES， 一 个 元 素 的 阶 等 于 它 所 生成 子 群 的 规模 ， 
Ep ord(a)= | (a)|。 
证 明 «ie t=ord(a), AA a” =e FFA MRS Ga” =a? O aP =at, WMR i 法 t， 则 对 某 
个 j<i, 有 a” 二 a”。 因 此 ,在 a? 后 而 不 会 出 现 新 元 素 ， 于 是 (4a) 二 {a”， a®, s 2}, 而 且 
|a | <t. 为 了 证 明 | (a) |>, 我 们 证 明 序 列 a, aP, e, a 中 的 元 素 各 不 相同 。 假 设 不 成 
S MIRNE IKKI Wi 和 j Ha? =a%, MAR RSO, Ba” =a, 但 这 说 明 
CHOP) =q E =e, AA iHa, 而 上 是 满足 a2 = 二 e 的 最 小 正 值 ， 这 样 就 产生 了 矛盾 。 
KHE, FJJ a”, aP, =, PC 中 的 每 个 元 素 都 是 不 同 的 ，| (a) | 宇 t。 于 是 得 出 结论 
ord(a)=|<a)| 。 a 
推论 31. 18 序列 a, a, ZARA, HAMA t=ord(a), BP a? =a? SAM 
4 i=j(mod £). 
对 所 有 整数 i CMa He, HENX a Haim, Hp t=ordla), 与 上 述 推论 一 致 。 
推论 31. 19 RS, DRAŽA CHARA, MMA aE S， 


a 
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qs? =e 


GERARD, ord(a)||S|, Ak |S|=0Cmod2), HH t=ord(a), 。 所 以 


qi'sP = a® =e 


练习 

31.3-1 画 出 群 (Z， 十 ,) 和 群 (Zs ，。…;) 的 运算 表 。 通 过 找 这 两 个 群 的 元 素 间 的 一 一 对 应 关系 a, 
满足 at+b=c(mod 4) 当 目 仅 当 a(a)，a(5b) 寺 a(c) (mod 5), 来 证 明 这 两 个 群 是 同 构 的 。 

31.3-2 PIA ZA Z3 的 所 有 子 群 。 

31.3-3 证 明定 理 31. 14。 

31.3-4 证 明 : 如果 p ERAH e 是 正 整数 ， 则 

$p) = pp— 1) 

31.3-5 证明: 对 任意 nl 和 任意 a€EZ; ， 由 式 fal) Sar modn 所 定义 的 函数 f。: ZZ; 是 

Z; 的 一 个 置换 。 


31.4 求解 模 线性 方程 


现在 来 考虑 求解 下 列 方程 的 问题 ， 
ax = b(mod n) (31: 25) 
其 中 a>>0，7x>>0。 这 个 问题 有 若干 种 应 用 。 例 如 ， 在 31. 7 节 中 ， 我 们 将 它 用 在 RSA 公 钥 加 密 系 
统 中 ， 作 为 寻找 密 钥 过 程 的 一 部 分 。 假 设 已 知 a, 5 和 n， 希 望 找 出 所 有 满足 式 (31. 25) 的 对 模 ” 
的 z 值 。 这 个 方程 可 能 没有 解 ， 也 可 能 有 一 个 或 多 个 这 样 的 解 。 
DORRA a 生成 的 ,的 子 群 。 由 于 《a) 二 {a : x>0}=({axmodn: z>>0)， 所 以 当 且 仅 
当 [5]E (ait, 方程 (31. 25) 有 一 个 解 。 拉 格 朗 日 定理 (定理 31. 15) 告 诉 我 们 ，| (a) | 必定 是 n 的 
约 数 。 下 列 定理 准确 地 刻画 了 (a) 的 特性 。 
定理 31. 20 ”对 任意 正 整数 a 和 n， 如 果 d= 二 gcd(a，n)， 则 在 包 , 中 ， 
(a) = (d) = {0,d,2d,**+,((n/d) —1)d} (31. 26) 
因此 ， 
| <a) | = n/d 
证 明 首先 证 明 de (a)。 注 意 到 EXTENDED-EUCLID(a, nn) 可 生成 整数 之 和 y, HB 
az' 十 zy' 一 d。 因 此 ax’=d(modn), PRU 4€ (a)。 换 句 话 说 ，4d 是 ZP a 的 一 个 倍数 。 
由 于 dE (a);， 所 以 d 的 所 有 倍数 均 属于 (a);， 这 是 因为 a 的 倍数 的 倍数 其 本 身 仍然 是 a 的 倍 
数 。 所 以 ，(a) 包 含 了 集合 {0，d，2d，…，((n/qd) 一 1)d} 中 的 每 一 个 元 素 。 也 就 是 说 ，(d) 入 (a)。 
MERKER Eld). WR mE (a);， 则 对 某 个 整数 z+， 有 m= 二 ax mod n， 所 以 对 某 个 整数 
y， 有 m 二 az 十 ny。 然 而 ,，d|a 且 4d|n， 所 以 由 式 (31.4) 有 4d|m。 因 此 ,mE€ (qd)。 

由 以 上 这 些 结 论 ， 得 到 (a)= 二 4d)。 注 意 到 在 0 和 nn 一 1 之 间 ( 包 括 0 和 nn 一 1) 恰 有 n/d 个 4 的 
倍数 ， 这 说 明了 | <a) | =n/d, a 
推论 31.21 当 且 仅 当 4d|b 时 ,方程 at 寺 bl(modn) 对 于 未 知 量 工 有 解 ， 这 里 d=gedla, n). 

WBRA 当 且 仅 当 [6]€E (a) 时 , 方程 ax=b(mod n) 有 人 解 。 由 定理 31. 20， 这 等 同 于 
(bmodn) E€ {0,d,2d,*…,((n/d)— 1)d} 
WR OK<, WHAK d|b it, bE (a) 成 立 ， 这 是 由 于 (a) 的 成 员 怡 恰 是 d 的 倍数 。 如 果 
b<0 RK bn, WWE d|b 当 且 仅 当 4d | (6 mod n) 时 成 立 ， 可 得 推论 ， 这 是 由 于 5 和 6 modn 可 
以 由 nn 的 倍数 区 分 开 ， 而 其 本 身 是 a 的 倍数 。 国 
推论 31. 22 方程 ar 寺 blmod 区 或 者 对 模 n 有 dd 个 不 同 的 解 ， 或 者 无 解 ， 这 里 d=ged(a, n), 
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证 明 ”如果 ax=b(mod nn) 有 一 个 解 ， 则 bE (a)。 根 据 定理 31. 17，ord(a) 王 | (a) | ， 而 且 推 论 
31. 18 和 定理 31. 20 意味 着 ， 对 i 一 0，1，…， 序 列 ai mod n 是 周期 性 的 ， 其 周期 为 | (a? | =n/d. 
如 果 bE <a), WWF I=0, 1, «+, n—1, b 在 序列 ai modn 中 恰好 出 现 dk, AAs 从 0 增加 到 
n 一 1 时 ， 长 度 为 n/4 的 一 组 值 (ca? 恰 好 重复 了 4 次 ， 这 & 个 满足 az modn=b 的 位 置 的 下 标 zx， 就 是 
方程 ax=b(mod n) 的 解 。 E 
定理 31.23 4 d=gcdla, n), BAFFLER r fo y', A d=ax'+ny' (例如 EXTENDED- 
EUCLID 所 计算 出 的 结果 )。 如 果 d|5， 则 方程 az 三 b(mod n) 有 一 个 解 的 值 为 xz。， 这 里 
zo = x' (b/d) mod n 
证 明 有 
ar 三 ax' (b/d) (mod n) 
=d(b/d)(modn) (因为 ar' =d(modn)) 
= b(mod n) E 
因此 x ft ax=b( mod n) 的 一 个 解 。 
定理 31. 24 Bi FAA ax=b(modn) AR (EP d|b, KB d=gcedla, n)), L rž} 
的 任意 一 个 解 。 因 此 ， 该 方程 对 模 n 恰 有 dqd 个 不 同 的 解 ， 分 别 为 zi 二 zo 十 i(n/d)， 这 里 i= 
Og Ly wy Ws 
证 明 ”因为 wd>0 并 且 对 于 i=0, 1, =, d—1, A 0 二 i(n/qd) 二 n， 所 以 对 模 n， 值 xz， 
Div, re ARABIA. AAW zo 是 ar=bl(mod n) 的 一 个 解 ， 故 有 ax。 mod n=b(mod n). Al 
此 ， 对 i 三 0,1，…,d 一 1， 有 
ax; mod n = a(x + im/d) mod n 
= (ax, tain/d) mod n 
=ax,modn (因为 dla 意味 着 ain/d 是 一 个 n 的 倍数 ) 


=b (modn) 
又 因为 az; 寺 6(modn)， 故 x 也 是 一 个 解 。 根 据 推论 31. 22 可 知 , Hi ar=blmodn SA d ME, 
因此 Tos His °°*s zz 必定 是 方程 的 全 部 解 。 a 


现在 已 经 为 求解 方程 cz=2(Cmod nn) 完 成 了 数学 上 的 必要 准备 ， 下 列 算法 可 输出 该 方程 的 所 
Af. WA aMn 为 任意 正 整数 ,5 为 任意 整数 。 
MODULAR-LINEAR-EQUATION-SOLVER(a,b,n) 
1 (d,zx',y')=EXTENDED-EUCLID(a,n) 
2 ifd|b 
3 Zo=Zz' (b/d) modn 
4 for i=0 tod—1 
5 print(2)+i(n/d)) mod n 
6 


else print“no solutions” 


作为 一 个 说 明 该 过 程 中 操作 的 例子 ， 考 察 方程 l4r=30(mod 100) KH, a=14, b=30, 
7 一 100) 。 在 第 1 行 中 调用 EXTENDED-EUCLID, #4) (d, x’, y')=(2, —7, 1). AW 2/30, 
所 以 执行 第 3~5 行 。 在 第 3 行 ,， 计算 出 z= 二 (一 7)(15) mod100=95, 4% 4~5 行 的 循环 输出 这 两 
个 解 95 和 45。 

过 程 MODULAR-LINEAR-EQUATION-SOLVER 的 工作 方式 如 下 。 第 1 行 计 算出 d= 
gcdl(a，7n) 及 两 个 值 A y, 满足 d'= 二 azx' 十 ny ， 同 时 表明 x! ED ax’ =d(mod n) 的 一 个 解 。 
如 果 a 不 能 整除 6， 则 由 推论 31. 21 TA, 方程 az=b(mod n) 没 有 解 。 第 2 行 检 查 是 否 有 dd; 
如 果 没 有 ， 则 第 6 FREDEN. BU, $ 3 行将 根据 定理 31. 23， 计 算出 方程 ax=b(mod n) 
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的 一 个 解 zo。。 已 知 一 个 解 后 ， 定 理 31. 24 说 明 ， 通 过 加 上 对 模 n 等 于 (n/d) 的 倍数 ， 可 以 得 到 其 
他 ad 一 1 个 解 。 第 4 一 5 行 的 for 循环 输出 所 有 4d 个 解 ， 从 zo 开始 ， 每 两 个 解 之 间 模 相差 (n/q)。 

MODULAR-LINEAR-EQUATION-SOLVER 执行 O(lgn 十 gcd(4a，n)) 次 算术 运算 ,因为 
EXTENDED-EUCLID 需要 执行 O(lgn) 次 算术 运算 ， 并且 第 4~5 行 for 循环 中 的 每 次 迭代 均 要 执 
行 常数 次 算术 运算 。 

定理 31. 24 的 下 述 推论 给 出 了 几 个 非常 有 趣 的 特例 。 

推论 31. 25 ”对 任意 n>1， 如 果 gcd(a， —=1, WA ar=blmod n) HH n HEB E 

如 果 5b 二 1， 则 要 求 的 x 是 a 对 模 n 的 乘法 逆 元 ， 这 是 一 种 常见 的 重要 有 趣 情 形 。 

推论 31. 26 ”对 任意 n>l, wRecdla, N=1, MAA ax=1(modn) HH n 有 唯一 解 ; FS 
则 方程 无 解 。 E 

由 于 推论 31. 26， 在 a 和 n 互 质 时 ， 可 以 用 记号 a ' modn 来 表示 a 对 模 n REKI. WR 
gcdCa，7) 一 1， 则 方程 ar=1 (mod n) 的 唯一 解 就 是 EXTENDED-EUCLID 所 返回 的 整数 zx， 因 为 
方程 

gcd(a,n) = 1 =ar+ny 

意味 着 az=1(modn), 。 因 此 ， 运 用 EXTENDED-EUCLID 可 以 高 效 地 计算 出 a! modn, 


练习 

31.4-1 $M FTF 352=10(mod 50) 的 所 有 解 。 

31.4-2 证明: 只 要 gcdla, n)=1, AE ax=ay(mod n) 就 意味 着 zx 寺 yl(mod n)。 通 过 一 个 gcd 
Ca， 人 7 二 1 情况 下 的 反例 ， 证 明 条件 gcd(4a，n) 二 1 是 必要 的 。 

31. 4-3 ”考察 下 列 对 过 程 MODULAR-LINEAR-EQUATION-SOLVER 的 第 3 行 的 修改 : 
3 z=zx (b/d) mod (n/d) 
能 否 正确 运行 ? 解释 能 或 者 不 能 的 原因 。 


“31.4-4 $ pH, H SADS fiot firt t fa (mod 力 是 一 个 上 次 多 项 式 ， 其 系数 f; 是 


KZ, 7B. WR f(a)=0Cmod p), MWK aE MAS 的 零 元 。 证明: 如 果 a 是 了 的 一 
个 零 元 ， 则 对 某 个 :一 1 次 的 多 项 式 g(x)， 有 f(2)=(a—a) g(x) (mod p)。 通 过 对 t 进 
行 归纳 来 证 明 : 如 果 p 是 素数 ，t 次 多 项 式 f(z) 对 模 p 至 多 有 t 个 不 同 的 零 元 。 


31.5 中 国 余数 定理 


大 约 在 公元 100 年 ， 中 国 数学 家 孙子 解决 了 这 个 问题 ， 找 出 所 有 整数 zz， 它们 被 3，5 和 7 除 
时 ,余数 分 别 为 2，3 和 2。 一 个 这 样 的 解 为 x 二 23， 所 有 的 解 是 形 如 23 十 105k(& 为 任意 整数 ) 的 
整数 。“ 中 国 余数 定理 ”提出 ， 对 一 组 两 两 互 质 的 模 数 ( 如 3，5 和 7) 来 说 ， 其 取 模 运算 的 方程 组 
与 对 其 积 ( 如 105) 取 模 运 算 的 方程 之 间 存 在 着 一 种 对 应 关系 。 

中 国 余数 定理 有 两 个 主要 应 用 。 设 整数 n 因 式 分 解 为 n 二 nn2…ns， 其 中 因子 n; 两 两 互 质 。 
首先 ， 中 国 余数 定理 是 一 个 描述 性 的 “结构 定理 ”， 它 用 等 同 于 笛 卡 儿 积 Z, XZ, Xo X Z, 的 结 
构 描 述 了 ,的 结构 ， 其 中 第 i 个 分 量 定义 了 对 模 n; 的 分 量 方式 加 法 与 乘法 运算 。 其 次 ， 这 种 描述 
有 助 于 设计 出 高 效 的 算法 ， 因 为 处 理 ,系统 中 的 每 个 系统 可 能 比 处 理 模 n 运算 效率 更 高 (从 位 操 
EKRE). 

定理 31. 27( 中 国 余数 定理 ) 令 n 一 mns…nmt， 其 中 因子 nn 两 两 互 质 。 考 虑 以 下 对 应 关系 : 

a> (Ay say 9*** say) (31.27) 
RE aC, a,€Z,, MAXi=1, 2, …, k, 


a; = a mod n; 
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因此 ， 映 射 (31. 27) 是 一 个 在 乙 与 笛 卡 儿 积 乙 , XZ Xo XZ, 之 间 的 一 一 对 应 ( 双 射 )。 通 过 在 合 
适 的 系统 中 对 每 个 坐标 位 置 独立 地 执行 操作 ， 对 乙 中 元 素 所 执行 的 运算 可 以 等 价 地 作用 于 对 应 
We 元 组 。 也 就 是 说 ， 如 果 

a> (a Wy sak) 


b< (b; 302 ott Dy) 


那么 
(a+b) modn<+((a, +6,) mod ny, Cap +b) mod m) (31. 28) 
(a—b) modn<((a, — bı) mod  ,***, (a, — b) mod m ) (31. 29) 
(ab) mod n +> (a;b; mod n »***,a,6, mod n, ) (31. 30) 
证 明 ”两 种 表示 之 间 的 变换 是 相当 直接 的 。 从 a 转换 为 (am ，as，…，ai) 十 分 简单 ， 仅 需 执 
行 次 模 运算 。 


从 输入 (al， Gag Ng a) 算 出 “要 复杂 一 点 。 从 定义 mi 二 n/ni( 对 于 i=l, 2, way k) 开始， 
于 是 mBRT ni; 以 外 的 所 有 nj 的 乘积 : Mi SN 722 Ni Nit" Nk o 接着 ， 对 i=l, 2, ek, 定义 
ci = m;(m;! mod n;) (31. 31) 
等 式 (31. 31) 总 是 良 定义 的 : 因为 m; 和 n; 互 质 (根据 定理 31. 6)， 推 论 31. 26 保证 mi modn; 存 在 。 
RE, FEX as, a, s a, HY PRL» 计算 a 的 方式 如 下 : 

a = (acı 十 azcs +*+ + arc) (mod n) (31. 32) 
现在 证 明 对 i=l, 2, +, ks Æ C31. 32) 能 保证 a 三 a; (mod n;), ER, WRIA, M m= 
O(mod n;)， 这 意味 着 c;=m;=0(mod n;)。 而 且 注 意 到 ， 由 等 式 (31. 31) 知 ，c; 硅 1(mod n;)。 因 此 
得 到 这 个 既 中 看 又 中 用 的 对 应 关系 

Ci (0,05°**,0,1,0,°**,0) 

这 是 一 个 除了 在 第 i 个 坐标 上 为 1 外 其 余 坐 标 均 为 0 的 向 量 。 因 此 ， 在 某 种 意义 上 ，c 构 成 了 这 
种 表示 的 “ 基 ”。 所 以 对 每 个 i:， 有 

a= ajc; (mod n;) 

=am;(m,' modn:) (modn;) 

=a; (mod 7; ) 
这 正 是 我 们 希望 证 明 的 : X i=1, 2, ++, k, MA a; 计 算 a 的 方法 得 到 了 满足 约束 条 件 a= 
ai(mod n;) 的 结果 a。 由 于 能 进行 双向 变换 ， 所 以 这 种 对 应 关系 是 一 一 对 应 。 最 后 ， 由 于 对 任何 zx 
和 i 二 1]，2，…，,，k&， 有 zmod ni 二 (x mod n) mod n;， 所 以 根据 练习 31.1-7， 可 以 直接 推出 


式 (31. 28) ~ (31. 30) 成 立 。 E 
下 面 的 推论 将 在 本 章 的 后 面 用 到 。 
推论 31. 28 如 果 Ms Nos "y nAAL, 且 n=n mn, 则 对 任意 整数 al， a23 “3 


Mi， 关于 未 知 量 工 的 联 立 方程 组 
x=a;(mod n;),i = 1,2,.…,k 
对 模 n 有 唯一 解 。 
推论 31.29 wR m, m, s, mMAMAMR, n= mm, NAMAZA x fea, 
x = a(mod n;) 
(AP i=1, 2, =, D¥ARY 
x = a(mod n) 
作为 中 国 余数 定理 应 用 的 例子 ， 假 设 已 给 出 两 个 方程 : 
a = 2(mod 5) 
a = 3(mod 13) 
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那么 a =2, n =m=5, a=3, Am=m =13, 而 且 由 于 n=nm 二 65， 所 以 我 们 希望 算出 
a mod 65。 因 为 13 ! 寺 2(mod 5) 和 5 ! 寺 8(mod 13)， 所 以 有 

cı = 13(2 mod 5) = 26 

Co = 5(8 mod 13) = 40 








以 及 

a =2 + 26+3 • 40 (mod 65) 

=52+120 (mod 65) 

=42 (mod 65) 

图 31-3 是 对 模 65 的 中 国 余数 定理 的 说 明 。 

wW n 12 
10 50 25 
36 ‘EL Si 
6 37 R 
23 63 38 
49 24 64 








图 31-3 XF m=5 Am =13 中 国 余数 定理 的 一 个 说 明 。 对 这 个 例子 ， 
cl 一 26，cz 王 40。 在 第 i 行 第 7 列 显示 的 是 对 模 65 的 a 的 值 ， 使 
得 a mod 5=i 和 a mod 13=j, HER, 第 0 行 第 0 列 的 值 为 0。 
类 似 地 ， 第 4 行 第 12 列 包 含 64( 等 价 于 一 1)。 因 为 ac 一 26， 往 
下 移动 一 行 让 a 增加 26。 类 似 地 ，cz 二 40 表示 往 右 移动 一 列 ， 
让 a 增加 40。 让 a 增加 1 对 应 于 沿 着 对 角 线 往 右 下 移动 ， 从 底 
端 折返 到 顶端 ， 以 及 从 右 端 折返 到 左 端 


因此 ， 如 果 要 执行 模 n 运算 ， 则 既 可 以 直接 对 模 n 进行 计算 , 为 了 方便 ,也 可 以 分 别 对 模 n 
变换 表示 后 的 模 n; 进 行 计算 。 这 两 种 计算 是 完全 等 价 的 。 


练习 

31.5-1 找 出 所 有 解 ， 使 方程 x< 寺 4(mod 5) 和 x 寺 5(mod 11) 同 时 成 立 。 

31.5-2 找 出 被 9，8,，7 TR, 余数 分 别 为 1，2，3 的 所 有 整数 z。 

31.5-3 ”论证 : 在 定理 31. 27 的 定义 下 ， 如 果 ecdla, n)=1, M 

(a! modn)<*>((ai! mod n), (az! mod n,) ,***, (ax! mod 7% )) 

31.5-4 在 定理 31. 27 WELF, WH: 对 于 任意 的 多 项 式 f, 方程 f(x) 圭 0(mod nn) 的 根 的 个 数 
等 于 f(x)=0(mod n), f(x2)=0(mod m), =+, f(x)=0Cmod ni) 中 每 个 方程 根 的 个 数 
的 积 。 


31.6 TRA 
正如 我 们 经 常 考虑 一 个 对 模 的 已 知 元 素 a 的 倍数 一 样 ， 现 在 考虑 对 模 nn 的 a OE SF 
列 ， 其 中 cEZ: : 
a A a (31. 33) 
Bin, AO 开始 编号 ， 序 列 中 的 第 0 MEX a modn=1, 第 i 个 值 为 a modn, PIM, WHET, 3 
REN 
1 0 1 2 3 4 5 6 T 8 9 10 Ti 
3'mod7 1 3 2 6 4 5 1 3 2 6 4 5 


而 对 模 7，2 FEW 
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i 0 2 3 4 5 6 7 8 9 10 lL 
2' mod7 1 2 4 1 2 4 1 2 4 1 2 4 


在 本 节 中 ,， 令 (oa 表示 由 & RARER Z WFR, S ord, OOR n, a 的 阶 ) 表 示 a 在 
Z 中 的 阶 。 例如, FEZ P, (2)={1, 2, 4}, ord, (2) 二 3。 用 欧 拉 phi 函数 $(n) 的 定义 作为 
Z 的 规模 (参见 31. 3 节 )， 就 可 以 将 推论 31.19 转化 为 用 Z 表示， 从 而 得 到 欧 拉 定理 ， 再 具体 
FZ; 表示 (其 中 bp 是 素数 )， 就 得 到 费 马 定理 。 

定理 31. 30( 欧 拉 定 理 ) ”对 于 任意 整数 n>1，a*” 二 1(mod n) 对 所 有 aE 都 成 立 。 M 

定理 31. 31( 费 马 定理 ) ”如 果 ptHM, Wa’ = mod 力 对 所 有 aEZ; 都 成 立 。 

证 明 根据 等 式 (31. 21), WR p ERR, Wd p)=p-1. = 

由 于 OEZ; ， 故 费 马 定理 对 Z, PRT 0 以 外 的 每 一 个 元 素 都 适用 。 然 而 ， 对 所 有 aE, W 
果 铺 是 素数 ， 则 有 a’=amod p). 

如 果 ord, (g)=|Z; |, WHR n, Z 中 的 每 个 元 素 都 是 g 的 一 个 究 ， 且 g 是 Z 的 一 个 原 根 
或 生成 元 。 例 如 ， 对 模 7，3 是 一 个 原 根 ,但 2 不是。 如果 Z; 包含 一 个 原 根 ， 就 称 群 Z 是 循环 
的 。 下 列 定理 是 由 Niven 和 Zuckerman[L265 ] 首 先 证 明 的 ， 在 此 略 去 其 证 明 过 程 。 

定理 31.32 对 所 有 的 素数 po? 和 所 有 正 整 数 e， GL 是 循环 群 的 ?2 过 1 HAA 2, 4, p 
和 2p*. = 

如 果 g 是 Z; 的 一 个 原 根 且 a 是 Z 中 的 任意 元 素 ， 则 存在 一 个 z， 使 得 g*=a(modn), ix 
z 称 为 对 模 n 到 基 g 上 的 a 的 一 个 离散 对 数 或 指数 ， 将 这 个 值 表 示 为 ind,,s (a)。 

定理 31. 33( 离 散 对 数 定理 ) PRZ 的 一 个 原 根 ， 则 当 且 仅 当 等 式 c=y(mod $(n)) 成 
立时 ， 有 等 式 =g (mod n) KZ, 

证 明 首先 假设 z= y(mod $(n))， 则 对 某 个 整数 有 z= 二 y 十 &$Cn)。 因 此 ， 





gt = gto (mod ny 
= g’ « (g%”)* (modn) 
=g e] (mod n) (根据 欧 拉 定 理 ) 
= g’ (mod n) 


RZ, 假设 g =g (mod n), AN g 的 竹 的 序列 生成 (g) 中 的 每 一 个 元 素 ， 且 | (8g) | =a, HEE 
31.18 意味 着 g 的 寡 的 序列 是 一 个 周期 为 %(z) 的 周期 序列 。 所 以 ， 如 果 g =g (mod n)， 则 必 有 
x=y(mod $(n)). m 

现在 关注 以 一 个 素数 的 宕 为 模 的 1 的 平方 根 。 下 面 的 定理 将 用 在 31. 8 节 中 讨论 的 素数 测试 
算法 中 。 

定理 31. 34 如 果 户 是 一 个 奇 素数 且 e 宇 1， 则 方程 

z’ = 1(mod p°) (31.34) 
仅 有 两 个 解 ， R r=] 和 7 一 一 1。 
证 明 方程 (31. 34) 等 价 于 
六 | (一 1)Cz 十 1) 
由 于 p>2, A pl (x 一 1) 或 p| (z 十 1) ， 但 它们 不 同时 成 立 。( 和 否则 ， 由 性 质 (31. 3)，p 也 能 整除 
它们 的 差 (z 十 1) 一 (zx 一 1)==2。) 如 果 pt(z—-1), Mj gcd( 大 ，z 一 1) 王 1， 而 且 由 推论 31.5， 有 
六 | (z 十 1)。 也 就 是 说 ，z 二 一 1(mod p). XER, WME p+(x 十 1)， 则 gcd(p*，z 十 1)==1,， 而 且 
推论 31.5 意味 着 p | (x 一 1)， 所 以 z=1(mod pr)。 因 此 ，z 二 一 1(mod p), 或 者 zx 二 1(mod p). i 

如 果 一 个 数 EDT AB ze? =1(mod n), 但 xz 不 等 于 以 nn 为 模 的 1 的 两 个 “平凡 ”平方 根 1 或 
一 1]， 则 z 是 一 个 以 n 为 模 的 1 的 非 平凡 平方 根 。 例 如 ，6 是 以 35 为 模 的 1 的 非 平凡 平方 根 。 下 
面 给 出 定理 31. 34 的 一 个 推论 ， 它 将 用 于 31. 8 节 中 讨论 的 Miller-Rabin 素数 测试 过 程 的 正确 性 
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证 明 。 
推论 31. 35 如果 对 模 n 存在 1 的 非 平凡 平方 根 ， 则 nn 是 合 数 。 

证 明 ”根据 定理 31. 34 的 逆 否 命题 ， 如 果 对 模 n 存 在 1 的 非 平凡 平方 根 ， 则 ”不 可 能 是 奇 素 
HRB ARR. WR 人 2 圭 1(mod 2)， 则 z 寺 1C(mod 2)， 故 1 的 所 有 对 模 2 的 平方 根 都 是 平凡 
的 。 因 此 ，z 不 能 是 素数 。 最 后 ， 为 了 使 1 的 非 平 凡 平 方 根 存在 ， 必 有 n>, WI, n 必定 
是 合 数 。 m 

AREFH ERKE 

数论 计算 中 经 常 出 现 一 种 运算 ， 就 是 求 一 个 数 的 宕 对 另 一 个 数 的 模 运 算 ， 也 称 为 模 取 需 。 更 
明确 地 说 ， 希 望 有 一 种 高 效 的 方法 来 计算 a modn 的 值 ， 其 中 a, 5 为 非 负 整数 ，n 是 一 个 正 整 
数 。 在 许多 素数 测试 程序 和 RSA 公 钥 加 密 系统 中 ， 模 取 需 运算 是 一 种 很 基本 的 运算 。 采 用 的 
二 进 制 表示 ， 反 复 平方 法 可 以 高 效 地 解决 这 个 问题 。 

956 Blb beasts bis by FEO MoH A (MIP HRAA & 十 1 位 长 ， 久 为 最 高 有 效 位 ， 
为 最 低 有 效 位 ) 。 随 着 c 的 值 从 0 到 2 成 倍增 长 ， 下 列 过 程 最 终 计算 出 “< mod n, 
MODULAR-EXPONENTIATION(a,6,7) 
1 c=0 

2 dl 

3 let(b;,b: 1,°",bo)be the binary representation of b 

4 for i=k downto 0 

5 c=2c 

6 d=(d* d) modn 

7 ib==1 

8 c=c+1 

9 d=(d* a) modn 

10 return d 


在 每 次 迭代 中 ， 第 6 行 平方 操作 的 使 用 解释 了 “反复 平方 ”这 个 名 称 的 由 来 。 举 一 个 例子 ， 对 
a 二 7，b 二 560， 以 及 n= 二 561， 这 个 算法 计算 图 31-4 中 给 出 的 对 模 561 的 序列 的 值 ， 所 用 到 的 指 
数 序列 出 现在 表格 以 c 标示 的 行 中 。 
9 8 7 6 5 4 3 2 1 0 
0 0 0 1 1 0 0 0 0 


RE 
el 1 2 4 s © SF to 220 560 
div Ww 87 $36 ieo 241 208 166 67 1 








图 31-4 当 a=7, b=560= (1000110000), n=561 Hf, MODULAR-EXPONENTIATION 
计算 a mod MHR., BUREE for 循环 执行 后 显示 。 最 终结 果 为 1 
这 个 算法 并 不 真 的 需要 变量 <， 只 是 用 它 使 得 下 面 两 部 分 的 循环 不 变 : 
仅 在 第 4 一 9 行 的 for 循环 的 每 次 迭代 之 前 ， 





1.c 的 值 与 2 的 二 进 制 表示 的 前 缀 (5b Gas o> br AIA, H 

2. d=a‘ mod ns 

下 面 使 用 这 个 循环 不 变 式 : 

初始 化 : RH, i=k, HEAR, bris ts b KH, KXMF c=0. WS, d=1= 


957] a° modn, 
保持 : S c 和 ad' 表 示 在 for 循环 的 一 次 迭代 的 结束 处 < 和 da 的 值 ， 因 此 ， 它 们 是 下 一 次 迭代 
前 的 值 。 每 次 迭代 更 新 c = 二 2c( 如 果 6,=0) MH c =2c +1 b=), 使 得 c 在 下 一 次 迭代 之 前 
BIERMAN. WE b,=0, Ml d'=d* modn= (a)? modn=a* modn 二 a modn, WM b,=1, W) d'= 
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dia mod n= (a‘)*a mod n=a**! mod n 二 a mod n。 无 论 哪 种 情况 ， 在 下 一 次 迭代 之 前 ， 都 有 d= 
a mod n, 

终止 : ÆI, i=—1. Auk, c=b, HA BA OHH HAAN HA, Gas, BOW 
1H. Fk, d=a mod n=a’ mod n, 

如 果 输 入 a, 5 与 n 都 是 8 位 的 数 ， 则 需要 的 算术 运算 的 总 次 数 是 008) ， 并 且 需 要 的 位 操作 
的 总 次 数 是 OCB"). 


练习 

31.6-1 BK, BRA 中 每 个 元 素 的 阶 。 找 出 最 小 的 原 根 8， 并 画 出 一 张 表 ， 对 所 有 
ZEZn， 给 出 相应 的 indu,s (x) 的 值 。 

31.62 ” 写 出 一 个 模 取 适 算 法 ， 要 求 该 算法 检查 5 的 各 位 的 顺序 为 从 右 向 左 ， 而 非 从 左 向 右 。 

31.6-3 ”假设 已 知 $n), 说明 如 何 运 用 过 程 MODULAR-EXPONENTIATION， 对 任意 a€E2Z;， 
计算 出 a * mod n 的 值 。 


31.7 RSA 公 钥 加 密 系 统 

通过 公 钥 加 密 系统 ， 可 以 对 传输 于 两 个 通信 单位 之 间 的 消息 进行 加 密 ， 即 使 窃听 者 窃听 到 
被 加 密 的 消息 ， 也 不 能 对 其 进行 破译 。 公 钥 加 密 系统 还 能 让 通信 的 一 方 ， 在 电子 消息 的 末尾 附加 
一 个 无 法 伪造 的 “数字 签名 ”。 这 种 签名 是 纸 质 文件 上 的 手写 签名 的 电子 版 本 。 任 何人 都 可 以 轻松 
地 核对 签名 ， 但 却 不 能 伪造 它 ， 如 果 这 一 消息 中 的 任何 位 有 所 变化 ， 整 个 签名 就 失去 了 效力 。 因 
此 ， 数 字 签 名 可 以 为 签名 者 身份 和 其 签署 的 信息 内 容 提 供 证 明 。 对 于 电子 签署 的 商业 性 合同 、 电 
子 支票 、 电 子 购 货 单 和 其 他 一 些 各 方 希 望 进行 认证 的 电子 信息 来 说 ， 这 是 一 种 理想 的 工具 。 

RSA 公 钥 加 密 系统 主要 基于 以 下 事实 : 寻求 大 素数 是 很 容易 的 ， 但 要 把 一 个 数 分 解 为 两 个 
大 素数 的 积 却 相 当 困 难 。31. 8 节 描 述 了 一 个 能 有 效 地 找 出 大 素数 的 过 程 ， 而 31. 9 节 将 讨论 大 整 
数 的 分 解 问题 。 

公 钥 加 密 系统 

在 一 个 公 钥 加 密 系统 中 ， 每 个 参与 者 都 拥有 一 把 公 钥 和 一 把 密 钥 。 每 把 密 钥 都 是 一 段 信息 。 
例如 , Æ RSA 加 密 系 统 中 ， 每 个 密 钥 均 由 一 对 整数 组 成 。 在 密码 学 中 常 以 参与 者 “Alice” 和 
“Bob” 作 为 例子 : 用 Ps 和 SA 分 别 表 示 Alice 的 公 钥 和 密 钥 ， 用 Ps 和 Ss 分别 表 示 Bob 的 公 钥 和 
密 钥 。 

每 个 参与 者 均 自 己 创建 公 钥 和 密 钥 。 密 钥 需 要 保密 ， 但 公 钥 则 可 以 对 任何 人 透露 ， 甚 至 可 以 
公之于众 。 事 实 上， 假设 每 个 参与 者 的 公 钥 都 能 在 一 个 公开 目录 中 看 到 ， 这 样 通常 是 很 方便 的 ， 
这 使 得 任何 参与 者 都 可 以 容易 地 获得 任何 其 他 参与 者 的 公 钥 。 

公 和 钥 和 密 钥 指定 了 可 用 于 任何 信息 的 函数 。 设 DD 表示 人 允许 的 信息 集合 。 例 如 ，D 可 能 是 所 有 
有 限 长 度 的 位 序列 的 集合 。 在 最 简单 、 最 原始 的 公 钥 加 密 设想 中 ， 要 求 公 钥 与 密 钥 指定 一 种 从 人 D 
到 其 自身 的 一 一 对 应 的 函数 。 对 应 Alice 的 公 钥 P 的 函数 用 Pa (表示 ， 对 应 她 的 密 钥 Ss 的 函数 
表示 成 Sa()， 因 此 PaO S40 函数 都 是 D 的 排列 。 假 定 已 知 密 钥 Ps 或 Ss， 可 以 有 效 地 计算 出 
函数 POR SAO. 

系统 中 任何 参与 者 的 公 钥 和 密 钥 都 是 一 个 “匹配 对 ”， 它 们 指定 的 函数 互 为 反 函 数 。 也 就 是 
说 ， 对 任何 消息 MED, A 

M 王 SACPACV) (31. 35) 
M = P,(S,(M)) (31. 36) 
无 论 用 哪 种 次 序 ， 运 用 两 把 密 钥 PA 和 SA 对 M 相继 进行 变换 后 ， 最 后 仍然 得 到 消息 M. 
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在 公 钥 加 密 系统 中 ， 要 求 除 了 Alice 外 ， 没 人 能 在 较 实 用 的 时 间 内 计算 出 函数 Sa()。 对 于 送 
给 Alice 加 密 邮件 的 保密 性 与 Alice 的 数字 签名 的 有 效 性 ， 以 下 假设 十 分 关键 : Alice 必须 对 Ss 保 
密 ; 如 果 她 不 能 做 到 这 一 点 ， 就 会 失去 她 的 唯一 性 ， 并 且 加 密 系 统 也 不 能 把 唯一 性 赋予 她 。 假 设 
即使 每 个 人 都 知道 Ps ， 井 且 能 够 有 效 地 计算 出 SA() 的 反 函 数 Ps()， 依 然 要 保证 只 有 Alice 能 够 

959] 计算 出 Ss() 。 为 了 设计 一 个 可 行 的 公 钥 加 密 系 统 ， 必 须 解决 以 下 问题 : 如 何 创 建 一 个 系统 ， 在 

该 系统 中 可 以 公开 其 变换 Ps() ， 而 不 至 于 因此 而 公开 其 相应 的 逆 变 换 SA() 的 计算 方法 。 这 项 任 
务 看 起 来 很 可 怕 ， 然 而 我 们 将 看 到 如 何 去 完 成 它 。 

在 一 个 公 钥 加 密 系 统 中 ， 加 密 的 工作 方式 如 图 31-5 所 示 。 假 定 Bob 要 给 Alice 发 送 一 条 加 密 
的 消息 M， 使 得 该 消息 对 于 窃 密 者 像 一 串 无 意义 的 乱码 。 发 送 消息 的 方案 如 下 : 

。 Bob 取得 Alice 的 公 钥 Ps (根据 一 个 公开 的 目录 或 直接 向 Alice RRM). 

。 Bob 计算 出 相应 于 M 的 密 文 C= 二 Pa (CM)， 并 把 C 发 送 给 Alice。 

。 当 Alice 收 到 密 文 C 后 ， 她 运用 自己 的 密 钥 Ss 恢复 原始 信息 : Sa (CO) 二 Sa (Pa (MD) 二 M。 
由 于 SOM PORAR RRM, ATL Alice 能 够 根据 C 计算 出 M。 因 为 只 有 Alice 能 够 计算 出 
SaA()， 所 以 也 只 有 Alice 能 根据 C 计算 出 M。 因 为 Bob 运用 POX} M 进行 加 密 ， 所 以 只 有 Alice 





可 以 理解 接收 的 消息 。 
Bob Alice 
信道 
ae C=P,(M) al 
“ 
at 
G 


E 31-5 公 钥 系统 的 加 密 过 程 。Bob 使 用 Alice 的 公 钥 Pa 来 加 密 消 息 M， 然 后 通过 信道 传送 结果 密 
X C 一 Pa (MD) 给 Alice。 一 个 截获 传送 密 文 的 窃 密 者 得 不 到 关于 M 的 信息 。Alice 收 到 C, 
并 且 使 用 密 钥 来 解密 ， 以 得 到 最 初 消息 M 一 SA(C) 


类 似 地 ， 在 公 钥 系统 的 设想 中 可 以 很 容易 地 实现 数字 签名 。( 有 其 他 方式 可 以 解决 构造 数字 
签名 的 问题 ， 但 在 这 里 我 们 不 讨论 。) 假 设 现 在 Alice 希望 把 一 个 数字 签署 的 答复 M 发 送 给 Bob, 
数字 签名 方案 的 过 程 如 图 31-6 所 示 。 











Alice Bob 
签名 
| 
we (M',0) 
信道 


图 31-6 ” 公 钥 系统 的 数字 签名 过 程 。Alice 将 她 的 数字 签名 o= Ss (M ) 附 加 到 消息 M 上 ,来 对 消息 
M 签名 。 她 将 消息 /签名 对 CM' ，c) RIE Bob, Bob 通过 检查 等 式 M 二 Pa (o) 来 验证 它 。 
如 果 等 式 成 立 ， 则 他 接受 UM ，o) 作 为 Alice 已 经 签名 的 一 个 消息 


。 Alice 运用 她 的 密 钥 SAER o= S (CM ) 计 算出 信息 M' 的 数字 签名 o. 
。 Alice 把 消息 /签名 对 CM  ，o) 发 送 给 Bob. 
。 当 Bob 收 到 GM ，o) 时 ， 他 可 以 利用 Alice 的 公 钥 ,通过 验证 等 式 M 二 Pa(o) 来 证 实 该 消 
息 的 确 是 来 自 Alice。( 假 设 M 包含 Alice 的 名 字 ， 这 样 Bob 就 知道 应 该 使 用 谁 的 公 钥 .) 
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如 果 等 式 成 立 ， 则 Bob 可 以 得 出 消息 M' 确 实 是 Alice 签名 的 结论 。 如 果 等 式 不 成 立 ， 那 
么 Bob 就 得 出 结论 ， 要 么 是 信息 M 或 数字 签名 o 因 传输 错误 而 损坏 ， 要 么 信息 对 
CM ，o) 是 一 个 故意 的 伪造 。 
因为 一 个 数字 签名 既 证 明了 签署 者 身份 ， 也 证 明了 签署 的 信息 内 容 ， 所 以 它 是 对 文件 未 尾 的 手 
写 签名 的 一 种 模拟 。 
数字 签名 必须 可 被 任何 能 取得 签署 者 的 公 钥 的 人 所 验证 。 一 条 签署 过 的 信息 可 以 被 一 方 确 
认 后 再 传送 到 其 他 可 以 验证 签名 的 各 方 。 例 如 ， 这 条 消息 可 能 是 Alice 发 给 Bob 的 一 张 电子 支 
票 。Bob 确认 了 支票 上 Alice 的 签名 后 ， 就 可 以 把 这 张 支票 送 交 银行 ， 而 银行 也 可 以 对 签名 进行 
验证 ， 然 后 调拨 相应 的 资金 。 
签署 的 信息 未 必 是 加 密 的 ， 该 信息 可 以 是 “公开 的 ”， 没 有 受到 保护 。 如 果 把 上 述 有 关 加 密 和 
签名 的 两 种 方案 结合 起 来 使 用 ， 就 可 以 创建 出 同时 被 签署 和 加 密 的 消息 ， 签 署 者 首先 把 其 数字 
签名 附加 在 消息 的 后 面 ， 然 后 再 用 他 预定 的 接收 者 的 公 钥 对 最 终 的 消息 /签名 对 进行 加 密 。 接 收 
者 用 其 密 钥 对 收 到 的 消息 进行 解密 ， 以 同时 获得 原始 消息 和 数字 签名 。 然 后 ， 接 收 者 可 以 用 签署 
者 的 公 钥 对 签名 进行 验证 。 相 应 的 纸 质 文件 系统 的 实现 过 程 为 : 对 文件 签名 后 ， 将 文件 封 人 一 个 
纸 质 信 封 内 ， 该 信封 只 能 由 预定 的 接收 者 打开 。 
RSA 加 密 系 统 
在 RSA 公 钥 加 密 系统 中 ， 一 个 参与 者 按 下列 过 程 创建 他 的 公 钥 和 密 钥 : 
1. 随机 选取 两 个 大 素数 p 和 gq， 使 得 pAq, HIN, RW p Ala 可 能 各 有 1024 位 。 
2. 计算 n 二 pq。 
3. 选取 一 个 与 (nn) 互 质 的 小 奇数 e， 其 中 由 等 式 (31. 20)，#$(n) 等 于 (p 一 1)(g 一 1)。 
4. 对 模 P), HRH e 的 乘法 闭 元 da 的 值 。( 推 论 31. 26 保证 4 存在 且 唯 一 。 给 定 e 和 #$ (n)， 
可 以 利用 31. 4 节 中 的 方法 计算 d.) 
5. 将 对 P= le, MAF, HERSH RSA A. 
6. 使 对 S= (d, 9) 保密 ， 并 作为 参与 者 的 RSA BH. 
对 于 这 个 方案 ， 域 DD 为 集合 Z,。 为 了 变换 与 公 钥 P 二 (e，n) 相 关 的 消息 M， 计算 


P(M) = M‘modn (31..37) 
为 了 变换 与 密 钥 S==(4，n) 相 关 的 密 文 C， 计算 
S(O) = C’ modna (31. 38) 


这 两 个 等 式 对 加 密 与 签名 是 通用 的 。 为 了 创建 一 个 签名 ， 签 署 人 把 其 密 钥 应 用 于 待 签署 的 消息 ， 
而 不 是 密 文中 。 为 了 确认 签名 ， 将 签署 人 的 公 钥 应 用 在 签名 中 ， 而 非 加 密 的 消息 中 。 

我 们 可 以 运用 31. 6 节 中 描述 的 过 程 MODULAR-EXPONENTIATION, 来 实现 上 述 公 钥 与 
密 钥 的 有 关 操 作 。 为 了 分 析 这 些 操作 的 运行 时 间 ， 假 定 公 钥 (e，n) 和 密 钥 (4，n) 满 足 lge 二 0(1)， 
Igd<p, Hlgen<p. Ra, MAAAR EAD 0(1) 次 模 乘 法 运算 和 OCB?) 次 位 操作 。 应 用 密 钥 需 
要 执行 0(B) 次 模 乘 法 运算 和 OCB’) 次 位 操作 。 

定理 31. 36(RSA 的 正确 性 ) RSA 等 式 (31. 37) 和 (31. 38) 定 义 了 满足 等 (31. 35) 和 (31. 36) 的 
Z,, #1) 12 EH. 

证 明 根据 等 (31. 37) 和 (31. 38) ， 对 任意 MEZ,, A 

P(S(M)) = S(P(M)) =M” (modn) 
EA e Md 是 对 模 %(z) 王 (2 一 1)(Cq 一 1) 的 乘法 着 元 ， 所 以 对 某 个 整数 上 ， 有 
ed =1+k(p—1)(q—1) 

但 是 ， 如 果 M40 (mod p), WA 
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Me SMM PED (mod p) 
= M( (M mod p)” +) (mod p) 
= Maps (mod p) (根据 定理 31. 31) 
=M (mod p) 


并 且 ， 如 果 M=0(mod p), WA M =M(mod 加 ) 。 因 此 ， 对 所 有 M, 
M“ = M(mod p) 
类 似 地 ， 对 所 有 M, A 
Me = M(mod q) 
因此 ， 根 据 中 国 余数 定理 的 推论 31. 29， 对 所 有 M, A 
M” = M(mod n) 加 

RSA 加 密 系 统 的 安全 性 主要 来 源 于 对 大 整数 进行 因 式 分 解 的 困难 性 。 如 果 对 方 能 对 公 钥 中 
的 模 n 进行 分 解 ， 就 可 以 根据 公 钥 推 导出 密 钥 ， 这 是 因为 对 方 和 公 钥 创建 者 以 同样 的 方法 使 用 
因子 p 和 g。 因 此 ， 如 果 能 够 轻易 地 分 解 大 整数 ， 也 就 能 够 轻易 地 打破 RSA 加 密 系统 。 这 一 命 
题 的 逆 命 题 是 ， 如 果 分 解 大 整数 是 困难 的 ， 则 打破 RSA 也 是 困难 的 。 经 过 20 年 的 研究 ， 人 们 
还 没有 发 现 比分 解 模 n 更 容易 的 方法 来 打破 RSA 加 密 系 统 。 并 且 正 如 我 们 将 在 31. 9 节 中 所 见 ， 
对 大 整数 进行 分 解 的 困难 程度 令 人 惊异 。 通 过 随机 地 选取 两 个 1024 位 的 素数 并 求 出 它们 的 积 ， 
就 可 以 创建 出 一 把 无 法 用 现行 技术 在 可 行 的 时 间 内 “破解 ”的 公 钥 。 在 数论 算法 的 设计 方法 还 缺 
乏 根 本 突破 的 情况 下 ， 细 心地 遵循 所 推荐 标准 来 执行 ，RSA 加 密 系 统 可 以 为 实际 应 用 提供 高 度 
的 安全 性 。 

然而 ， 为 了 通过 RSA 加 密 系 统 实现 安全 性 ， 应 该 在 很 长 ( 数 百 位 乃至 一 千 位 ) 的 整数 上 操作 ， 
以 防御 因 式 分 解 技术 可 能 的 进步 。2009 年 ，RSA 模 数 通常 是 在 768 到 2048 位 的 范围 内 。 要 建立 
这 样 大 小 的 模 数 ， 必 须 能 够 有 效 地 找 出 大 素数 。31. 8 节 将 讨论 这 个 问题 。 

为 了 提高 效率 ， 通 常 运 用 一 种 “混合 的 ”或 “ 密 钥 管理 ”模式 的 RSA， 来 实现 快速 的 无 公 钥 加 
密 系 统 。 在 这 样 一 个 系统 中 ， 加 密 密 钥 与 解密 密 钥 是 相同 的 。 如 果 Alice 希望 私下 把 一 条 长 消息 
M 发送 给 Bob， 她 从 快速 无 公 钥 加 密 系统 中 选取 一 把 随机 密 钥 K， 然 后 运用 K 对 M 进行 加 密 ， 
得 到 密 文 C。 这 里 ，C 和 M 一 样 长 , 但 K 相当 短 。 然 后 ， 她 利用 Bob 的 公开 RSA 密 钥 对 K 进行 
加 密 。 因 为 KK 很 短 ， 所 以 计算 Ps(K) 的 速度 也 很 快 ( 比 计算 Ps (MD 的 速度 快 很 多 )。 然 后 ， 她 把 
(C，Ps(K)) 传 送 给 Bob, Bob 对 Ps(K) 解 密 后 得 到 K， 然 后 再 用 K 对 C 进行 解密 ， 得 到 M。 

类 似 地 ， 可 以 使 用 一 种 混合 的 方法 来 提高 数字 签名 的 执行 效率 。 在 这 种 方法 中 ,使 RSA 与 
一 个 公开 的 抗 冲突 散 列 函数 hh 相 结 合 ， 这 个 函数 是 易于 计算 的 ,但 是 对 这 个 函数 来 说 ， 要 找 出 两 
条 消息 M 和 M', 使 得 h(MD 二 A(M')， 在 计算 上 是 不 可 行 的 。h(MD 的 值 是 消息 M 的 一 个 短 ( 如 
256 fiz) “FRAC”. WMR Alice 希 望 签署 一 条 消息 M， 她 首先 把 函数 疡 作用 于 M 得 到 指纹 h(M)， 然 
后 用 她 的 密 钥 加 密 hM. Ww M, Si (hCMD ) 作 为 她 签署 的 M 的 版 本 发 送 给 Bob. Bob 可 以 通 
过 计算 hM), HK Pa 应 用 于 收 到 的 Sa(h(CMD) 验 证 其 是 否 等 于 h(MWD) 来 验证 签名 的 真实 性 。 因 
为 没有 人 能 够 创建 出 两 条 具有 相同 指纹 的 消息 ， 所 以 在 计算 上 不 可 能 既 改变 了 签署 的 消息 ， 又 
保持 了 签名 的 合法 性 。 

最 后 ， 我 们 注意 到 利用 证 书 可 以 更 轻松 地 分 配 公 钥 。 例 如 ， 假 设 存在 一 个 “可 信 的 权威 ?了 ， 
每 个 人 都 知道 他 的 公 钥 。Alice 可 以 从 工 获 取 一 条 签署 的 消息 (她 的 证 书 )， 声 明 “Alice 的 公 钥 是 
Pa”。 由 于 每 个 人 都 知道 Pr， 所 以 这 个 证 书 是 “自我 认证 ?>。Alice 可 以 将 她 的 证 书包 含 在 签名 信 
息 中 ， 使 得 接收 者 可 以 立即 得 到 Alice 的 公 钥 ， 以 验证 她 的 签名 。 因 为 她 的 密 钥 是 被 工 签署 的 ， 
所 以 接收 者 知道 Alice 的 密 钥 确实 是 Alice 本 人 的 密 钥 。 
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练习 

31.7-1 考虑 一 个 RSA 密 钥 集合 ， 其 中 p=11, q=29, n=319, e=3. ERA PAN a 值 应 
当 是 多 少 ? 对 消息 M=100 加 密 后 得 到 什么 消息 ? 

31.7-2 WE: 如 果 Alice 的 公开 指数 e 等 于 3， 并 且 对 方 获 得 了 Alice 的 秘密 指数 4， 其 中 
0 二 d 二 #8(n) ， 则 对 方 能 够 在 关于 n 的 位 数 的 多 项 式 时 间 内 对 Alice 的 模 n 进行 分 解 。( 尽 
管 不 用 证 明 下 列 结论 ， 但 你 也 许 会 对 下 列 事实 感 兴 趣 ， 即 使 条 件 e 二 3 被 去 除 ， 上 述 结 
论 仍然 成 立 。 参 见 MillerL255]。) 

“31.7-3 证明: 在 如 下 意义 中 ，RSA 是 乘法 的 : 

P,(M,) P4(M,) = P,(M,M,) (modn) 

利用 这 个 事实 证 明 : 如 果 对 方 有 一 个 过 程 ， 对 Z, 中 的 用 Ps 加 密 的 消息 ， 它 能 够 有 效 地 

解密 出 其 中 的 百 分 之 一 ， 则 他 可 以 运用 一 种 概率 性 算法 ， 以 较 大 概率 为 每 一 条 用 Ps 加 

密 的 信息 进行 解密 。 


“31.8 素数 的 测试 

在 本 节 中 ， 我 们 要 考虑 寻找 大 素数 的 问题 。 首 先 讨 论 素数 的 密度 ， 接 着 讨论 一 种 似乎 可 行 ， 
但 不 完全 可 行 的 测试 素数 的 方法 ， 然 后 介绍 一 种 由 Miller 和 Rabin 发 现 的 有 效 的 随机 素数 测试 
算法 。 

素数 的 密度 

在 很 多 应 用 领域 ， 如 密码 学 中 ， 需 要 找 出 大 的 “随机 ?素数 。 幸 运 的 是 ， 大 素数 并 不 少 ， 因 此 
测试 适当 的 随机 整数 ， 直 至 找到 素数 的 过 程 是 可 行 的 。 素 数 分 布 函数 x(n) 描 述 了 小 于 或 等 于 nn 
的 素数 的 数目 。 例 如 x(10) 王 4， 因 为 小 于 或 等 于 10 的 素数 有 4 个， 分 别 为 2，3，5，7。 素 数 定 
理 给 出 了 x(n) 的 一 个 有 用 近似 。 

定理 31. 37( 素 数 定理 ) 








in n(n) = 
no n/ Inn 


即使 对 于 较 小 的 n， 近 似 计算 式 n/ Inn 也 可 以 相当 精确 地 给 出 x(z) 的 估计 值 。 例 如 ， 当 
7 一 108 时 ， 其 误差 不 超过 6 只 ， 这 里 x(n) 一 508475 34， 且 n/lnn™482 549 42。( 对 数论 研究 者 来 
Bis 10° 是 一 个 小 数字 。) 

我 们 可 以 把 随机 选取 一 个 整数 n， 并 判断 它 是 否 为 素数 这 一 过 程 视 为 伯 努 利 试验 ( 见 C.4 
节 )。 通 过 素数 定理 ， 成 功 ( 即 一 个 随机 选取 的 整数 n 是 素数 ) 的 概率 为 1/ Inn。 这 种 几何 分 布 说 
明 ， 为 了 获得 一 次 成 功 需要 多 少 次 试验 ， 而 由 于 等 式 (C. 32) ， 试 验 的 期 望 值 近似 为 jnz。 因 此 ， 
为 了 找 出 一 个 长 度 与 nn 相同 的 素数 ， 要 检查 在 n 附近 随机 选取 的 大 约 Inn 个 整数 。 例 如 ， 为 了 找 
出 一 个 1024 位 长 的 素数 ， 大 约 需 要 测试 lIn2” 守 710 个 随机 选取 的 1024 位 长 的 整数 的 素性 。( 当 
然 ， 通 过 只 选择 奇数 ， 就 可 以 把 这 个 数字 减少 一 半 。) 

在 本 节 的 余下 部 分 ， 将 要 考虑 确定 一 个 大 的 奇数 n 是 否 为 素数 的 问题 。 为 了 表示 上 的 方便 ， 
假定 nn 具有 下 列 素数 分 解 因 子 : 





n= pi? td (31. 39) 

这 里 7 之 1， Pir Pos a pp; 是 nn 的 素数 因子 ， H eis By es 6, 是正 整数 。 当 且 仅 当 r=1 并 且 
e 一 1 时 ， n 是 素数 。 

解决 这 个 素数 测试 问题 的 一 种 简便 方法 是 试 除 。 试 着 用 每 个 整数 2，3，…，lVzj 分 别 去 除 ”。 

KF 2 的 偶数 可 以 跳 过 。) 很 容易 看 出 ，n 是 素数 当 且 仅 当 没有 一 个 试 除数 能 整除 nx。 假定 每 次 试 
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除 需要 常数 时 间 ， 则 最 坏 情况 运行 时 间 是 8(Wn)， 这 是 的 长 度 的 指数 。( 回 顾 一 下 ， 如 果 n 表 
示 成 8 位 的 二 进 制 数 ， 则 p= lg Cn 十 1)]|， 因 此 Vn 二 BC2%)。) 因 此 ， 只 有 当 n 很 小 或 n 恰好 有 小 素 
数 因子 时 ， 试 除法 才能 较 好 地 执行 。 当 试 除法 可 以 执行 时 ， 它 的 优点 是 不 仅 能 确定 n 是 素数 还 是 
合 数 ， 而 且 当 是 合 数 时 ， 它 能 确定 出 的 一 个 素数 因子 。 

在 本 节 中 ， 我 们 所 感 兴趣 的 仅仅 是 确定 一 个 指定 的 数 ”是 否 是 素数 ; 如果) 是 一 个 合 数 ， 将 
不 考虑 找 出 其 素数 因子 。 正 如 将 在 31. 9 节 中 看 到 的 那样 ， 计 算 一 个 数 的 素数 因子 分 解 的 计算 开 
销 是 很 高 的 。 令 人 惊讶 的 是 ， 确 定 一 个 数 是 否 是 素数 ， 要 比 确定 一 个 合 数 的 素 因 子 分 解 容 易 


得 多 。 

伪 素 数 测 试 过 程 

现在 来 考察 一 种 “几乎 可 行 ?的 素数 测试 方法 ， 事 实 上， 对 于 很 多 实际 应 用 ， 这 种 方法 已 经 足 
够 好 了 。 后 面 还 将 改进 这 种 方法 ， 以 消除 其 中 的 小 缺陷 。 令 Z 表示 乙 , 中 的 非 零 元 素 : 

Z: = lm 1} 

如 果 nn 是 素数 ， 则 Zi =Z. 

如 果 是 一 个 合 数 ， 且 

a”! = 1(modn) (31. 40) 


WK ”是 一 个 基 为 wu 的 伪 素 数 。 费 马 定理 (定理 31. 31) 意 味 着 如 果 nn 是 素数 ， 则 对 Z+ 中 的 每 一 
Ma, 7 都 满足 等 式 (31. 40)， 因 此 ， 如 果 能 找 出 任意 的 a€ Zz ， 使 得 不 满足 等 式 (31. 40)， 那 
么 nn 就 当然 是 合 数 。 令 人 惊讶 的 是 ， 它 的 道 命 题 也 几乎 成 立 ， 因 此 ， 对 于 素数 测试 ， 这 一 标准 几 
乎 是 完美 的 。 对 a 二 2， 测 试看 n 是 否 满足 等 式 (31. 40) 。 如 果 不 满足 ， 则 通过 返回 COMPOSITE 
声明 n ER AU, RE PRIME, Ul n 是 素数 (实际 上 ， 此 时 我 们 所 知道 的 只 是 ”或 者 是 素 
数 ， 或 者 是 基于 2 的 伪 素 数 )。 

下 列 过 程 就 是 用 这 种 方法 测试 ”的 素性 过 程 。 它 使 用 了 31.6 节 中 的 MODULAR 
EXPONENTIATION 过 程 。 假 设 输入 n 是 一 个 大 于 2 的 整数 。 

PSEUDOPRIME(n) 

1 if MODULAR-EXPONENTIATION(2 ,n—1,2)¥1(mod n) 


2 return COMPOSITE // definitely 
3 else return PRIME // we hope! 


这 个 过 程 可 能 会 产生 错误 ， 但 是 只 有 一 种 类 型 。 也 就 是 说 ， 如 果 它 判定 n 是 合 数 ， 那 么 结果 
总 是 正确 的 。 然 而 ， 如 果 它 判定 n ERA, WARAK n 是 基于 2 的 伪 素 数 时 过 程 才 会 出 错 。 

这 个 过 程 出 错 的 概率 有 多 大 ? 机 会 非常 少 。 在 小 于 10 000 的 n 值 中 ， 只 有 在 其 中 22 MAE 
会 产生 错误 。 最 靠 前 的 四 个 这 样 的 值 分 别 为 341，561，645 和 1105。 我 们 不 证 明 它 ， 然 而 当 
8->~co 时 ， 该 过 程 对 随机 选取 的 8 位 数 进行 测试 ， 错 误 的 概率 趋 于 0。 如 果 像 Pomerance[279] 那 
样 ， 能 更 精确 地 估计 给 定 规模 的 基于 2 的 伪 素 数 的 个 数 ， 就 可 以 得 到 被 上 述 过 程 判定 为 素数 的 一 
个 随机 选取 的 512 位 数 ， 是 基于 2 的 伪 素 数 的 概率 不 到 1/10”， 而 被 上 述 过 程 判定 为 素数 的 一 个 
随机 选取 的 1024 位 数 ， 是 基于 2 的 伪 素 数 的 概率 不 到 1/10? 。 因 此 ， 如 果 只 是 尝试 为 某 个 应 用 
找到 一 个 大 素数 ， 可 以 通过 随机 选取 大 的 数字 ， 直 到 它们 其 中 之 一 使 得 PSEUDOPRIME 返回 
PRIME， 这 在 所 有 实际 使 用 中 几乎 永远 不 会 出 错 。 但 是 当 测 试 素数 的 数字 不 是 随机 选取 时 ， 就 
需要 一 个 更 好 的 方法 来 进行 素数 测试 。 后 面 将 会 看 到 ， 如 果 稍 微 巧 妙 一 点 ， 再 加 上 一 些 随机 性 ， 
就 会 得 到 一 个 在 所 有 输入 情况 下 都 工作 良好 的 素数 测试 程序 。 

遗憾 的 是 ， 我 们 不 能 完全 通过 选取 另外 一 个 基数 (例如 a 二 3) 检 查 等 式 (31. 40) 的 方法 ,来 消 
除 所 有 的 错误 ， 因 为 对 所 有 a€ Z* ， 总 存在 满足 等 式 (31. 40) 的 合 数 n， 它 们 被 称 为 Carmichael 
数 。( 注 意 到 当 geda, m>1 bhRe4eEZ ) 时 ， 等 式 (31. 40) 不 成 立 ， 然 而 如 果 n 只 有 大 素数 
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因子 ， 很 难 通过 寻找 这 样 的 “来 说 明 ” 是 合 数 。) 前 三 个 Carmichael 数 是 561，1105 和 1729, 
Carmichael 数 极 少 ; 例如， 在 小 于 100 000 000 的 数 中 ， 只 有 255 个 Carmichael 数 。 练习 31. 8-2 
解释 了 这 种 数 很 少 的 原因 。 

下 一 步 来 说 明 如 何 对 素数 测试 方法 进行 改进 ， 使 得 测试 过 程 不 会 把 Carmichael 数 当成 素数 。 

Miller-Rabin 随机 性 素数 测试 方法 

Miller-Rabin 素数 测试 方法 对 简单 测试 过 程 PSFUDOPRIME 做 了 两 点 改进 ， 克 服 了 其 中 存 
在 的 问题 : 

。 它 试验 了 多 个 随机 选取 的 基 值 >， 而 非 仅 仅 一 个 基 值 。 

。 当 计 算 每 个 模 取 赛 的 值 时 ， 在 最 后 一 组 平方 里 ， 寻 找 一 个 以 ”为 模 的 1 的 非 平凡 平方 根 。 
如 果 发 现 一 个 ， 终 止 执行 并 输出 结果 COMPOSITE。31. 6 节 的 推论 31. 35 证 明了 用 这 种 
方法 检测 合 数 的 正确 性 。 

下 面 是 Miller-Rabin 素数 测试 的 伪 代 码 。 输 入 n>2 是 一 个 等 待 素性 测试 的 奇数 ，s 是 从 中 
随机 选取 的 要 进行 试验 的 基 值 的 个 数 。 代 码 运用 随机 数 生 成 程序 RANDOM: RANDOM(1, 
n 一 1) 返 回 一 个 满足 1] 委 oa 委 ”一 1 的 随机 选取 的 整数 a。 代码 中 还 使 用 一 个 辅助 过 程 WITNESS, 
当 且 仅 当 a 为 合 数 n 的 “证 据 ” 时 ( 即 用 a 来 证 明 ( 其 证 明 方 法 将 在 后 面 给 出 )n 为 合 数 是 可 能 的 )， 
WITNESS(a, 7) 为 TRUE。 测试 WITNESS(a, 7) 是 一 个 对 作为 过 程 PSEUDOPRIME 基础 (用 a 二 2) 
的 测试 

a = 1(modn) 
的 扩展 ， 但 是 更 加 有 效 。 首 先 要 介绍 并 证 明 WITNESS 的 构造 过 程 ， 然 后 展示 如 何 把 它 应 用 于 
Miller-Rabin 素数 测试 过 程 。 令 n 一 1 二 2w， 其 中 过 1 且 * 是 奇数 ， 即 "一 1 的 二 进 制 表示 是 奇数 
u 的 二 进 制 表示 后 面 跟 上 恰好 :上 AE. AE, a =la) (mod n)， 所 以 可 以 通过 先 计算 a* mod 
n， 然 后 对 结果 连续 平方 + 次 来 计算 a”， mod n。 

WITNESS(a,n) 

1 let ¢ and u be such that t21,u is odd, and n—1=2'u 

2 z=MODULAR-EXPONENTIATION(a,u,7) 

3 for i=1 toż 

4 x;=x2_, modn 

5 if 2;==1 and z;-;41 and zl 天 2 一 1 

6 return TRUE 

7 ifz,Al 

8 return TRUE 

9 return FALSE 


这 个 WITNESS 的 伪 代 码 通过 首先 在 第 2 行 计算 值 x =a" modz， 然 后 在 第 3 一 6 行 的 for 循 
环 的 一 行 中 对 结果 平方 :次 ,来 计算 a”! modz。 通 过 在 ; LIA, HAMID, tis s cA 
值 满足 等 式 =a" (modn) G=0, 1, =, H, HURR, =a (mod n)。 然 而 ， 每 当 在 第 
4 行 后 执行 一 个 平方 步骤 ， 如 果 第 5 一 6 行 检测 到 1 的 一 个 非 平凡 平方 根 是 刚 被 发 现 的 ， 则 循环 
可 能 提前 结束 。 如 果 这 样 ， 则 算法 终止 并 返回 TRUE, WR r, =a (mod n) 所 计算 的 值 不 等 于 
1， 则 第 7~8 HIKE TRUE， 就 像 在 这 个 情况 中 PSEUDOPRIME 返回 COMPOSITE。 如 果 在 第 
6 行 或 第 8 行 没有 返回 TRUE， 则 第 9 行 返 回 FALSE, 

现在 来 论证 如 果 WITNESS(a，n) 返 回 TRUE， 则 可 以 用 a 作为 证 据 构 造 出 n 是 合 数 的 证 明 。 

如 果 WITNESS 从 第 8 行 返 回 TRUE， 则 它 已 经 发 现 x, 二 a”! mod n 了 关 1。 然 而 ， 如 果 n ER 
数 ， 则 根据 费 马 定理 (定理 31. 31)， 对 任何 a€ Zi ，a”'! 寺 1(mod n) 成 立 。 因 此 ,nn 不 可 能 为 素 
数 ， 并 且 等 式 a”! mod n 关 1 证 明了 这 一 事实 。 
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如 果 WITNESS 从 第 6 行 返回 TRUE， 则 它 已 经 发 现 = 是 一 个 以 z 为 模 的 1 的 非 平凡 平方 
根 ， 因 为 x; 1 关 士 1(modn), 但 r= ;=1(mod n)。 推 论 31. 35 说 明 仅 当 是 合 数 时 ， 才 可 能 
存在 以 n 为 模 的 1 的 非 平凡 平方 根 ， 因 此 说 明 z;_1 是 以 为 模 的 1 的 非 平凡 平方 根 ， 也 就 证 明了 
n 是 合 数 。 

这 样 就 完成 了 有 关 WITNESS 正确 性 的 证 明 。 如 果 调 用 WITNESS(a, nikel TRUE, Mn 
必 为 合 数 ， 并 且 根 据 证 据 a 以 及 程序 返回 值 为 TRUE 的 原因 (从 第 6 行 还 是 第 8 行 返 回 )， 可 以 
很 容易 确定 n 是 合 数 。 

在 这 里 ,我 们 以 序列 六 = 二 (zo。，x1，…，Z) 的 函数 形式 简短 地 展示 WITNESS 的 行为 的 另 一 
种 描述 ， 稍 后 在 分 析 Miller-Rabin 素数 测试 的 效率 时 ， 会 发 现 它 很 有 有用。 注意， 如 果 对 某 个 
0 过 i 过 硝 n=l, M) WITNESS 可 能 不 会 计算 序列 的 余下 部 分 。 然 而 如 果 计 算 ， 则 ris Lies os 
Zz 的 值 都 将 是 1， 并 且 我 们 考虑 序列 X 中 的 这 些 位 置 都 是 1。 有 四 种 情况 : 

1.X 一 (…，d)， 其 中 dAl: 序列 和 不 是 以 1 结尾 。 从 第 8 行 返回 TRUE; a 是 n 为 合 数 的 
证 据 ( 由 费 马 定理 ) 。 

2. X 一 (1，1，…，1): 序列 六 全 都 是 1。 返 回 FALSE, a 不 是 n 为 合 数 的 证 据 。 

3.X 一 (…， 一 1，1，…，1): 序列 XX 以 1 结尾 ， 而 且 最 后 一 个 非 1 的 数 等 于 一 1。 返 回 
FALSE, 4a 不 是 n 为 合 数 的 证 据 。 

4.X 一 (…，d，1，…，1)， 其 中 dA]: 序列 X 以 1 结尾 ， 但 最 后 一 个 非 1 的 数 不 是 一 1。 

从 第 6 IRE TRUE; a 是 n 为 合 数 的 证 据 ， 因 为 4 是 一 个 1 的 非 平 凡 平方 根 。 

现在 检查 利用 WITNESS 的 MILLE-RABIN 素数 测试 过 程 。 再 一 次 ,假设 是 一 个 大 于 2 的 
奇数 。 

MILLER-RABIN(n, s) 

1 for j;=1 tos 


2 a=RANDOM(1,2—1) 

3 if WITNESS(a,n) 

4 return COMPOSITE // definitely 

5 return PRIME // almost surely 


过 程 MILLE-RABIN 是 为 了 证 明 nn 是 合 数 所 进行 的 概率 性 搜索 。 主 循环 (从 第 1 行 开始 ) 从 
Z 中 挑选 s 个 a 的 随机 值 (第 2 行 )。 如 果 所 挑选 的 一 个 a 值 是 n 为 合 数 的 证 据 ， 则 过 程 MILLE- 
RABIN 在 第 4 行 返回 COMPOSITE。 这 样 的 结果 总 是 正确 的 ， 由 WITNESS 的 正确 性 证 明 可 以 
看 出 。 如 果 在 s 次 试验 中 没有 发 现 证 据 ， 则 MILLE-RABIN 假定 这 是 因为 证 据 不 存在 ， 因 此 假 
设 ”为 素数 。 我 们 将 看 到 如 果 s 足够 大 ， 则 这 个 输出 结果 很 可 能 是 正确 的 ,但 也 存在 这 样 一 种 微 
小 的 可 能 性 ， 即 过 程 在 选择 a 时 运气 不 佳 ， 因 为 过 程 虽然 没有 发 现 证 据 ， 但 证 据 却 确实 存在 。 

为 了 说 明 MILLE-RABIN 的 操作 过 程 , 令 n 为 Carmichael 数 561， 使 得 n 一 1 二 560= 二 2+。35， 
t 二 4，u 二 35。 假 定 过 程 选择 a=7 作为 基 ，31.6 节 的 图 31-4 说 明 WITNESS 计算 x =a" = 
241(mod 561) ， 因 此 计算 序列 久 ==(241，298，166，67，1)。 所 以 ， 在 最 后 一 次 平方 步骤 中 发 现 
了 一 个 1 的 非 平 凡 平 方 根 ， 因 为 a**? 寺 67(mod nn), a=1(modn), Aik, a=7 是 为 合 数 的 证 
4, WITNESS(7, nn) 返回 TRUE, Wifi MILLE-RABIN 返回 COMPOSITE, 

如 果 是 一 个 8 位 数 ， 则 MILLE-RABIN 需要 执行 OGY) KAARIGHA OGP ) 次 位 操作 ， 因 
为 从 渐 近 意义 上 说 ， 它 需要 执行 的 工作 仅 是 s 次 模 取 寡 运算 。 

MILLE-RABIN 素数 测试 的 出 错 率 

如 果 MILLE-RABIN 返回 PRIME， 则 它 仍 有 一 种 很 小 的 可 能 性 会 产生 错误 。 然 而 ， 不 像 
PSEUDOPRIME， 出 错 的 可 能 性 并 不 依赖 于 n; 对 该 过 程 也 不 存在 坏 的 输入 。 相 反 ， 它 取决 于 s 
的 大 小 和 在 选取 基 值 a 时 “抽签 的 运气 ”。 另 外 ， 由 于 每 次 测试 都 比 简单 地 检查 等 式 (31. 40) 更 严 
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格 ， 因 此 从 总 的 原则 上 ， 对 随机 选取 的 整数 x， 其 出 错 率 应 该 是 很 小 的 。 下 列 定理 阐述 了 一 个 更 
精确 的 论点 。 

定理 31.38 ”如果 nn 是 一 个 奇 合 数 ， 则 nn 为 合 数 的 证 据 的 数目 至 少 为 (n 一 1)/2。 

证 明 证明 过 程 说 明了 非 证 据 的 个 数 最 多 为 (n 一 1)/2， 意 味 着 定理 成 立 。 

首先 ， 我 们 断言 任何 非 证 据 都 必须 是 Z; 的 一 个 成 员 。 为 什么 呢 ? 考虑 任意 的 非 证 据 a。 它 
必须 满足 a”! 寺 1(mod n), 或 者 等 价 地 ，a，a” 夺 1(mod n)。 因 此 ,方程 ax 三 1(mod n) 有 一 个 
解 ， 即 a”*。 由 推论 31.21 可 知 ，gcd(a，n) |1， 这 反 过 来 意味 着 gcdla, nn) 二 1。 因 此 , ai Z 
的 一 个 成 员 ， 所 有 的 非 证 据 都 属于 Z o 

为 了 完成 证 明 ， 要 说 明 不 只 是 所 有 的 非 证 据 都 包含 在 Z A, 而且 它们 都 包含 在 Z 的 一 个 
真子 群 B 中 (回顾 一 下 ， 如 果 B 是 Z* 的 一 个 子 群 但 B TRET Z, MBZ 的 一 个 真子 群 ) 。 
根据 推论 31.16， 有 |B| 志 |Z; |/2. KX |Z | 二 n 一 1， 所 以 得 到 |B| 志 (mn 一 1)/2。 因 此 ， 非 证 
据 的 个 数 至 多 是 (n 一 1)/2， 所 以 证 据 的 数目 必须 至 少 有 (n 一 1)/2。 

下 面 说 明 如 何 找 出 一 个 的 包含 所 有 非 证 据 的 真子 群 B。 具 体 分 两 种 情况 。 

情况 l: 存在 一 个 ED ’ 使 得 

x” 天 1Cmnod7) 
换 名 话说，7 不 是 一 个 Carmichael 数 。 如 我 们 先前 所 注意 到 的 ， 因 为 Carmichael 数 极 少 ， 情 况 1 
是 由 "实际 ?所 产生 的 主要 情况 (例如 ， 这 里 ”已 经 被 随机 选取 ， 而 且 被 测试 其 素数 性 ) 。 

& B={bEZ; : b ' 二 1(modn))。 显 然 ，B 是非 空 的 ， 因 为 1€B。 因 为 B 在 模 n 的 乘法 下 
是 封闭 的 ， 所 以 由 定理 31.14，B 是 Zi 的 一 个 子 群 。 注 意 ， 每 个 非 证 据 都 属于 B， 因 为 一 个 非 
证 据 a Wi La" '=1(modn),. AA rEZ —B, MUBEZ 的 一 个 真子 群 。 

情况 2: 对 所 有 的 EZ, 

x”) = 1(modn) (31. 41) 
换 句 话说 ，n 是 一 个 Carmichael 数 。 这 个 情况 实际 上 非常 少 。 然 而 ， 正 如 现在 要 说 明 的 ， 
MILLE- RABIN 测试 (不 同 于 伪 素 数 测试 ) 可 以 有 效 地 确定 Carmichael 数 的 合 数 性 。 

在 这 种 情况 下 ，7” 不 可 能 是 一 个 素数 寡 。 为 搞 清 楚 为 什么 ， 反 之 我 们 假设 "一 女 ， 其 中 p 是 一 个 
素数 ，e>1。 按 如 下 方式 推导 出 矛盾 。 因 为 ”假设 是 奇数 ， 故 嫁 也 必须 是 奇数 。 定 理 31. 32 意味 着 Z 
是 一 个 循环 群 : 它 包 含 一 个 生成 元 g, 使 得 ord,(g) 二 |Z | = =p U-1/p)=@—- Dp | GM Hh 
公式 来 自 等 式 (31. 20))。 根 据 式 (31. 41)， 有 g”' 夺 1(mod n)。 则 离散 对 数 定理 (定理 31. 33， 取 
y=0) BK n—1=—0(mod %(z) ) ， 或 者 

(p—Dp > |p —1 
这 对 e>l 是 一 个 矛盾 ， 因 为 (p 一 1)p”' 可 以 被 素数 p 整除 ,但 是 之 一 1 不 能 。 因 此 ,nn 不 是 一 个 
素数 宕 。 

因为 奇 合 数 ”不 是 一 个 素数 寡 ， 我 们 把 它 分 解 成 一 个 积 夯 台 ， 其 中 思 和 寡 都 是 大 于 1 的 奇数 
且 互 质 。( 有 多 种 方法 来 做 这 个 分 解 ， 选 择 哪 一 种 并 没有 关系 。 例 如 ， 如 果 n= pit pepe, WAT 
UAE m = pi, M n= p? p$… pe.) 

回顾 一 下 ， 定 义 t 和 w 使 得 n 一 1 二 2w， 其 中 t 宇 1, 是 奇数 ， 且 对 于 输入 Te 
WITNESS 计算 序列 





X = (a*,a™ a", a") 
(所 有 的 计算 都 是 根据 模 n 计算 的 )。 
MR VEZ, FEO, 1, ++, t}A oz 二 一 1(modz)， 则 称 整数 对 (w，7) 为 可 接受 的 。 可 接 
受 的 对 是 肯定 存在 的 ， 因 为 是 奇数 ; 可 以 选择 v= 二 n 一 1 和 j 二 0， 使 得 (n 一 1，0) 是 一 个 可 接受 
对 。 现 在 挑选 最 大 可 能 的 ;， 使 得 存在 一 个 可 接受 对 (v，j;)， 调 整 v 使 得 (vw，j) 是 一 个 可 接受 
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对 5 F 

B= {x € Z :x*=+ i(modn)} 
因为 B 在 模 n 的 乘法 下 是 封闭 的 ， 故 它 是 Z 的 一 个 子 群 。 因 此 ， 由 定理 31.15，| B| 整 除 |Z; |- 
每 一 个 非 证 据 都 必定 是 B 的 成 员 ， 因 为 由 一 个 非 证 据 产生 的 序列 XX 必须 或 者 全 部 为 1， 或 者 在 第 
j 个 位 置 之 前 ， 包 含 一 个 一 1( 根 据 7 RAKE). Ra, ) 是 可 接受 的 ， 其 中 a 是 一 个 非 证 
据 ， 则 根据 我 们 选择 j 的 方式 ， 必 有 了 入 7 。) 

ME, 利用 v 的 存在 性 说 明 存 在 一 个 wEZ; 一 B， 且 因此 B 是 Z 的 一 个 子 群 。 因 为 
"二 一 1(mod n)， 根 据 中 国 余数 定理 的 推论 31. 29， 有 “圭一 1(mod m )。 根 据 推论 31.28, FF 
在 一 个 w， 同 时 满足 

w = v(mod nı ) 
w= 1(mod m) 
因此 ， 
w?*=— 1(mod m ) 
w?“= 1(mod n) 
由 推论 31. 29, w?*~l (mod nm, ) BIR w?“Fl(modn), ， 而 且 w** 关 一 1(modn,) 意 味 着 w** 关 一 1 
(modn)。 因 此 ， 得 出 w** 关 士 1(mod n)， 所 以 wB. 

接 下 来 还 要 证 明 wEZ; 。 首 先 分 别 对 模 nj 和 模 ns 进行 处 理 。 对 模 nt， 注意 到 由 于 vE, 
有 gcd(v, nn) 二 1， 所 以 有 gcd(v， m)=1; WR v 5n 没有 任何 公约 数 ， 它 当然 不 会 与 有 任何 
公约 数 。 因 为 w 寺 v(mod n), FHA ged(w, nn) 二 1。 对 模 n,。， 观 察 到 w=1(mod n,) 意 味 着 gcd 
(w，7z) 二 1。 结合 这 些 结果 ， 利 用 推论 31. 6， 它 意味 着 gcd(w, mnm)=ged(w, n)=1. HE 
weZ; 。 

Aut, wEZ;—B, MAW BEEZ 的 一 个 真子 群 的 结论 完成 情况 2。 

在 两 种 情况 中 的 任何 一 个 ， 我 们 看 出 n 为 合 数 的 证 据 的 数目 都 至 少 为 (n 一 1)/2。 a 

定理 31. 39 ”对 于 任意 奇数 1 盖 2 和 正 整 数 ;s，MILLER-RABIN(n，s) 出错 的 概率 至 多 为 2。 

证 明 利用 定理 31.38， 可 以 看 到 如 果 nn 是 合 数 ， 则 每 次 执行 第 1~4 行 的 for 循环 ,发现 
为 合 数 的 证 据 z 的 概率 至 少 为 1/2。 只 有 当 MILLER-RABIN 运气 太 差 ， 在 主 循环 总 共 ; 次 迭代 
中 ， 每 一 次 都 没 能 发 现 n 为 合 数 的 证 据 时 ， 过 程 才 会 出 错 。 而 这 种 每 次 都 错过 发 现 证 据 的 概率 至 
多 为 2 。 a 

如 果 n ERM, MILLER-RABIN 总 是 输出 PRIME， 而 如 果 n AAW, MILLER-RABIN 输 
出 PRIME 的 概率 至 多 为 2 一 。 

然而 ， 当 对 一 个 大 随机 整数 nn 应 用 MILLER-RABIN 时 ,为 了 正确 地 解释 MILLER-RABIN 
的 结果 ， 我 们 需要 考虑 n 是 素数 的 优先 概率 。 假 设 固定 了 一 个 长 度 位 数 8， 并 且 随 机 选择 了 一 个 
长 度 为 8 位 的 整数 来 检测 优先 级 。 令 A 表示 n 是 素数 的 事件 。 由 素数 定理 (定理 31. 37)，n 是 素 
数 的 概率 接近 

Pr{A} ~ 1/ Inn ~ 1. 443/8 
& B #78 MILLER-RABIN 返回 PRIME 的 事件 ， 我 们 有 Pr{B| A} =O RAS tree, Pr{B|A}) 
和 Pr{ B|A} <2 (RASH, Pr(B|A}>1—27). 

然而 在 MILLER-RABIN 返回 PRIME 的 情况 下 ，n 是 素数 的 概率 Pr{A1B} 的 值 是 多 少 呢 ? 

通过 贝 叶 斯 定理 的 变形 (等 式 (C. 18))， 有 
Pr{A|B} = Pr{A}PriB|A} 1 


x 


Pr{A)}Pr{B|A}+Pr(A}Pr{B|A}  1+2°CInn—1) 
在 s 超 过 lg( lnn 一 1) 之 前 ， 这 个 概率 不 超过 1/2。 直 观 上 ， 为 了 得 到 信心 (由 于 不 能 找到 nn 是 合 数 
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的 证 据 ) ， 来 克服 对 于 n 是 合 数 的 优先 偏好 ， 需 要 很 多 原始 测试 。 对 于 一 个 有 p=1024 位 的 数 ， 
原始 测试 大 约 需 要 
Ig( Inn—1) ~ lg (8/1. 443) ~ 9 

次 。 在 任何 情况 下 ， 对 几乎 所 有 可 以 想象 到 的 应 用 ， 选 取 s=50 应 该 是 足够 的 。 

事实 上 情况 要 更 好 。 如 果 通 过 对 随机 选取 的 大 奇 整数 应 用 MILLER-RABIN 来 找 出 大 素数 ， 
则 选取 较 小 的 * 值 (如 3) 也 未 必 导 致 错误 的 结论 (在 此 不 做 证 明 )。 因 为 对 一 个 随机 选取 的 奇 合 数 
n，n 为 合 数 的 非 证 据 的 预计 数目 可 能 要 比 (n 一 1)/2 少 得 多 。 

然而 ， 如 果 整 数 n 不 是 随机 选取 的 ， 则 运用 改进 过 的 定理 31. 38， 所 能 证 明 的 最 佳 结论 是 非 
证 据 数 目 至 多 为 (x 一 1)/4。 并 且 ， 确 实 存在 整数 nx， 使 得 非 证 据 的 数目 就 是 (n 一 1)/4。 


练习 
31. 8-1 WH: 如 果 一 个 奇 整数 n 二 1 不 是 素数 或 素数 的 需 ， 则 存在 一 个 以 ”为 模 的 1 的 非 平凡 
平方 根 。 
“31.8-2 可 以 把 欧 拉 定理 稍微 加 强 为 如 下 形式 : 对 所 有 a€E ZZ， 
a” = 1(mod n) 
其 中 n= pi pepe, HAM EMA 
ACn) = 1lcm($( pi ), +, PCF) (31. 42) 


证 明 ACM | oC). WN AC) |n—-1, WAR n J Carmichael 数 。 最 小 的 Carmichael 数 为 
561=3 + 11+ 17; XÆ, A(n) =1cem(2, 10, 16) =80, © TJ LAB 560. TERR 
Carmichael 数 必须 既是 “无 平方 数 ”( 不 能 被 任何 素数 的 平方 所 整除 ) ， 又 是 至 少 三 个 素数 
的 积 。( 因 此 ，Carmichael 数 不 是 很 常见 。) 

31. 8-3 WEH: WẸ r&n 为 模 的 1 的 非 平凡 平方 根 ， 则 gcd(x 一 1，n) 和 gcd(x+1, nh n 
的 非 平 凡 约 数 。 


“31.9 整数 的 因子 分 解 


假设 希望 将 一 个 整数 n 进行 因子 分 解 ， 也 就 是 分 解 为 素数 的 积 。 通 过 上 一 节 所 讨论 的 素数 测 
试 ， 可 以 知道 是 否 是 合 数 ， 但 它 并 不 能 指出 n 的 素数 因子 。 对 一 个 大 整数 ”进行 因子 分 解 ， 似 
FE ME n 是 素数 还 是 合 数 困难 得 多 。 即 使 用 当今 的 超级 计算 机 和 现行 的 最 佳 算 法 ， 要 对 任 
意 一 个 1024 位 的 数 进行 因子 分 解 也 还 是 不 可 行 的 。 

Pollard 的 rho 启发 式 方法 

对 小 于 R 的 所 有 整数 进行 试 除 ， 保 证 完全 获得 小 于 R 的 任意 数 的 因子 分 解 。 下 列 过 程 用 相 
同 的 工作 量 ， 就 能 对 小 于 R: 的 任意 数 进行 因子 分 解 ( 除 非 运 气 不 佳 );。 由 于 该 过 程 仅仅 是 一 种 启 
发 性 方法 ， 因 此 既 不 能 保证 其 运行 时 间 也 不 能 保证 其 运行 成 功 ， 尽 管 该 过 程 在 实际 应 用 中 非常 
有 效 。POLLARD-RHO 过 程 的 另 一 个 优点 是 ， 它 只 使 用 固定 量 的 存储 空间 。( 如 果 愿 意 ， 可 以 很 
容易 地 在 一 个 可 编程 的 掌上 计算 器 上 实现 POLLARD-RHO， 来 找 出 小 数 的 因子 。) 

POLLARD-RHO(n) 

1 i=1 
2 2,=RANDOM(0,n—1) 
3 yn 
4 k=2 
5 while TRUE 
6 i 二 i 十] 
i 


Xi= (z4 —1) mod n 
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8 d=gcd(y—2z;,n) 
9 if d 关 1 and dn 
10 print d 
1l ifi == k 
12 y= ti 
13 k=2k 


其 执行 过 程 如 下 。 第 1 一 2 行 把 ;初始 化 为 1， 把 a WEA Z, HLS 5 
行 开 始 的 while 循 环 将 一 直 进行 适 代 ， 来 搜索 的 因子 。 在 while 循环 的 每 一 次 迭代 中 ， 第 7 行 运 
用 递归 式 
Xi = (z4, — 1) mod n (31. 43) 
计算 无 穷 序列 
Oey Ine ene a (31. 44) 
中 xz; 的 下 一 个 值 ， 其 中 i 的 值 在 第 6 行 中 进行 相应 的 增加 。 为 了 清楚 ， 伪 代码 中 使 用 了 下 标 变量 
xi， 但 即使 去 掉 所 有 的 下 标 ， 程 序 也 以 同样 的 方式 执行 ， 因 为 仅 需 要 保留 最 近 计算 出 的 ofl. 
过 这 个 修改 ， 此 过 程 只 使 用 了 一 个 常量 的 存储 空间 。 
程序 不 时 地 把 最 近 计算 出 的 xz; 的 值 存 人 变量 y 中 。 具 体 来 说 ， 存 储 的 值 是 那些 下 标 为 2 BE 
的 变量 : 
第 3 行 保存 值 x ， 每 当 i=& 时 ,第 12 行 就 保存 值 x;。 第 4 行将 变量 初始 化 为 2， 并 且 每 当 第 
12 行 更 新 y. 第 13 行 就 将 & 的 值 加 倍 。 因 此 , & 值 的 序列 为 1，2，4，8，…， 并 且 总 是 给 出 要 
存 人 yy 的 下 一 个 值 的 x 的 下 标 。 
第 8 一 10 行 尝 试用 存 和 人 y 的 值 和 zx; 的 当前 值 找 出 的 一 个 因子 。 特 别 地 ， 第 8 行 计算 出 最 大 
公约 数 d=ged(y—z;, n. WR 9 行 中 发 现 了 d 是 n 的 非 平凡 约 数 ， 则 第 10 行 输出 a 的 值 。 
最 初 ， 这 一 寻找 因子 分 解 的 过 程 似乎 有 点 神秘 。 但 是 注意 ，POLLARD-RHO 绝 不 会 输出 错 
误 的 答案 ， 它 输出 的 任何 数 都 是 的 非 平 凡 约 数 。 尽 管 POLLARD-RHO 可 能 不 输出 任何 信息 ， 
也 没有 保证 它 能 输出 约 数 。 不 过 ， 我 们 将 看 到 ， 我 们 有 充分 的 理由 预计 ，POLLARD-RHO 在 
while 循环 大 约 执行 8(Vp) 次 迭代 后 ,会 输出 一 个 的 因子 p。 因 此， 如 果 p 是 合 数 ， 则 在 大 约 
经 过 mn“ 次 的 更 新 后 ， 可 以 预计 该 过 程 已 经 找到 足够 多 的 约 数 ， 这 是 由 于 除了 可 能 有 的 最 大 的 一 
个 素 因 子 外 ，n 的 每 一 个 素 因子 p 均 小 于 Vn。 
分 析 一 下 要 经 过 多 久 ， 模 nn 的 随机 序列 中 才 会 重复 出 现 一 个 值 ， 就 可 以 了 解 这 个 过 程 的 性 
能 。 由 于 刀 是 有 限 的 ， 并 且 序 列 (31. 44) 中 的 每 一 个 值 仅 仅 取决 于 前 一 个 值 ， 所 以 序列 (31. 44) 
最 终 将 产生 自身 重复 。 一 旦 运算 到 达 一 个 z, EMR ISA z; 二 zx;， 则 我 们 处 在 一 个 回路 
中 9 因为 Zi+1 一 Zi1， Titz T Xit2, 等 等 。 该 过 程 取 名 为 “rho 启 发 式 方法 ”的 原因 就 在 于 (如 
图 31-7 所 示 ) 序 列 Tis 2 ”9 Zi-1 可 以 画 成 rhoCo) 的 “ 尾 ”， 而 回路 Xi», Hj+19 os Zi 可 以 画 成 
tho 的 “ 体 ”。 
下 面 考 虑 一 个 问题 ，zx; 的 序列 发 生 重复 需要 多 久 ? 实际 上 ， 这 个 问题 的 答案 并 不 是 我 们 恰好 
需要 的 ， 但 我 们 将 会 看 到 如 何 修 改 这 个 论点 。 为 了 进行 估算 ,假定 函数 
falx) = (2? — 1) mod n 
像 一 个 “随机 ”函数 那样 进行 计算 。 当 然 ， 它 并 不 是 一 个 真正 的 随机 函数 ， 但 由 这 个 假设 所 得 的 结 
论 ， 与 我 们 对 POLLARD-RHO 行 为 的 观察 是 一 致 的 。 因 而 ， 可 以 把 每 个 x; 视 为 按 在 Z, 上 均匀 分 
布 的 方式 从 乙 中 独立 选取 的 。 根 据 5. 4. 1 节 中 对 生日 悖 论 的 分 析 ， 在 序列 出 现 回路 之 前 预计 要 
执行 的 步 数 为 @(Wn)。 
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mod 19 
(b) 


mod 73 
Ce) 


图 31-7 Pollard 的 rho 启发 式 方法 。(a) 由 递归 式 x41 = (a? —1) mod 1387 所 产生 的 值 ， 从 zi 二 2 开始 。 


1387 的 素数 因子 分 解 是 19。73。 粗 箭头 指出 在 因子 19 被 发 现 之 前 所 执行 的 迭代 步骤 。 细 箭头 
指出 在 迭代 中 未 到 达 的 值 ， 来 画 出 “rho” 的 形状 ， 阴 影 数 值 是 由 POLLARD-RHO 保存 的 y 的 
值 。 因 子 19 是 在 到 达 cp = 177 时 被 发 现 的 ， 此 时 计算 gcd(63 一 177，1387) 二 19。 第 一 个 要 重 
FH 2 BUH 1186, 但 是 因子 19 是 在 这 个 数值 重复 之 前 被 发 现 的 。(b) 相 同 递归 式 产生 的 值 ， 
模 19。(a) 给 出 的 每 个 值 x; 对 模 19 来 说 等 于 这 里 显示 的 zio WA, z =63 和 x, =177 都 等 于 
6， 模 19。(c) 相 同 递归 式 产 生 的 值 ， 模 73。(a) 给 出 的 每 个 值 = ， 对 模 73 来 说 等 于 这 里 显示 的 
Zz; 。 由 中 国 余数 定理 ，(a) 中 每 个 结 点 对 应 于 一 对 结 点 ， 即 (b) 中 和 (c) 中 的 一 个 


573 


现在 根据 要 求 进行 适 当 修 改 。 令 p 是 满足 gdp, n/bH)=1 的 的 一 个 非 平凡 因子 。 例 如 ， 


WR n WATOA n= p ps*…p,“， 则 可 以 取 上 zp HEN pits GIR e51, M p 就 是 n 的 最 小 
素数 因子 ， 这 是 一 个 可 以 牢记 的 好 例子 。) 


序列 (z;) 包 含 一 个 相应 的 对 模 p 的 序列 (xz;)， 其 中 对 所 有 i, A 


z= zx; mod p 


HE zis 序列 从 模 p 的 角度 看 是 从 模 n 的 角度 看 的 一 个 较 小 版 本 : 


/ 
Zi 一 XL, mod p 


= f(zi) mod p 


= ((2? — 1) modz) mod p 


= (2 =D mod p 


(根据 练习 31. 1-7) 


= ((a; mod p)? — 1) mod p 


= ((x;)? — 1) mod p 
= fa 


因此 ,虽然 没有 显 式 地 计算 序列 (x#)， 但 这 个 序列 是 良 定义 的 ， 而 且 与 序列 (x; 有 相同 的 递归 式 。 
像 之 前 一 样 进行 推论 ， 可 以 发 现在 序列 (zi) 重 复出 现 之 前 ， 预 计 执 行 的 步 数 是 @(Vp)。 如 果 


更 进一步 ， 因 为 ,是 仅 使 用 算术 操作 (平方 和 减法 ) 对 模 n 定 义 的 ， 所 以 将 看 到 可 以 用 zi 来 
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Al n FALL. p 是 一 个 小 数 ， 则 序列 (zx) 的 重复 可 能 比 序列 (xz;) 的 重复 要 快 得 多 。 事 实 上 ， 只 要 序 
列 (xz) 中 的 两 个 元 素 仅 对 模 p 等 价 ， 而 不 对 模 n 等 价 ， 序 列 (z!) 就 发 生 重复 。 图 31-7(b) 和 (co) 说 
明了 这 一 点 。 

A 1 表示 (x!) 序列 中 第 一 个 重复 出 现 的 值 的 下 标 ， 并 且 x 之 0 表示 这 样 产 生 的 循环 回路 的 长 
E. EREM, t 和 ww 之 0 是 对 所 有 co, 满足 条 件 zt; 二 zi44; 的 最 小 值 。 根 据 上 面 的 论证 ，t 和 
u 的 期 望 值 都 是 OCP). 注意 ， 如 果 Ce AT 则 zp| (nl Io 因此 ， 

gcd( me ep WL 

因此 ， 只 要 POLLARD-RHO 把 使 得 kc 的 任何 值 x, 存 人 变量 y， 则 y mod p 总 在 对 模 p 的 
回路 中 (如 果 把 一 个 新 值 存 为 y»， 则 该 值 也 在 对 模 p 的 回路 中 。) 最 终 , & 将 被 赋予 一 个 大 于 w 的 
值 ， 然 后 过 程 就 在 不 改变 y 值 的 情况 下 ， 沿 着 模 为 p 的 回路 完成 整个 一 次 循环 。 当 zx;“ 遇 到 ”之 
前 存储 的 对 模 p 的 y 值 时 ， 即 2z;=yCmod pit, MAB Tn 的 一 个 因子 。 

假定 发 现 的 因子 是 因子 p, 但 偶尔 也 可 能 是 p 的 倍数 。 由 于 t 和 的 期 望 值 都 是 BCVz) ， 所 
以 产生 因子 p 所 要 求 的 期 望 执行 步 数 为 OVP). 

该 算法 不 会 如 期 执行 ， 原因 有 两 条 。 第 一 ， 对 于 运行 时 间 的 启发 式 分 析 并 不 严格 ， 对 模 p 
的 值 的 回路 有 可 能 要 比 Vp 大 得 多 。 在 这 种 情况 下 ， 虽 然 算法 的 执行 正确 ， 但 其 执行 速度 要 比 期 
望 低 得 多 。 在 实际 应 用 中 ， 这 似乎 还 可 以 讨论 。 第 二 ， 这 一 算法 得 出 n 的 约 数 可 能 总 是 平凡 因子 
1 或 n。 例如 ,假设 n 二 pg， 这 里 p 和 9g 为 素数 。 可 能 会 发 生 如 下 情况 : 关于 p 的 + Mu 的 值 与 关 
Fakt Mu 的 值 相 等 ， 所 以 因子 p 和 因子 g 总 是 在 相同 的 gcd 运算 中 被 呈现 。 由 于 两 个 因子 同 
时 被 呈现 ， 因 此 也 就 呈现 出 元 用 的 平凡 因子 pq 二 xn。 这 在 实际 应 用 中 似乎 没 意 义 。 如 果 需 要 ， 可 
以 用 一 个 不 同形 式 的 递归 式 2, = (2? —c) modn 来 重新 开始 运行 该 启发 式 过 程 。( 值 c=0 Mc=2 
应 该 被 避免 ， 其 原因 这 里 不 作 说 明 ， 但 对 其 他 值 没 有 问题 。) 

当然 ， 上 述 分 析 过 程 是 启发 式 的 ， 而 不 是 严格 的 ， 因 为 递归 式 并 不 真是 “随机 的 ”。 然 而 ， 这 
个 过 程 可 以 在 实际 应 用 中 良好 地 运行 ， 并 且 似乎 和 我 们 在 上 面 的 启发 式 分 析 中 所 说 明 的 一 样 有 
效 。 它 是 一 种 找 出 大 整数 的 小 素数 因子 的 可 供 选择 的 方法 。 为 了 对 一 个 8 位 合 数 ” 完 全 分 解 因 
子 ， 仅 需 找 出 所 有 小 于 Lz22 的 素数 因子 就 可 以 了 ， 因 此 ， 可 以 期 望 POLLARD-RHO 需 执行 的 算 
术 运 算 至 多 为 妈 4 王 28 次 ， 位 操作 至 多 为 n“ p =2 R. POLLARD-RHO 最 具 吸 引力 的 特点 就 
是 它 可 以 在 期 望 的 @(Vp) 次 算术 运算 内 ， 找 出 的 一 个 小 因子 po 


练习 

31.9-1 在 图 31-7(a) 所 示 的 执行 过 程 中 ， 过 程 POLLARD-RHO 在 何 时 输出 1387 的 因子 73? 

31.9-2 假设 给 定 函 数 f: Z, 一 Z, 和 一 个 初 值 xz。 Es 定义 0 令 t 和 
u> EWE xij; 二 zs;(i 二 0，1，…) 的 最 小 值 。 在 Pollard 的 rho 算法 的 术语 中 ,i 为 
rho HÆKKE, u 是 rho 的 回路 的 长 度 。 试 写 出 一 个 计算 上 和 z 的 值 的 有 效 算法 ， 并 分 
析 其 运行 时 间 。 

31.9-3 ”为 了 发 现形 如 pr 的 数 (其 中 p 是 素数 ，e 二 1) 的 一 个 因子 ，POLLARD-RHO 要 执行 多 少 步 ? 


“31.9-4 POLLARD-RHO 的 缺点 之 一 是 ， 在 其 递归 过 程 的 每 一 步 ， 都 要 计算 一 个 gcd。 然 而 ， 可 


以 对 gcd 的 计算 进行 批 处 理 : 通过 累计 一 行 中 数 个 连续 的 zx; 的 积 ， 然 后 在 ged 计算 中 使 
用 该 积 而 不 是 z;。 请 详细 描述 如 何 实现 这 一 思想 ,为 什么 它 是 可 行 的 ， 以 及 在 处 理 一 个 
B 位 数 n 时 ， 所 选取 的 最 有 效 的 批 处 理 规模 是 多 大 ? 

思考 题 

33-1 (SA gd FA) 与 计算 余数 的 执行 速度 相 比 ， 大 多 数 计算 机 执行 减法 运算 、 测 试 一 


31-2 


31-3 


31-4 
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个 二 进 制 整数 的 奇偶 性 运算 以 及 折 半 运算 的 执行 速度 都 要 更 快 些 。 本 题 所 讨论 的 二 进 制 

gcd 算法 中 避免 了 欧 几 里 得 算法 中 对 余数 的 计算 过 程 。 

a. 证 明 : 如 果 a 和 2 都 是 偶数 ， 则 gcd(a, 5b) 二 2。gcd(a/2,，6/2)。 

b. 证 明 : 如 果 a 是 奇数 ，2 是 偶数 ， 则 gcdla, 5) 二 gcd(a，65/2)。 

c 证 明 : 如 果 a 和 PEAR, MI gcd(a, 6)=ged((a—b)/2, b). 

d. 设计 一 个 有 效 的 二 进 制 gcd 算法 ,输入 整数 为 a 和 4b(a 宇 56)， 并 且 算 法 的 运行 时 间 为 
OUg a)。 假 定 每 个 减法 运算 、 测 试 奇偶 性 运算 以 及 折 半 运算 都 能 在 单位 时 间 内 执行 。 

(对 欧 几 里 得 算法 中 位 操作 的 分 析 ) 

a. 考虑 用 普通 的 “ 纸 和 笔 ” 算 法 来 实现 长 除法 的 运算 : 用 a 除 以 2， 得 到 商 g 和 余数 ~。 证 
H: 这 种 算法 需要 执行 O((1 十 lg q)lg 5) 次 位 操作 。 

b. ÆX pla, 5) 二 (十 lg a) (1 十 lg b). WEH: 过 程 EUCLID 在 把 计算 gcd(a，5) 的 问题 转 
化 为 计算 gcd(5，a mod 65) 的 问题 时 ， 所 执行 的 位 操作 次 数 至 多 为 c(j(a,， 65) 一 
ub, amodb)), EP c>0 为 某 一 个 足够 大 的 常数 。 

c 证明， EUCLID(a, 中) 通常 需要 执行 OCy(a，5)) 次 位 操作 ; 当 其 输入 为 两 个 8 位 数 时 ， 
需要 执行 的 位 操作 次 数 为 OC(B? )。 

(关于 斐 波 那 契 数 的 三 个 算法 ) ”在 已 知 n 的 情况 下 ， 本 题 对 计算 第 nn 个 斐 波 那 契 数 下 ,的 三 

种 算法 的 效率 进行 了 比较 。 

假定 两 个 数 的 加 法 、 减 法 和 乘法 的 代价 都 是 O(1)， 与 数 的 大 小 无 关 。 

a. 证 明 : 基于 递归 式 (3. 22) 计 算 ,的 直接 递归 方法 的 运行 时 间 为 n OE. CM, 27.1 节 
的 FIB 程序 。) 

b. 试 说 明 如 何 运 用 记忆 法 在 OG) 的 时 间 内 计算 F, 。 

ce 试 说 明 如 何 仅 用 整数 加 法 和 乘法 运算 ， 就 可 以 在 Og nn) 的 时 间 内 计算 F,。( 提 示 : 考 


虑 矩阵 
O J 
Lal 
AVE ROE.) 
d 现在 假设 对 两 个 8 位 数 相 加 需要 9(B) 时 间 ， 对 两 个 8 位 数 相 乘 需 要 OCF ) 时 间 。 如 果 这 
样 更 合理 地 估计 基本 算术 运算 的 代价 ， 这 三 种 方法 的 运行 时 间 又 是 多 少 ? 
(二 次 余数 ) 设 记 是 一 个 奇 素数 。 如 果 关 于 未 知 量 z 的 方程 x? 二 a(mod p) 有 和 解 ， 则 数 
aE 2 就 是 一 个 二 次 余数 。 
a. 证 明 : 对 模 2， 恰 有 (z 一 1)/2 个 二 次 余数 。 
b. 如 果 p 是 素数 ， 对 aE 一， 定义 勤 让 德 符号 ( 公 ) ， 若 BX p 的 二 次 余数 ， 则 它 等 
于 1; 否则 它 等 于 一 1。 证 明 : 如 果 aE€Z*， 则 


a 


人 j= a?” (mod p) 


给 出 一 个 有 效 的 算法 ， 使 其 能 确定 一 个 给 定 的 数 a 是 否 是 对 模 p 的 二 次 余数 。 分 析 所 给 
算法 的 效率 。 

. 证 明 : 如 果 p 是 形 如 4 十 3 的 素数 ， 且 a 是 Z 中 一 个 二 次 余数 ， 则 at"! mod p 是 对 模 
pHa 的 平方 根 。 找 出 一 个 以 p 为 模 的 二 次 余数 a 的 平方 根 需 要 多 长 时 间 ? 

d 试 描述 一 个 有 效 的 随机 算法 ， 找 出 一 个 以 任意 素数 p 为 模 的 非 二 次 余数 ， 也 就 是 指 Z 
中 不 是 二 次 余数 的 成 员 。 所 给 出 的 算法 平均 需要 执行 多 少 次 算术 运算 ? 
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本 章 注 记 

982 Niven 和 Zuckerman[265] 提 供 了 有 关 基 本 数论 的 优秀 介绍 。KnuthL210 ] 中 包含 了 找 出 最 大 公约 数 
的 算法 ， 以 及 其 他 基本 数论 算法 的 一 个 很 好 的 讨论 。BachL30] 和 RieselL 295 提供 了 更 多 计算 数论 的 最 
新 调查 。Dixon[91] 给 出 了 因子 分 解 和 素数 测试 的 一 个 概论 。PomeranceL 280 编辑 的 会 议 文集 包含 了 数 
篇 优秀 的 综述 文章 。 在 最 近 ，Bach 和 ShallitL31] 提 供 了 计算 数论 基础 的 一 个 特别 的 概论 。 

Knuth[210] 讨 论 了 欧 几 里 得 算法 的 来 源 。 它 出 现在 希腊 数学 家 欧 几 里 得 在 公元 前 300 年 所 
写 的 《几何 原本 》 的 第 7 册 中 的 命题 1 和 命题 2。 欧 几 里 得 的 描述 可 能 来 源 于 大 约 公元 前 375 年 的 
Eudoxus 的 一 个 算法 。 欧 几 里 得 的 算法 可 以 说 是 最 早 的 非 平 凡 算法 ; 只 有 古 埃及 人 所 知 的 一 个 乘 
法 算法 可 以 与 之 匹敌 。ShallitL312] 编 撰 了 欧 几 里 得 算法 的 分 析 历史 。 

Knuth 将 中 国 余数 定理 (定理 31. 27) 的 一 个 特殊 情况 归功 于 中 国 数学 家 孙子 ， 他 生活 在 约 公 
元 前 200 年 到 公元 200 年 (这 个 日 期 很 不 确定 ) 。 相 同 的 特殊 情况 是 由 约 公元 100 年 的 希腊 数学 家 
Nichomachus 所 给 出 的 。 在 1247 年 它 被 秦 九 韶 一 般 化 。 中 国 余 数 定理 由 L. Euler Æ 1734 年 以 最 
完整 的 方式 做 了 最 后 的 陈述 和 证 明 。 

在 这 里 展示 的 随机 素数 测试 算法 归功 于 MillerL255] 和 Rabin[ 289]; 在 常数 因子 内 ， 它 是 已 
知 的 最 快速 的 随机 素数 测试 算法 。 定 理 31. 39 的 证 明 稍 微 采 纳 了 Bach[L29] 提 出 的 建议 。 
MILLER-RABIN 的 一 个 更 强 结果 的 证 明 由 MonierL258，259 给 出 。 很 多 年 以 来 ， 随 机 化 在 得 到 
一 个 多 项 式 时 间 的 素数 测试 算法 时 是 必要 的 。 然 而 ， 在 2002 Æ, Agrawal, Kayal 和 Saxema[ 4] 
给 出 的 多 项 式 时 间 的 素数 测试 算法 震惊 了 世界 。 直 到 那 时 之 前 ， 已 知 的 最 快 的 确定 性 素数 测试 
算法 是 来 自 Cohen 和 Lenstra[73]。 在 nn 输入 下 ， 它 在 (lgn)” se 时 间 内 运行 ， 只 是 稍微 超 多 项 
式 。 尽 管 如 此 ， 为 了 实用 ， 随 机 素数 测试 算法 依然 更 高 效 和 更 受 人 喜欢 。 

找 出 大 的 “随机 ”素数 的 问题 在 Beauchemin, Brassard, Crepeau, Goutier 和 Pomerance[ 36 | 的 一 
篇 论文 中 有 好 的 讨论 。 

公 钥 加 密 系 统 的 概念 归功 于 Diffie 和 Hellman[ 87]. RSA 加 密 系 统 于 1977 年 由 Rivest, 
Shamir 和 Adleman[L296] 提 出 。 从 那 时 开始 ， 密 码 学 领域 开始 鞍 勃 发 展 。 我 们 对 RSA 加 密 系 统 的 
了 解 已 经 加 深 ， 而 现代 的 实现 明显 改进 了 展示 在 这 里 的 基本 技术 。 另 外 ， 许 多 新 技术 已 经 发 展 ， 

983] 证 明 加 密 系统 是 安全 的 。 例 如 ，Goldwasser 和 Micali[L 142 说 明 随 机 化 在 安全 的 公 钥 加 密 方案 的 
设计 中 是 一 个 有 效 的 工具 。 对 于 签名 方案 ，Goldwasser、Micali 和 Rivest[143] 展 示 了 一 个 数字 签 
名 方案 ， 其 中 每 一 种 可 想象 到 的 伪造 行为 可 以 证 明 与 因子 分 解 一 样 困难 。Menezes、van 
Oorschot 和 VanstoneL 254 | 提供 了 应 用 密码 学 的 一 个 概况 。 

整数 因子 分 解 的 rho 启发 式 方法 是 由 Pollard[277j] 提 出 的 。 展 示 在 书 中 的 版 本 是 BrentL56] 所 
提议 的 一 个 变形 。 

对 大 数 因子 分 解 的 最 佳 算法 来 说 ， 其 运行 时 间 是 大 致 旦 指数 增长 的 (等 待 分 解 的 数 n 的 长 度 
的 立方 根 )。 一 般 数 域 的 筛选 因子 分 解 算 法 可 能 是 对 于 一 般 的 大 输入 最 高 效 的 算法 (前 者 是 由 
Buhler, Lenstra 和 Pomerance[ 57] 提 出 的 ， 旨 在 对 数 域 筛选 因子 分 解 算 法 进行 扩展 ， 后 者 是 由 
PollardL278] 和 Lenstra 等 人 [L232] 提 出 的 ， 并 由 CoppersmithL77] 以 及 其 他 人 加 以 改善 .) 虽 然 很 难 
给 出 这 个 算法 的 严格 分 析 ， 但 在 合理 的 假设 下 ， 我 们 可 以 得 到 工 (1/3，7z)7 FO 的 一 个 运行 时 间 
thit IEP Lla, n= ln Inn) , 

椭圆 曲线 方法 是 由 LenstraL233] 提 出 的 ， 它 对 于 某 些 输入 比 数 域 筛选 方法 更 有 效 ， 因 为 ， 与 


Pollard 的 rho 方法 一 样 ， 它 可 以 相当 快速 地 找到 一 个 小 素数 因子 p。 使 用 这 个 方法 ， 找 到 之 的 时 
间 预 计 是 五 (1/2，z)vz+oo 。 
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在 编辑 文本 程序 过 程 中 ， 我 们 经 常 需要 在 文本 中 找到 某 个 模式 的 所 有 出 现 位 置 。 典 型 情况 
是 ,一 段 正在 被 编辑 的 文本 构成 一 个 文件 ， 而 所 要 搜寻 的 模式 是 用 户 正在 输入 的 特定 的 关键 字 。 
有 效 地 解决 这 个 问题 的 算法 叫做 字符 串 匹配 算法 ， 该 算法 能 够 极 大 提高 编辑 文本 程序 时 的 响应 
效率 。 在 其 他 很 多 应 用 中 ， 字 符 串 匹 配 算法 用 于 在 DNA 序列 中 搜寻 特定 的 序列 。 在 网 络 搜索 引 
擎 中 也 需要 用 这 种 方法 来 找到 所 要 查询 的 网 页 地 址 。 

字符 串 匹 配 问 题 的 形式 化 定义 如 下 : 假设 文本 是 一 个 长 度 为 n 的 数组 T[1..n]， 而 模式 是 一 
个 长 度 为 m 的 数组 P[1..m]， 其 中 mx， 进一步 假设 P 和 T 荆 的 元 素 都 是 来 自 一 个 有 限 字母 集 之 
Wee. Blan, N={0, DRES (a, b, «+, ze}, HABA PAT BHEKALES. 

如 图 32-1 所 示 ， 如 果 O<s<n—m, 并且 Tistl..stm]=P[1..m] (Ba Ths+j]= 
P[L7 门 ， 其 中 1<j<m), BARR P EXET PH, HABA 5( 或 者 等 价 地 ， 模 式 已 在 文本 
下 中 出 现 的 位 置 是 以 5 十 1 开始 的 )。 如 果 P 忆 在 工 中 以 偏 移 s 出 现 ， 那 么 称 是 有 效 偏 移 ; BM, 
称 它 为 无 效 偏 移 。 字 符 串 匹配 问题 就 是 找到 所 有 的 有 效 偏 移 ， 使 得 在 该 有 效 偏 移 下 ， 所 给 的 模式 
P 出 现在 给 定 的 文本 工 中 ，。 


xxr [ablc[als[ala[p[cla[bla[e 
AE: 
模式 P 一 | 


图 32-1 字符 串 匹配 问题 的 一 个 例子 ， 在 该 例子 中 ， 我 们 试图 找到 模式 P=abaa 在 文本 
了 T 一 abcabaabcabac 中 所 有 出 现 的 位 置 。 模 式 只 在 这 个 文本 中 出 现 一 次 ， 在 偏 移 
s=3 处 ， 因 此 我 们 称 s 为 有 效 偏 移 。 用 坚 线 连 接 了 每 一 个 模式 中 的 字符 和 与 其 
对 应 的 文本 中 的 字符 ， 所 有 匹配 的 字符 都 被 涂 上 了 阴影 


除了 在 32. 1 节 将 要 复习 的 朴素 算法 外 ， 本 章 中 的 每 个 字符 串 匹 配 算法 都 基于 模式 进行 了 预 
处 理 ， 然 后 找到 所 有 有 效 偏 移 ;我 们 称 第 二 步 为 “匹配 ?。 图 32-2 给 出 了 本 章 中 每 个 算法 的 预 处 
理 时 间 和 匹配 时 间 。 每 个 算法 的 总 运行 时 间 是 预 处 理 时 间 和 匹配 时 间 的 和 。32. 2 节 描 述 了 一 种 
由 Robin 和 Karp 发 现 的 一 种 有 趣 的 字符 串 匹 配 算 法 。 尽 管 这 种 算法 在 最 坏 情 况 下 的 运行 时 间 
B((n 一 m 十 1)m) 并 不 比 朴素 算法 好 ， 但 就 平均 情况 和 实际 情况 来 说 ， 该 算法 效果 要 好 得 多 。 这 
种 算法 也 可 以 很 好 地 推广 ， 用 以 解决 其 他 的 模式 匹配 问题 。32. 3 节 描 述 一 种 字符 串 匹 配 算法 ， 
该 算法 通过 构造 一 个 有 限 自动 机 ， 专 门 用 来 搜寻 所 给 的 模式 P 在 文本 中 出 现 的 位 置 。 这 种 算法 
需要 Olm| > | ) 的 预 处 理 时 间 ， 但 是 仅仅 需要 Om) 的 匹配 时 间 。32.4 节 介 绍 与 其 类 似 但 是 更 加 
巧妙 的 Knuth-Morris-Pratt( 或 KMP) 算 法 ;该 算法 的 匹配 时 间 同 样 为 O, 但 是 它 缩 短 了 预 处 
理 时 间 ， 仅 需 Om). 

















预 处 理 时 间 匹配 时 间 
朴素 算法 0 O((n-m+1)m) 
Rabin-Karp O(m) O((n-m+1)m) 
有 限 自 动机 算法 O(ml =!) O(n) 
Knuth-Morris-Pratt O(m) O(n) 








图 32-2 ”本章 的 字符 串 匹配 算法 及 其 预 处 理 时 间 和 匹配 时 间 
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符号 和 术语 

我 们 用 忆 * 来 表示 包含 所 有 有 限 长 度 的 字符 串 的 集合 ， 该 字符 串 是 由 字母 表 之 中 的 字符 组 
成 。 在 本 章 中 ， 我 们 只 考虑 有 限 长 度 的 字符 串 。 长 度 为 零 的 空 字符 串 用 es 表示 ， 也 属于 之 " 。 一 
个 字符 串 z 的 长 度 用 |z | 来 表示 。 两 个 字符 串 rA y 的 连结 (concatenation) 用 zy 表示 ， 长 度 为 
|z| 十 |y| ， 由 之 的 字符 后 接 y 的 字符 构成 。 

如 果 对 某 个 字符 串 y€ DA z 一 wy， 则 称 字符 串 w 是 字符 串 zx HR, ie wr., ES 
到 如 果 zwCz， 则 | 双 | 科 |z| 。 类 似 地 ， 如 果 对 某 个 字符 串 y 有 zx 二 yw， 则 称 字 符 串 w 是 字符 串 
z WER, TE wr., MRKU, WR wr, Wlwl<lzl. PM, 我们 有 abC abcca 和 
cca 刁 abcca。 空 字符 串 同时 是 任何 一 个 字符 串 的 前 级 和 后 级 。 对 于 任意 字符 串 zx 和 以 及 任意 
字符 a， 当 且 仅 当 ze 了 ya 时 , RNE ciy. BER, 所 和 2 都 是 传递 关系 。 下 面 的 引 理 在 稍 后 
将 会 用 到 。 

3 32.105 RBS) 假设 z，y 和 > 是 满足 zz 和 yz 的 字符 串 。 如 果 |z| 委 | y| ， 
MAcdy; ~Ri[alSlyl, PA yx; 如 果 |z| 二 | y| ， 那 么 =y. m 

证 明 见 图 32-3 中 的 图 示 证 明 。 


x ES 





(a) (b) Ce) 


Al 32-3 引 理 32. 1 的 图 形 证 明 。 假 定 z 忆 >z MyIz. BMH BS 
种 情况 。 竖 线 连接 字符 串 的 匹配 区 域 (用 阴影 表示 )。(a) 如 果 |zxz| 三 |1y|， 
则 Zz 一 y。(b) 如 果 |z| 宇 |y|1，, 则 yy 一 zx。(o) 如 果 |z|1= 二 1y|， 则 z=y = 


为 了 使 符号 简洁 ， 我 们 把 模式 PLL .mj 的 由 个 字符 组 成 的 前 缀 PL1..&j 记 作 Pe. Atk 
Po=e, P,=P=P(1..m]. 与 此 类 似 , 我 们 把 文本 荆 中 由 个 字符 组 成 的 前 级 记 为 Ti RAX 
种 记号 ， 我 们 能 够 把 字符 串 匹配 问题 表述 为 : 找到 所 有 偏 移 sOn m), E PIT a.m 

在 我 们 的 伪 代 码 中 ， 把 比较 两 个 等 长 字符 串 是 否 相 等 的 操作 当做 操作 原 语 。 如 果 字 符 串 比 
较 是 从 左 到 右 进 行 的 ， 并 且 当 遇 到 一 个 字符 不 匹配 时 ， 比 较 操 作 终止 ， 则 可 以 假设 在 这 样 的 一 个 
检测 中 所 花费 的 时 间 是 关于 已 匹配 成 功 字 符 数 目的 线性 函数 。 更 准确 地 说 ， 假 设 检测 “z 一 一 y” 
需要 时 间 @(z 十 1 )， 其 中 i 是 满足 zCx 和 zCy 的 最 长 字符 串 = 的 长 度 。( 我 们 用 @(z 十 1) 而 不 是 
OC), EAT REMADE = 的 情况 ;尽管 第 一 个 字符 比较 时 就 不 匹配 ， 但 是 在 运行 这 个 比较 
操作 时 仍然 花费 了 一 定 的 时 间 。) 


32.1 朴素 字符 串 匹 配 算法 


朴素 字符 串 匹 配 算法 是 通过 一 个 循环 找到 所 有 有 效 偏 移 ， 该 循环 对 n—m+1 个 可 能 的 * 值 进 
行 检测 ， 看 是 否 满足 条 件 PL1. .m]=TLs+1. . stm]. 


$325 字符 串 匹 配 - 579 


NAIVE-STRING-MATCHER(T,P) 
1 n=T. length 
m= P. length 


if P[1l..m] == T[s+1..s+m] 


2 
3 fors = 0 ton—m 
4 
5 print “Pattern occurs with shift”s 


图 32-4 描绘 的 朴素 字符 串 匹 配 过 程 可 以 形象 地 看 成 一 个 包含 模式 的 “模板 ” 沿 文 本 滑动 ， 同 
时 对 每 个 偏 移 都 要 检测 模板 上 的 字符 是 否 与 文本 中 对 应 的 字符 相等 。 第 3 一 5 行 的 for 循环 考察 
每 一 个 可 能 的 偏 移 。 第 4 行 的 测试 代码 确定 当前 的 偏 移 是 否 有 效 ; 该 测试 隐 含 着 一 个 循环 ， 该 循 
环 用 于 逐个 检测 对 应 位 置 上 的 字符 ， 直 到 所 有 位 置 都 能 成 功 匹配 或 者 有 一 个 位 置 不 能 匹配 为 止 。 
第 5 行 用 于 打印 输出 每 一 个 有 效 偏 移 s。 


[alcela alsje] [alclalalele| laļeļaļaļele aļcļaļaļ»]e] 
s=0 ie ao s=2 am s=3 Be 
[alale [ajale] fala]. fala >| 


(a) Cb) Ce) Cd) 


32-4 ”朴素 字符 串 匹 配对 模式 P=aab 和 文本 T=acaabe 的 操作 。 可 以 把 已 想象 成 一 个 沿 着 正文 滑动 
的 “模板 ”。(a) 一 (d) 为 4 个 连续 的 朴素 字符 串 匹 配 。 图 中 坚 线 连接 相应 匹配 区 域 ( 阴 影 部 分 )， 
折线 连接 先 错误 匹配 的 字符 ， 如 果 是 的 话 。 在 位 移 s=2 时， 找到 匹配 的 模式 ， 见 图 (c) 


在 最 坏 情 况 下 ， 朴 素 字 符 串 匹配 算法 运行 时 间 为 OC((n 一 m 十 1)m)。 例 如 ， 在 考察 文本 字符 
P a"( 一 串 由 nn 个 a 组 成 的 字符 串 ) 和 模式 a 时 ， 对 偏 移 * 的 n 一 m 十 1 个 可 能 值 中 的 每 一 个 ， 在 
第 4 行 中 比较 相应 字符 的 隐 式 循环 必须 执行 m 次 来 确定 偏 移 的 有 效 性 。 因 此 ， 最 坏 情况 下 的 运 
行 时间 是 8((n 一 m 十 1)m)， 如 果 m= 二 Ln/2]， 则 运行 时 间 是 OG’). AFAR BMA, HRF 
符 串 匹配 算法 运行 时 间 即 为 其 匹配 时 间 。 

我 们 将 会 看 到 ，NAIVE-STRING-MATCHER 并 不 是 解决 字符 串 匹 配 问题 的 最 好 过 程 。 事 
实 上 ， 在 本 章 中 ， 我 们 将 会 发 现 Knuth-Morris-Pratt 算法 在 最 坏 情况 下 比 朴素 算法 好 得 多 。 这 种 
朴素 字符 串 匹 配 算法 效率 不 高 ， 是 因为 当 其 他 无 效 的 : 值 存 在 时 ， 它 也 只 关心 一 个 有 效 的 ; 值 ， 
而 完全 忽略 了 检测 无 效 * 值 时 获得 的 文本 的 信息 。 然 而 这 样 的 信息 可 能 非常 有 用 。 例 如 ， 如 果 
P 二 aaab 并 且 我 们 发 现 s=0 是 有 效 的 ， 由 于 TL4] 二 6， 那 么 偏 移 1、2 或 3 都 不 是 有 效 的 。 在 后 续 
章节 中 ， 我 们 将 考察 能 够 充分 利用 这 部 分 信息 的 几 种 方法 。 


练习 

32. 1-1 试 说 明 当 模式 P=0001, 文本 T=000010001010001 时 ， 朴 素 字 符 串 匹配 所 执行 的 比较 。 

32. 1-2 假设 在 模式 P 中 所 有 字符 都 不 相同 。 试 说 明 如 何 对 一 段 个 字符 的 文本 工 加 速 过 程 
NAIVE-STRING-MATCHER 的 执行 速度 ， 使 其 运行 时 间 达 到 O(n) 。 

32.1-3 ”假设 模式 P AXAT EKERI Am 和 n 的 随机 选取 的 字符 串 ， 其 字符 分 别 来 自 含 有 4d 
个 元 素 的 字母 表 >4 二 {0，1，…，d 一 1)， 其 中 4 宇 2。 证 明 朴 素 算 法 第 4 行 中 隐 含 的 循 
环 所 执行 的 字符 比较 的 预计 次 数 为 : 

1 一 Cd 


(n—m 1) goa S2—m+) 


直到 这 次 循环 结束 。( 假 设 对 于 一 个 给 定 的 偏 移 ， 当 有 一 个 字符 不 匹配 或 者 整个 模式 已 
被 匹配 时 ， 朴 素 算法 将 终止 字符 比较 .) 因 此 ， 对 任意 随机 选取 的 字符 串 ， 朴 素 算 法 都 是 
有 效 的 。 
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32.1-4 假设 允许 模式 P 中 包含 一 个 间隔 符 今 ， 它 可 以 和 任意 字符 串 匹 配 ( 其 至 可 以 和 长 度 为 0 
的 字符 串 匹 配 ) 。 例 如 ， 模 式 abObaOc 在 文本 cabccbacbacab 中 的 出 现 为 
c a co ba œa ce ab 
a © a © c 


c abccbac ba € ab 
gp 一 一 = 一 一 -一 
ab © Ba © ë 
注意 ， 间 隔 符 可 以 在 模式 中 出 现任 意 次 ， 但 是 不 能 在 文本 中 出 现 。 给 出 一 个 多 项 式 时 间 


算法 ， 以 确定 这 样 的 模式 已 是 否 在 给 定 的 文本 工 中 出 现 ， 并 分 析 算法 的 运行 时 间 。 


32.2 Rabin-Karp 算法 


在 实际 应 用 中 ，Rabin 和 Karp 所 提出 的 字符 串 匹配 算法 能 够 较 好 地 运行 ， 并 且 还 可 以 从 中 归纳 出 
相关 问题 的 其 他 算法 ， 比 如 二 维 模式 匹配 。Rabin-Karp 算法 的 预 处 理 时 间 是 BCm)， 并 且 在 最 坏 情 况 
下 ， 它 的 运行 时 间 为 @((n 一 m 十 1)m)。 基 于 一 些 假设 ， 在 平均 情况 下 ， 它 的 运行 时 间 还 是 比较 好 的 。 

该 算法 运用 了 初等 数论 概念 ， 比 如 两 个 数 相对 于 第 三 个 数 模 等 价 。 如 果 想 要 了 解 相关 的 定 
义 ， 请 参照 31. 1 节 的 内 容 。 

为 了 便于 说 明 , 假设 > 二 {0，1，2,，…，9)}， 这 样 每 个 字符 都 是 十 进 制 数 字 。( 在 通常 情况 
下 ， 可 以 假定 每 个 字符 都 是 以 a 为 基数 表示 的 数字 ， 其 中 d=| > | ) 我 们 可 以 用 长 度 为 的 十 进 
制 数 来 表示 由 & 个 连续 的 字符 组 成 的 字符 串 。 因 此 ， 字 符 串 31 415 对 应 着 十 进 制 数 31 415。 假 如 
输入 的 字符 既 可 以 看 做 是 图 形 符号 ， 也 可 以 看 做 是 数字 ， 那 么 在 本 节 中 我 们 会 发 现 ， 运 用 我 们 的 
标准 文本 字体 ， 把 它们 表示 为 数字 会 更 加 方便 。 

给 定 一 个 模式 PLL. m], 假设 p 表示 其 相应 的 十 进 制 值 。 类 似 地 ， 给 定 文本 T.. n], 假设 
t, 表示 长 度 为 m 的 子 字符 串 TLs 十 1.. s 十 mj 所 对 应 的 十 进 制 值 ， 其 中 s=0, 1, e, nom, %4 
然 ， 只 有 在 TLs 十 1.. s 十 mj 二 PL1. .mj 时 ，z, 二 p。 如 果 能 在 时 间 @(m) 内 计算 出 p 值 ， 并 在 总 时 
H 8@(n 一 m 十 1) 内 计算 出 所 有 的 i 9, 那么 通过 比较 p 和 每 一 个 i, 值 ， 就 能 在 Om + O(n— 
mm 十 1) 一 9(z) 时 间 内 找到 所 有 的 有 效 偏 移 *。( 目 前 ， 暂 不 考虑 pA t 值 可 能 很 大 的 问题 。) 

我 们 可 以 运用 霍 纳 法 则 (参见 30. 1 节 ) 在 时 间 8(m) 内 计算 出 p: 

p = PLx 十 10CP[Lm 一 1 十 10CPLm2 一 2] 十 … 十 10CPL2] 十 10PL1])…)) 
类 似 地 ， 也 可 以 在 6(m) 时 间 内 根据 TL1. .mj 计算 出 的 值 。 

为 了 在 时 间 8@(z 一 z) 内 计算 出 剩余 的 值 右 ,， 己 ，…， 刀 -wm， 我 们 需要 在 常数 时 间 内 根据 吉 计 

Fh tao KHA 

ta = 10%, —10"?T[s+1)+Tistm4+1] (32.1) 
WA 10”'TLs 十 1j 就 从 zt 中 去 掉 了 高 位 数字 ， 再 把 结果 乘 以 10 就 使 得 数字 向 左 移动 一 个 数位 ， 
然后 加 上 TLs 十 mx 十 1]， 则 加 入 一 个 适当 的 低位 数字 。 例 如 ， 如 果 m=5 并 且 t= 二 31415， 那 么 我 
们 希望 能 够 去 掉 高 位 数字 TLs 十 1] 二 3， 并 且 加 入 新 的 低位 数字 (假设 是 TLs 十 5 十 1 二 2)， 从 而 获 
得 : 

tı = 10(31415 — 1000. 3) + 2 = 14152 

如 果 能 够 预先 计算 出 常数 10” (用 31. 6 节 中 介绍 的 技术 ， 就 可 以 在 Odg m) 的 时 间 内 完成 这 一 
计算 过 程 ， 但 对 于 这 个 应 用 ， 一 种 简便 的 运行 时 间 为 O 的 算法 就 足够 完成 任务 )， 则 每 次 执 


O 写 8tn 一 m 十 1) 而 不 是 Bn 一 m)， 是 因为 ;具有 nn 一 m 十 1 个 不 同 的 值 。“ 十 1” 是 为 了 突显 m=n NHI, 
单 计 算 t 的 值 需 8(1) 时 间 ， 而 不 是 @(0) 时 间 。 
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行 式 (32. 1) 的 计算 时 ， 需 要 执行 的 算术 运算 的 次 数 为 常数 。 因 此 ， 可 以 在 时 间 8(m) 内 计算 出 p» 
在 时 间 O(n—m+1) AHR HNA tos bis bzs °*%s lnm 的 值 。 因而 可 以 用 @(x) 的 预 处 理 时 间 和 Q 
(n 一 m 十 1) 的 匹配 时 间 找 到 所 有 模式 PLL. . mj 在 文本 TA. .nj 中 出 现 的 位 置 。 

到 目前 为 止 ， 我 们 有 意 回避 的 一 个 问题 是 : p 和 的 值 可 能 太 大 ， 导 致 不 能 方便 地 对 其 进行 操 
作 。 如 果 呈 包含 x 个 字符 ， 那 么 关于 在 plm 数 位 长 ) 上 的 每 次 算术 运算 需要 “常数 ”时 间 这 一 假设 就 不 
合理 了 。 幸 运 的 是 ,我 们 可 以 很 容易 地 解决 这 个 问题 ， 如 图 32-5 所 示 : 选取 一 个 合适 的 模 g 来 计算 p 
All 的 模 。 我 们 可 以 在 @(m) 的 时 间 内 计算 出 模 g 的 p 值 ， 并 且 可 以 在 Bn 一 m 十 1) 时 间 内 计算 出 模 g 
的 所 有 值 。 如 果 选 模 q 为 一 个 素数 ， 使 得 10g 恰好 满足 一 个 计算 机 字 长 ， 那 么 可 以 用 单 精度 算术 运 
算 执 行 所 有 必需 的 运算 。 在 一 般 情 况 下 ， 采 用 a 进 制 的 字母 表 {0，1，…，d 一 1} 时 ， 选 取 一 个 g 值 ， 
使 得 dg 在 一 个 计算 机 字 长 内 ， 然 后 调整 递归 式 (32. 1) ， 使 其 能 够 对 模 g 有 效 ， 式 子 变 为 : 

ta = (dlt, — Tis +1Jh) + Tlst+m+1]) modg (32. 2) 

其 中 h=d""' (mod g) 是 一 个 具有 m 数位 的 文本 窗口 的 高 位 数位 上 的 数字 “1” 的 值 。 


[2131s191ol213[1]4T1|s]216l7l319 fl211) 



































旧 的 新 的 
高 数位 偏 移 低 数位 
\ ty 


14152 = (31415-3 * 10000) - 10+2(mod 13) 
= (7-3 + 3) + 10+2(mod 13) 
= 8(mod 13) 





Ce) 


图 32-5 Rabin Karp 算法 。 每 一 个 字符 都 是 一 个 十 进 制 数 ， 并 且 对 模 13 取 余 。(a) 一 个 文 
本 字符 串 。 长 度 为 5 的 窗口 被 标 上 了 阴影 ， 标 记 阴 影 数 字 的 数值 对 模 13 取 余 的 结 
果 为 7。(b) 一 个 相同 的 文本 字符 串 ， 对 长 度 为 5 的 窗口 的 每 一 个 可 能 位 置 ， 计 算 
HEX 13 取 余 的 数值 。 假 定 模式 P=31415, HF 31415=7(mod 13)， 所 以 寻找 所 
有 对 模 13 取 余 为 7 的 窗口 。 该 算法 找到 两 个 与 之 对 应 的 窗口 ， 在 图 中 用 阴影 表示 
出 来 。 第 一 个 是 在 文本 的 位 置 7 处 开始 的 ， 最 后 验证 确实 为 模式 的 出 现 。 而 第 二 
个 是 在 文本 的 位 置 13 处 开始 的 ， 但 最 终 验证 为 伪 命 中 。(c) 已 知 前 一 个 窗口 的 值 ， 
如 何在 常数 时 间 内 计算 出 某 个 窗口 的 值 。 第 一 个 窗口 的 值 为 31415。 去 除 高 位 数字 
3， 往 左 移 ( 乘 以 10) ， 然 后 加 入 低位 数字 2 得 到 新 的 值 14152。 因 为 所 有 的 计算 都 
是 模 13 取 余 ， 所 以 第 一 个 窗口 的 值 是 7， 从 而 新 窗口 的 值 是 8 


但 是 基于 模 9 得 到 的 结果 并 不 完美 : t.=pCmod 9) 并 不 能 说 明 =p. (LAA, WR 
tA p(mod q), ARAM LAW RE Ap, SATIRE ME s 是 无 效 的 。 因 此 可 以 把 测试 2.=pCmod q) Æ 
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否 成 立 作 为 一 种 快速 的 启发 式 测试 方法 用 于 检测 无 效 偏 移 s。 任 何 满足 1. pCmod 9) 的 偏 移 s 都 
需要 被 进一步 检测 ， 看 * 是 真 的 有 效 还 是 仅仅 是 一 个 伪 命 中 点 。 这 项 额外 的 测试 可 以 通过 检测 条 
件 PEL .mj 二 TLs 十 1..s 十 mj 来 完成 ， 如 果 g 足够 大 ， 那 么 这 个 伪 命 中 点 可 以 尽量 少 出 现 ， 从 而 
使 额外 测试 的 代价 降低 。 

下 面 的 过 程 准确 描述 了 上 述 思想 。 过 程 的 输入 是 文本 TT， 模式 已， 使 用 基数 d( 其 典型 取 值 
为 | 之 | ) 和 素数 q. 


RABIN-KARP-MATCHER(T, P,d,q) 


1 n= T. length 

2 m= P. length 

3 h = d" modq 

4 p=0 

5 f= 0 

6 fori = 1tom // preprocessing 
7 p= (dp+P{i]) modg 

8 to= (dto+T[i]) modg 

9 fors=0ton—m // matching 

10 if p ==t, 

ll if P[1..m] == T[st+1..s+m] 

12 print“Pattern occurs with shift”s 

13 if s<n—m 

14 tei =(d(t,—TLs+1]h )+T[stm+1]) mod g 


RABIN-KARP-MATCHER 执行 过 程 如 下 。 所 有 的 字符 都 假设 是 了 进 制 的 数字 。 仅 为 了 说 明 
的 清楚 ， 给 上 添加 了 下 标 ， 去 除 所 有 下 标 不 会 影响 程序 运行 。 第 3 行 初始 化 m 位 窗口 中 高 位 上 的 
fh. 3 4~8 行 计 算出 PLL .m]modg 的 值 p， 计算 出 TL1..m]modg 的 值 癌 。 第 9 一 14 行 的 for 
循环 迭代 便利 了 所 有 可 能 的 偏 移 *， 保 持 如 下 的 不 变量 : 

第 10 行 无 论 何 时 执行 ， 都 有 t= 二 TLs 十 1.. s 十 mx] mod g。 

如 果 在 第 10 行 中 有 p==t( 一 个 “命中 点 ”)， 那 么 在 第 11 行 检测 是 否 PL1..mj] 二 TLs 十 1..s 十 mj， 
用 以 排除 它 是 伪 命 中 点 的 可 能 性 。 第 12 行 打印 出 所 有 找到 的 有 效 偏 移 。 如 果 s 二 n 一 m( 在 第 13 
行 中 检测 )， 则 至 少 再 执行 一 次 for 循环 ， 这 时 首先 执行 第 14 行 以 保证 再 次 执行 到 第 10 行 时 循环 
不 变 式 依然 成 立 。 第 14 行 直 接 利用 等 式 (32.2)， 就 可 以 在 常数 时 间 内 由 t; mod g 的 值 计算 出 
tı mod g 的 值 。 

RABIN-KARP-MATCHER 的 预 处 理 时 间 为 86(m), 在 最 坏 情况 下 ,， 它 的 匹配 时 间 是 
QB((n 一 m 十 1)m)， 因 为 Rabin-Karp 算法 和 朴素 字符 串 匹 配 算法 一 样 ， 对 每 个 有 效 偏 移 进行 显 式 
验证 。 如 果 P=a 并 且 T 二 a*， 由 于 在 n 一 m 十 1 个 可 能 的 偏 移 中 每 一 个 都 是 有 效 的 ， 则 验证 所 
需 的 时 间 为 @OC(n—m+1)m), 

在 许多 实际 应 用 中 ， 我 们 希望 有 效 偏 移 的 个 数 少 一 些 ( 如 只 有 常数 c 个 )。 在 这 样 的 应 用 中 ， 
加 上 处 理 伪 命中 点 所 需 时 间 ， 算 法 的 期 望 匹配 时 间 为 OC(《n 一 m 十 1) 十 cm) 二 O(n 十 m)。 减 少 模 g 
的 值 就 如 同 从 之 "到 Z, 上 的 一 个 随机 映射 ， 基 于 这 个 假设 ， 可 以 对 算法 进行 启发 式 分 析 。 (参见 
11. 3. 1 节 中 对 散 列 除法 的 讨论 ， 要 正规 证 明 这 个 假设 是 比较 困难 的 ， 但 是 有 一 种 可 行 的 方法 ， 
就 是 假设 g 是 从 适当 大 的 整数 中 随机 得 出 的 ， 我 们 在 此 将 不 继续 纠缠 形式 化 的 问题 .然后 我 们 能 
够 预计 伪 命 中 的 次 数 为 O(n/q)， 因 为 可 以 估计 出 任意 的 t 模 g 的 余数 等 价 于 p 的 概率 为 1/ag。 因 
为 第 10 行 中 的 测试 会 在 O(n) 个 位 置 上 失败 ， 且 每 次 命中 的 时 间 代 价 是 Om), Ke, Rabin- 
Karp 算法 的 期 望 运行 时 间 为 : 

On) + OC(m(vt n/g)) 
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Ep v BARRE. WR v= 二 O(1) 并 且 g 宇 m， 则 这 个 算法 的 运行 时 间 是 O(n)。 也 就 是 说 ， 如 
果 期 望 的 有 效 偏 移 量 很 少 (O(1)) ， 而 选取 的 素数 g 大 于 模式 的 长 度 ， 则 可 以 估计 Rabin-Karp 算 
法 的 匹配 时 间 为 O(n 十 m)， 由 于 mm 和 2， 这 个 算法 的 期 望 匹 配 时 间 是 O(n)。 


练习 

32. 2-1 如果 模 g 二 11， 那 么 当 Rabin-Karp 匹配 算法 在 文本 T=3 141 592 653 589 793 中 搜寻 模 
式 P=26 时 ,会 遇 到 多 少 个 伪 命 中 点 ? 

32.2-2 ”如何 扩展 Rabin-Karp 算法 ,使 其 能 解决 如 下 问题， 如 何在 文本 字符 串 中 搜寻 出 给 定 的 & 
个 模式 中 的 任何 一 个 出 现 ? 起 初 假 设 所 有 个 模式 都 是 等 长 的 ， 然 后 扩展 你 的 算法 以 适 
用 于 不 同 长 度 的 模式 。 

32. 2-3” 试 说 明 如 何 扩展 Rabin-Karp 算法 用 于 处 理 以 下 问题 : 在 一 个 nXn 的 二 维 字 符 数组 中 搜 
索 一 个 给 定 的 m Xm 的 模式 。( 该 模式 可 以 在 水 平方 向 和 垂直 方向 移动 ， 但 是 不 可 以 


旋转 。) 
32. 2-4 Alice 有 一 份 很 长 的 位 文件 复印 件 A== lamis ya va ays Bob 也 有 一 份 类 似 的 文 
件 B=(b,-15 bu» ts bo)o Alice 和 Bob 都 希望 知道 他 们 的 文件 是 否 一 样 。 为 了 避免 


传送 整个 文件 A 或 B， 他 们 运用 下 列 快速 的 概率 检查 方法 。 他 们 共同 选择 一 个 素数 o> 
1000n， 并 从 {0，1，…. 9 一 1} 中 随机 选取 一 个 整数 z。 然 后 ，Alice 求 出 


A(x) = (Save!) mod q 
i=0 


的 值 ，Bob 也 用 类 似 方法 计算 出 B). WEH: 如 果 AAB, Il) A(z) 二 BCz) 的 概率 至 多 
为 1/1000; 如 果 两 个 文件 相同 ， 则 A(z) 的 值 必 定 等 于 BDH. GF: 参见 练习 
31. 4-4。) 


32.3 利用 有 限 自动 机 进行 字符 串 匹配 


很 多 字符 串 匹 配 算法 都 要 建立 一 个 有 限 自动 机 ， 它 是 一 个 处 理 信 息 的 简单 机 器 ， 通 过 对 文 
本 字符 串 荆 进行 扫描 ， 找 出 模式 PP 的 所 有 出 现 位 置 。 本 节 将 介绍 一 种 建立 这 样 自动 机 的 方法 。 
这 些 字符 串 匹 配 的 自动 机 都 非常 有 效 : 它们 只 对 每 个 文本 字符 检查 一 次 ， 并 且 检 查 每 个 文本 字 
符 时 所 用 的 时 间 为 常数 。 因 此 ， 在 模式 预 处 理 完 成 并 建立 好 自动 机 后 进行 匹配 所 需要 的 时 间 为 
@(Cz) 。 但 是 ， 如 果 之 很 大 ， 建 立 自 动机 所 需 的 时 间 也 可 能 很 多 。32. 4 节 将 描述 解决 这 个 问题 的 
一 种 巧妙 方法 。 

本 节 首 先 定义 有 限 自动 机 。 然 后 ， 我 们 要 考察 一 种 特殊 的 字符 串 匹 配 自动 机 ， 并 展示 如 何 利 
用 它 找 出 一 个 模式 在 文本 中 的 出 现 位 置 。 最 后 ， 我 们 将 说 明 对 一 个 给 定 的 输入 模式 ， 如 何 构 造 相 
应 的 字符 串 匹 配 自动 机 。 

有 限 自动 机 

如 图 32-6 所 示 ， 一 个 有 限 自动 机 M 是 一 个 5 元 组 (Q，gq。，A，>，6)， 其 中 . 

。 Q 是 状态 的 有 限 集合 。 

。 qEQ 是 初始 状态 。 

。 ACQ 是 一 个 特殊 的 接受 状态 集合 。 

。 之 是 有 限 输 入 字母 表 。 

。 6 是 一 个 从 QX 光 到 QQ@ 的 函数 ， 称 为 M 的 转移 函数 。 

有 限 自 动机 开始 于 状态 g,， 每 次 读 入 输入 字符 串 的 一 个 字符 。 如 果 有 限 自动 机 在 状态 q 时 读 
人 了 字符 a， 则 它 从 状态 g 变 为 状态 5(gq，a) (进行 了 一 次 转移 )。 每 当 其 当前 状态 g 属于 A 时 ， 
就 说 自动 机 M 接受 了 迄今 为 止 所 读 和 人 的 字符 串 。 没 有 被 接受 的 输入 称 为 被 拒绝 的 输入 。 
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(a) (b) 


图 32-6 一 个 拥有 状态 集 Q={0，1)} 的 简单 两 状态 自动 机 ， 开 始 状态 go =0, FFA 
输入 字母 表 纪 二 {a，b} 。(a) 用 表格 表示 的 转移 函数 $。(b) 一 个 等 价 的 状 
态 转换 图 。 状 态 1( 被 涂 黑 了 ) 是 唯一 的 接受 状态 。 有 向 边 代表 着 转换 。 例 
如 ， 从 状态 1 到 状态 0 的 标 有 b 的 边 表示 6(1，b) 二 0。 这 个 自动 机 接受 
那些 以 奇数 个 a 结尾 的 字符 串 。 更 确切 地 说 ， 一 个 字符 串 工 被 接受 ， 当 
有 目 仅 当 xz==yz， 其 中 y=: RE y 以 一 个 b 结 尾 ， 并且 z=, AE kN 
数 。 例 如 ， 对 于 输入 abaaa， 包 括 初始 状态 ， 这 个 自动 机 输入 状态 序列 为 
《0，1，0，1，0，1?， 因 而 它 接受 这 个 输入 。 如 果 输 入 是 abbaa， 自 动机 
输入 状态 序列 为 (0，1，0，0，1，0)， 因 而 它 拒绝 这 个 输入 


有 限 自 动机 M 引 入 一 个 函数 $8， 称 为 终 态 函数 ， 它 是 从 2 到 QQ 的 函数 ,满足 $8(w) 是 MM 在 
扫描 字符 串 w 后 终止 时 的 状态 。 因 此 ， 当 上 且 仪 当 $(w) EA 时，M 接受 字符 串 w。 我 们 可 以 用 转 
移 函 数 递归 定义 $: 

$(e) =qo> 
(wa) =d(¢(w),a), WED aED 

字符 串 匹 配 自动 机 

对 于 一 个 给 定 的 模式 P， 我 们 可 以 在 预 处 理 阶 段 构造 出 一 个 字符 串 匹 配 自动 机 ， 根 据 模式 构 
造 出 相应 的 自动 机 后 ， 再 利用 它 来 搜寻 文本 字符 串 。 图 32-7 说 明了 用 于 匹配 模式 P=ababaca 的 
有 限 自动 机 的 构造 过 程 。 从 现在 开始 ， 假 定 书 是 一 个 已 知 的 固定 模式 。 为 了 使 说 明 简 洁 ， 在 下 
面 的 符号 中 将 不 指出 对 PP 的 依赖 关系 。 

为 了 详细 说 明 与 给 定 模式 P[1..m] 对 应 的 字符 串 匹 配 自动 机 ， 首 先 定义 一 个 辅助 函数 o， 称 
为 对 应 PP 的 后 缀 函数 。 函 数 o 是 一 个 从 2 "到 {0，1，…，m} 上 的 映射 ,满足 oa cz HRP 
的 最 长 前 缀 的 长 度 : 

o(x)=max{k: P, Ix} (32. 3) 
因为 空 字符 串 Po 二 是 每 一 个 字符 串 的 后 级， 所 以 后 缀 函数 o 是 良 定义 的 。 例如， 对 模式 P= 
ab, A o(e)=0, o(ccaca)=1, o(ccab)=2. XF—PEEEDW m 的 模式 PP，olzx) 二 m 4AM4P I 
Xx。 根据 后 级 函数 的 定义 : WR Iy, Mi o(x)<cly). 

给 定 模式 PL1..m]， 其 相应 的 字符 串 匹 配 自动 机 定义 如 下 : 

。 状态 集合 Q 为 {0，1，…，m}。 开 始 状 态 go 是 0 状态 ， 并 且 只 有 状态 m 是 唯一 被 接受 的 
状态 。 
。 对 任意 的 状态 g 和 字符 a， 转 移 函 数 6 定 义 如 下 : 
6(q,a) = o( P,a) (32. 4) 

我 们 定义 6(q，a) 二 ol(P,a)， 目 的 是 记录 已 得 到 的 与 模式 己 匹 配 的 文本 字符 串 工 的 最 长 前 
缀 。 考 虑 最 近 一 次 扫描 工 的 字符 。 为 了 使 工 的 一 个 子 串 (以 TL 结尾 的 子 串 ) 能 够 和 PP 的 某 些 前 
Z P, 匹配 ， 前 级 P 必须 是 T; 的 一 个 后 缀 。 假 设 g=9(T;), WAEREA T: 之 后 ， 自 动机 处 在 状 
态 gq。 设 计 转 移 函 数 $， 使 用 状态 数 g RAP HRA T: 后 缀 的 最 长 匹配 长 度 。 也 就 是 说 ， 在 处 
于 状态 q 时 ， P 3T, 并 且 g=o(T:). (每 当 q—m 时 ， 所 有 P 的 m 个 字符 都 和 T; 的 一 个 后 缀 匹 
配 ， 从 而 得 到 一 个 匹配 ,。) 因 此 ， 由 于 #$(T;) 和 ol(T;) 都 和 gq 相等 ， 我 们 将 会 看 到 (在 后 续 的 定理 
32.4 中 ) 自 动机 保持 下 列 等 式 成 立 : 
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$(T;) 一 caCT) (32. 5) 
如 果 自 动机 处 在 状态 g 并 且 读 入 下 一 个 字符 T[i 十 1] 二 a， 那 么 我 们 希望 这 个 转换 能 够 指向 Tia 
的 后 缀 状态 ， 它 对 应 着 了 的 最 长 前 缀 ， 并 且 这 个 状态 是 cCTia)。 由 于 P, 是 P 的 最 长 前 级 ， 也 就 
ET H-D, WA P 的 最 长 前 缀 也 就 是 Tia 的 一 个 后 级 ， 不 仅 表示 为 cCTiae)， 也 可 表示 为 
ol(Pja)。( 引 理 32. 3 证 明了 c(CTa)=cCPa)。) 因 此 ， 当 自动 机 处 在 状态 g 时 ， 我 们 希望 这 个 在 字 
符 < 上 的 转移 函数 能 使 自动 机 转移 到 状态 ecCP.c ) 。 











输入 
Re abe P 
0 a 
1 b 
2 a 
3 b 
4 a 
5 é i =f 2 34 5 67.38 9 10 ui 
6 a Tl] — a ba banna c ab a 
7 REST) 01234545 6 B2 3 





图 32-7 (a) 一 个 字符 串 匹 配 自动 机 的 状态 转换 图 ， 它 可 以 接受 所 有 以 字符 串 ababaca 
结尾 的 字符 串 。 状 态 0 是 初始 状态 ， 状 态 7( 被 涂 黑 ) 是 仅 有 的 接受 状态 。 从 
状态 :到 状态 7， 标 有 a WARWMRAOG, a=j. BRAD“ HA 
边 ， 在 图 中 加 重 了 颜色 ， 对 应 着 模式 和 输入 字符 串 之 间 的 成 功 匹配 。 除 了 从 
状态 7 到 状态 1 和 2 的 边 外 ， 向 左 指 的 边 对 应 着 失败 的 匹配 。 一 些 表示 匹配 
失败 的 边 并 没有 标记 出 来 ; 通常 ， 如 果 状 态 i 对 某 个 a € DRAM a 的 出 
边 ， 则 6(i，a) 二 0。(b) 对 应 的 转移 防 数 6 和 模式 字符 串 书 一 ababaca。 模 式 和 
输入 之 间 的 成 功 匹 配 被 标 上 了 阴影 。(c) 自动 机 在 文本 T= 二 abababacaba 上 的 
操作 。 在 处 理 了 前 缀 T: 之 后 ， 在 每 个 文本 字符 TUFE, AMT CHAD 
机 内 的 状态 灵 五 )。 自 动机 找到 该 模式 的 一 个 出 现 ， 以 位 置 9 结尾 


考虑 以 下 两 种 情况 。 第 一 种 情况 是 ，a 王 PLo 十 1]， 使 得 字符 a 继续 匹配 模式 。 在 这 种 情况 
下 ， 由 于 8，o) 王 da 十 1， 转 换 沿 着 自动 机 的 “主线 ”( 图 32-7 中 的 粗 边 ) 继 续 进行 。 第 二 种 情况 ， 
aFPlqt+1], (RAAF a 不 能 继续 匹配 模式 。 这 时 我 们 必须 找到 一 个 更 小 的 子 串 ， 它 是 已 的 前 
缀 同时 也 是 T; 的 后 级 。 因 为 当 创建 字符 串 匹 配 自动 机 时 ， 预 处 理 匹配 模式 和 自己 ,转移 函数 很 
快 就 得 出 最 长 的 这 样 的 较 小 PP 前 级 。 

让 我 们 看 一 个 例子 。 图 32-7 的 字符 串 匹 配 自 动机 有 OCS, =6, 说明 其 是 第 一 种 情况 ， 匹 
配 继续 进行 。 为 了 说 明 第 二 种 情况 ， 观 察 图 32-7 中 的 自动 机 ， 有 5(5，6) 二 4。 我 们 选择 这 个 转 
换 的 原因 是 如 果 自 动机 在 g 二 5 状态 时 读 到 一 个 b， 那 么 P,b=ababab, FH P 的 最 长 前 级 也 是 
ababab 的 后 缀 P, =abab, 

为 了 清楚 说 明 字符 串 匹 配 自动 机 的 操作 过 程 ， 我 们 给 出 一 个 简单 而 有 效 的 程序 ， 用 来 模拟 
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这 样 一 个 自动 机 (用 它 的 转移 函数 8 来 表示 )， 在 输入 文本 T. .nj 中， 寻找 长 度 为 m 的 模式 P 
的 出 现 位 置 。 如 同 对 于 m 长 模式 的 任意 字符 串 匹 配 自动 机 ， 状 态 集 Q 为 {0，1,，…，m}， 初 始 状 
态 为 0， 唯 一 的 接受 状态 是 m。 

FINITE-AUTOMATON-MATCHER(T,6,m) 

1 n= T. length 

2 q=—0 

3 fori=1ton 
4 q = ò (g,T[i]) 
5 if q == m 
6 print“ Pattern occurs with shift”i—m 

从 FINITE-AUTOMATON-MATCHER 的 简单 循环 结构 可 以 看 出 ， 对 于 一 个 长 度 为 n 的 文 
本 字符 串 ， 它 的 匹配 时 间 为 8(n)。 但 是 ， 这 一 匹配 时 间 没 有 包括 计算 转移 函数 6 所 需要 的 预 处 
理 时 间 。 我 们 将 在 证 明 FINITE-AUTOMATON-MATCHER 的 正确 性 以 后 ， 再 来 讨论 这 一 问题 。 

考察 自动 机 在 输入 文本 T. .nj 上 进行 的 操作 。 下 面 将 证 明 自 动机 扫 过 字符 T[ij 后 ， 其 状 
SH AT). AA4AM4 PAT;, ATI=m,. MUS AM4RA P KA a BHAT 
受 状态 m。 为 了 证 明 这 个 结论 ， 要 用 到 下 面 两 条 关于 后 缀 函数 o 的 引 理 。 

引 理 32. 2( 后 缀 函数 不 等 式 ) ”对 任意 字符 囊 工 和 字符 a, o(xa)<o(x) +1, 

证 明 参照 图 32-8, 设 r==o(zxa)。 如 果 r 二 0， 则 根据 oC(x) 非 负 ，o(xa) 二 rol(x) 十 1 显然 成 
立 。 于 是 现在 假定 +>0， 根 据 oMEN. A P, Ira, MU, 把 a P, 与 xa 的 末尾 去 掉 后 ， 得 到 
Pox. Alt, r 一 1<o(x)， 因 为 cCz) 是 满足 Pos 的 最 大 的 & 值 ， 所 以 olxa) 二 ro《z) 十 1]。 © 














32-8 描述 了 引 理 32. 2 的 证 明 。 图 中 显示 rola) +1, HP ”一 cCza) 


引 理 32. 3( 后 缀 函数 递归 引 理 ) 对 任意 r pF a, Æ q=), N) o(xa)=o(P,a). 

证 明 根据 o 的 定义 ， 有 P, 3x., WK 32-9 所 示 ， 有 P,a daa, Bik r=cl(za), M) Pa 
za， 并 由 引 理 32. 2 知 ，r 生 9 十 1。 因 此 可 得 | 了 ,| =r<qt+1=|P,a|. AW P,a Ira MP, Izra 
并 且 |P,| 志 | P,a| ， 所 以 由 引 理 32. 1 可 知 P, P,a. AAT r<o(P,a), Bl o(xa)<o(P, a). 
但 由 于 Para, PRA o(P,a)<o(xa), JATTUEHA cCP,a) 王 cCza) 。 a 

现在 我 们 就 可 以 来 证 明 用 于 描述 字符 串 匹 配 自动 机 在 给 定 输入 文本 上 操作 过 程 的 主要 定理 
了 。 如 上 所 述 ， 这 个 定理 说 明了 自动 机 在 每 一 步 中 仅仅 记录 所 读 人 字符 串 后 缀 的 最 长 前 缀 。 换 名 
话说 ， 自 动机 保持 着 不 变 式 (32. 5). 








F 








图 32-9 ”描述 了 引 理 32. 3 的 证 明 。 图 中 显示 r=0(P, a), HP q=o(x) Al r=olra) 
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定理 32.4 ”如果 是 字符 囊 匹 配 自 动机 关于 给 定 模 式 P 的 终 态 函 数 ， 了 TL1. .7 是 自动 机 的 输 
入 文本 ， 则 对 i 二 0, 1, =, ns $(T;)=o(T.,)。 
证 明 ”对 i 进行 归纳 。 对 ;一 0， 因 为 T =e ERRAR. AE ¢T)=0=0(Th). 1000 
现在 假设 ET) =o (T;), FEUER $T) =0( Tin). Bq 表示 $8(T;),， a 表示 TLi 十 1]， 
那么 ， 
Ti) = $(Tia) (根据 Ta 和 a 的 定义 ) 
二 6($(T;),a) (根据 多 的 定义 ) 
= 6(q,a) (根据 q 的 定义 ) 
o(P, a) (根据 式 (32.4) 关于 6 的 定义 ) 
= o(Ta) (根据 引 理 32. 3 和 归纳 假设 ) 
= 区 了 HH ORE Taa 的 定义 ) 
根据 定理 32. 4， 如 果 自 动机 在 第 4 行进 入 状态 9g， 则 g EWE P, IT: 的 最 大 值 。 因 此 ， 在 
第 5 行 有 4g 二 mw， 当 且 仅 当 自动 机 刚刚 扫描 了 模式 P 在 文本 中 的 一 次 出 现 位 置 。 于 是 可 以 得 出 结 
论 ，FINITE-AUTOMATON-MATCHER 可 以 正确 地 运行 。 E 
计算 转移 函数 
下 面 的 过 程 根据 一 个 给 定 模 式 PLL . mj] 来 计算 转移 函数 5。 


COMPUTE-TRANSITION-FUNCTION(P, >) 
1 m=P. length 


2 forg = 0tom 

3 for each charater a€ >) 
4 k = min (m+1,¢q+2) 
5 repeat 

6 k=k—1 

7 until P, J] P,a 

8 (ga=k 

9 


return ô 


这 个 过 程 根据 在 式 (32. 4) 中 的 定义 直接 计算 Cg, a), FES 2 行 和 第 3 行 开始 的 能 套 循 环 
中 ， 要 考察 所 有 的 状态 g 和 字符 a。 第 4 一 8 行 把 8(q9，a) 置 为 满足 P IP a 的 最 大 的 &。 代 码 从 
k 的 最 大 可 能 值 min(mx，g 十 1) 开 始 。 随 着 过 程 的 执行 ，& 逐渐 递减 ， 直 至 Pi 忆 P,a ， 这 种 情况 必 
然 会 发 生 ， 因 为 P= 是 每 个 字符 串 的 一 个 后 缀 。 
COMPUTE-TRANSITION-FUNCTION 的 运行 时 间 为 Olmi | | )， 因 为 外 循环 提供 了 一 个 
因子 m| 之 | ， 内 层 的 repeat 循环 至 多 执行 m 十 1 次， 而 第 7 行 的 测试 已 P,a 需要 比较 mm 个 字 [ool 
符 。 还 存在 速度 更 快 的 程序 。 如 果 能 够 利用 精心 计算 出 的 模式 P 的 有 关 信 息 ( 见 练习 32. 4-8)， 
则 根据 计算 出 6 所 需要 的 时 间 可 以 改进 为 Olm| 忆 |)。 如 果 用 改进 后 的 过 程 来 计算 $， 则 对 字 
母 表 2 ， 我 们 能 够 找 出 长 度 为 m 的 模式 在 长 度 为 n 的 文本 中 的 所 有 出 现 位 置 ， 这 需要 OCm| |) 
的 预 处 理 时 间 和 OC) 的 匹配 时 间 。 


练习 

32. 3-1 对 模式 P=aabab 构造 出 相应 的 字符 串 匹 配 自 动机 ， 并 说 明 它 在 文本 字符 串 T= 
aaababaabaababaab 上 的 操作 过 程 。 

32.3-2 XRD = (a, b}, Midi isk ababbabbababbababbabb 对 应 的 字符 串 匹 配 自动 机 的 
状态 转换 图 。 

32.3-3 如果 由 P, IP, 导出 & 二 0 或 二 gqg， 则 称 模式 PEASY. ARABS 
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相应 的 字符 串 匹 配 自动 机 的 状态 转换 图 。 

*32.3-4 已 知 两 个 模式 已 和 忆 ' ， 试 描述 如 何 构造 一 个 有 限 自 动机 ， 使 之 能 确定 其 中 任意 一 个 模 
式 的 所 有 出 现 位 置 。 尽 量 使 自动 机 的 状态 数 最 小 。 

32.3-5 ”给 定 一 个 包括 间隔 字符 (参见 练习 32. 1-4) 的 模式 已 ， 说 明 如 何 构造 一 个 有 限 自 动机 ， 使 
其 在 O(n) 的 时 间 内 找 出 卫 在 文本 T 中 的 一 次 出 现 位 置 ， 其 中 二 | T|。 


*32.4 Knuth-Morris-Pratt 算法 


现在 来 介绍 一 种 由 Knuth、Morris 和 Pratt 三 人 设计 的 线性 时 间 字 符 串 匹 配 算法 。 这 个 算法 
无 需 计 算 转 移 函 数 8$， 匹 配 时 间 为 8(n)， 只 用 到 辅助 函数 x， 它 在 (mm) 时间 内 根据 模式 预先 计 
算出 来 ， 并且 存 储 在 数组 x[1.. mj 中 。 数 组 x 使 得 我 们 可 以 按 需 要 “即时 ?> 有效 地 计算 (在 摊 还 
意义 上 来 说 ) 转 移 函 数 8。 粗略 地 说 ， 对 任意 状态 g=0, 1, ++, m 和 任意 字符 aed, ala] 
值 包含 了 与 a 无 关 但 在 计算 58(g，a) 时 需要 的 信息 。 由 于 数组 x 只 有 m 个 元 素 , 而 6 有 OGn| El) 
个 值 ， 所 以 通过 预先 计算 x 而 不 是 6， 可 以 使 计算 时 间 减 少 一 个 因子 。 

关于 模式 的 前 级 函 数 

模式 的 前 级 函数 包含 模式 与 其 自身 的 偏 移 进 行 匹配 的 信息 。 这 些 信息 可 用 于 在 朴素 的 字符 
串 匹 配 算法 中 避免 对 无 用 偏 移 进 行 检测 ， 也 可 以 避免 在 字符 串 匹 配 自动 机 中 ， 对 整个 转移 函数 8 
的 预先 计算 。 

考察 一 下 朴素 字符 串 匹 配 算法 的 操作 过 程 。 图 32-10(a) 展 示 了 一 个 针对 文本 工 模板 的 一 个 
特定 偏 移 ;， 该 模板 包含 模式 P 二 ababaca。 在 这 个 例子 中 ，g 二 5 个 字符 已 经 匹配 成 功 ， 但 模式 的 
第 6 个 字符 不 能 与 相应 的 文本 字符 匹配 。g 个 字符 已 经 匹配 成 功 的 信息 确定 了 相应 的 文本 字符 。 
已 知 的 这 g 个 文本 字符 使 我 们 能 够 立即 确定 某 些 偏 移 是 无 效 的 。 在 该 图 的 实例 中 ， 偏 移 * 十 1 必 
然 是 无 效 的 ， 因 为 模式 的 第 一 个 字符 (a) 将 与 文本 字符 匹配 ， 该 文本 字符 已 知 不 能 和 模式 的 第 一 
个 字符 匹配 ， 但 是 却 能 与 模式 的 第 二 个 字符 (b) 匹 配 。 在 图 32-10(b) 所 示 的 偏 移 * = 十 2 使 模式 前 
面 三 个 字符 和 相应 三 个 文本 字符 对 齐 后 必定 会 匹配 。 在 一 般 情况 下 ， 知 道 下 列 问 题 的 答案 将 是 














































































































很 有 用 的 : 
bia | < b a a pa a@lb\@\/blalp|) 7 
Ei 
—— lalo|lalbp|lalclalP 
a E E a 
(a) 
[ | a | < |b alblia [b]a [a b E bla|b| 7 alblialb | a | Py 
eal ay 
Y=s+2 -alpfalr alc al P [aB R 























(b) Ce) 


32-10 前缀 函数 rx。(a) 模 式 P=ababaca 和 文本 工 平 行 摆 放 ， 使 得 前 g 二 5 个 字符 匹配 。 
匹配 的 字符 被 打上 阴影 且 用 垂直 线 连接 。(b) 根 据 5 个 匹配 字符 的 已 有 信息 ， 可 
以 推 知 s 十 1 的 偏 移 是 无 效 的 ， 但 是 y 一 * 十 2 的 偏 移 与 我 们 对 文本 的 了 解 一 致 ， 
因而 可 能 是 有 效 的 。(c) 推 导 中 使 用 的 有 用 信息 可 以 通过 模式 自身 的 比较 来 预计 
算 。 这里， 我 们 发 现 Ps 是 的 最 长 前 缀 同时 也 是 Ps 的 一 个 真 后 缀 。 这 些 信息 
被 预先 计算 出 来 ， 并 用 数组 x 来 表示 ， 即 xL5j] 二 3。 在 偏 移 s Aq 个 字符 成 功 匹 
配 ， 则 下 一 个 可 能 有 效 的 偏 移 为 * 二 s 十 (q 一 [qj)， 正 如 在 (b) 中 所 示 


假设 模式 字符 PLL . gj 与 文本 字符 T[s 十 1.. s 十 qj 匹配 ，s ERDHE, s>s, IMAX 
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某 些 R<q, WE 
P(1..k) = TLs +1.. s +k] (32. 6) 
HMB >s 是 多 少 ， 其 中 s'+k=st+q? 

换 句 话说 , GHP,IT.,, RIRA P, 的 最 长 真 前 级 P, 也 是 了 + 的 后 缀 。( 由 于 十 4 一 
s 十 g， 如 果 给 出 s 和 g， 那 么 找到 最 小 偏 移 。 等 价 于 找到 最 长 前 缀 的 长 度 。) 我 们 把 在 P 前 级 长 度 
范围 内 的 差 值 9 一 k 加 入 到 偏 移 ; 中 ， 用 于 找到 新 的 偏 移 s E13 s 二 s 十 (gq 一 k)。 在 最 好 情况 下 ， 
k=0, Alt s 二 ;十 gs， 并 且 立 刻 能 得 出 偏 移 s 十 1，s 十 2，…，s 十 q 一 1。 在 任何 情况 下 ， 对 于 新 的 
偏 移 s， 无 需 把 PP 的 前 8 个 字符 与 中 相应 的 字符 进行 比较 ， 因 为 等 式 (32. 6) 已 经 保证 它们 肯 
定 匹 配 。 

可 以 用 模式 与 其 自身 进行 比较 来 预先 计算 出 这 些 必要 的 信息 ， 如 图 32-10(c) 所 示 。 由 于 
TLs' 十 1. . s' 十 kj 是 文本 中 已 经 知道 的 部 分 ， 所 以 它 是 字符 串 P, 的 一 个 后 缀 。 可 以 把 等 式 (32. 6) 
解释 为 要 求 满足 POP, 的 最 大 的 £ 二 gq。 于 是 ， 这 个 新 的 偏 移 s 二 s 十 (g 一 &) 就 是 下 一 个 可 能 的 有 
效 偏 移 。 我 们 将 会 发 现 ， 对 每 一 个 g 值 ， 把 已 匹配 字符 数目 存储 在 新 的 偏 移 ; (而 不 是 一 >) 中 
是 比较 方便 的 。 

下 面 是 预计 算 过 程 的 形式 化 说 明 。 已 知 一 个 模式 PLL. m], 模式 PP 的 前 缀 函数 是 函数 
x: (l1, 2, =, m)}—>{0, 1, =, m—1}, ÑE 

vlg] = max{k:k<q HP,oP,} 
BY nla let P, 的 真 后缀 忆 的 最 长 前 缀 长 度 。 又 例如 ， 图 32-11(a) 中 给 出 了 关于 模式 ababaca 的 完 
整 前 缀 函数 r。 























P, a 
P, aca a[5]=3 

DAE P, abaca z[3]=1 
T aa P, clababaca x[1]=0 








(a) (b) 


图 32-11 对 模式 P=ababaca 和 q=5 应 用 引 理 32. 5 的 描述 。(a) 给 定 模式 的 x 函数 。 因 为 xL5] 王 3，x[3] 王 1 
Al rL1J=0, 通过 迭代 x 得 到 x*[5] 二 {3，1，0}。(b) 将 包含 模式 P 的 模板 向 右 移动 ， 并 注意 何 
时 PP 的 某 前 级 Pi 与 Ps 的 某 真 后 缀 匹配 ， 在 & 一 3，1 和 0 时 匹配 。 图 中 第 一 行 给 出 了 已 ， 点 垂直 
线 就 画 在 Ps 后 。 相 继 的 几 行 显示 所 有 PP 的 偏 移 ， 使 得 的 某 前 缀 P 与 Ps HRCA. RI 
匹配 的 字符 被 打上 了 阴影 。 垂 直线 连接 了 并 列 的 匹配 字符 。 因 此 ，{&: k<q APLC Ps}=({3, 1, 
0}。 引 理 32. 5 要 求 对 所 有 4 A n*lLa]= (k: k<q 上 且 PCP,) 


下 面 给 出 的 Knuth-Morris-Pratt 匹配 算法 的 伪 代 码 就 是 KMP-MATCHER 过 程 。 我 们 将 看 
到 ， 其 大 部 分 都 是 在 模仿 FINITE-AUTOMATON-MATCHER。KMP-MATCHER 调用 了 一 个 
辅助 程序 COMPUTE-PREFIX-FUNCTION 来 计算 r。 


KMP-MATCHERC(T, P) 


1 n=T. length 

2 m=P. length 

3 2=COMPUTE-PREFIX-FUNCTION(P) 

4 q=0 // number of characters matched 
5 for i=1 ton // scan the text from left to right 
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6 while g>0 and PE g+1JATLi] 
7 g=nlq] // next character does not match 
8 if P[g+1] == TD] 
9 q=q+1 // next character matches 
10 if q 一 一 m // is all of P matched? 
11 print “Pattern occurs with shift” i—m 
1005 12 q=rlq] // \ook for the next match 
COMPUTE-PREFIX-FUNCTION(P) 
1 m=P. length 
2 let xl1..m] be a new array 
3 nll J=o 
4 k=0 
5 for g=2 tom 
6 while &>0 and P[k 十 1] 关 PLg] 
7 k=xn[k] 
8 if PLk+1]==P[q] 
9 k=k+1 
10 nLgl=k 
ll return x 
这 两 个 程序 有 很 多 相似 之 处 ， 因 为 它们 都 是 一 个 字符 串 针对 模式 P 的 匹配 : KMP- 
MATCHER 是 文本 本 针对 模式 P 的 匹配 ，COMPUTE-PREFIX-FUNCTION 是 模式 已 针对 自己 
的 匹配 。 
下 面 先 来 分 析 这 两 个 过 程 的 运行 时 间 ， 对 其 正确 性 的 证 明 要 复杂 一 些 。 
运行 时 间 分 析 
运用 摊 还 分 析 的 聚合 方法 (参见 17. 1 节 ) 进 行 分 析 ， 过 程 COMPUTE-PREFIX-FUNCTION 
的 运行 时 间 为 8(m)。 唯 一 微妙 的 部 分 是 表明 第 6 一 7 行 的 while 循环 总 共 执行 时 间 为 On). F 
面 将 说 明 它 至 多 进行 了 m—1 次 迭代 。 我 们 从 观察 的 值 开始 ,第 一 ， 在 第 4 行 , 初始 值 为 0， 
并 且 增 加 的 唯一 方法 是 通过 第 9 行 的 递增 操作 ， 该 操作 在 第 5~10 行 的 for 循环 选 代 中 每 次 最 
多 执行 一 次 。 因 此 , k 总 共 至 多 增加 m 一 1 次 。 第 二 ， 因 为 进行 for 循环 时 &<g， 并 且 在 for 循环 
体 的 每 次 迭代 过 程 中 ，g 的 值 都 增加 ， 所 以 k<q 总 成 立 。 因 此 ， 第 3 行 和 第 10 行 的 赋值 确保 了 
"Lgj] 二 gq 对 所 有 的 g 二 1，2，…，m 都 成 立 ， 这 意味 着 每 次 while PAIK k 的 值 都 递减 。 第 三 ， 
kk 永远 不 可 能 为 负 值 。 综 合 考 虑 这 些 因素 ， 我 们 会 发 现 ,& 的 递减 来 自 于 while 循环 ， 它 由 & 在 所 
有 for 循环 迭代 中 的 增长 所 限定 , & 总 共 下 降 m 一 1。 因 此 ，while 循环 最 多 迭代 mm 一 1 次 ,并且 
COMPUTE-PREFIX-FUNCTION 的 运行 时 间 为 OC) 。 
练习 32. 4-4 要 求 读 者 通过 运用 类 似 的 聚合 分 析 ， 证 明 KMP-MATCHER 的 匹配 时 间 
HOC). 
4j FINITE-AUTOMATON-MATCHER 相 比 ， 通 过 运用 r 而 不 是 6， 可 将 对 模式 进行 预 处 理 
1006] 的 时 间 由 Om| 之 | ) 减 为 BCxz) ， 同 时 保持 实际 的 匹配 时 间 界 为 O). 








前 缀 函数 计算 的 正确 性 

我 们 稍 后 就 会 看 到 ， 前 级 函数 x 帮助 我 们 在 字符 匹配 自动 机 中 模拟 转移 函数 5， 但 是 首先 我 
们 需要 证 明 COMPUTE-PREFIX-FUNCTION 确实 能 够 准确 计算 出 前 缀 函数 。 为 此 ， 我 们 将 需要 
RAMAN HRP, BMRA EMA P, 的 真 后 级 。xLgj 的 值 给 了 我 们 最 长 的 前 级 ， 正 如 在 
图 32-11 中 所 描述 的 ， 下 面 的 引 理 说 明 通过 对 前 缀 函数 x 进行 和 迭代， 就 能 够 列举 出 P, 的 真 后 缀 的 
所 有 前 缀 Pro Be 
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n* [qa] = {x[g],re [gr [gr2L9]) 
其 中 re [gj 是 按 函 数 迭 代 的 概念 来 定义 的 ,满足 x”[qj= 二 gqg， 并 且 对 i 宇 1, c?lql=alx" Lol, 
当 达 到 x”[gj 二 0 时 ，x* [qj 中 的 序列 终止 。 

引 理 32. 5( 前 缀 函数 迭代 引 理 ) 设 书 是 长 度 为 到 的 模式 ， 其 前 组 函数 为 x， 对 g9 一 1，2，…，7， 
Ax" lal k: Ag EPP. 

证 明 首先 证 明 x* [qIG{k: ka HPAP., 或 者 等 价 地 ， 

i€ nr [g] 蕴涵 着 PIP, (32:7) 
若 iEr Lg]， 则 对 某 个 ww 二 0， 有 i 二 x*[Lg]。 通 过 对 进行 归纳 来 证 明 式 (32.7) 成 立 。 对 u=l, 
A i=rlq], AWARE r 的 定义 有 i<g 且 Pw 了 P,， 所 以 此 断言 成 立 。 利 用 关系 nlii MP ya 
P;， 以 及 二 熏 的 传递 性 ， 就 可 以 证 明 对 所 有 Enla], Ax’ (q]elk: k<qAPOP,}. 

下 面 用 反 证 法 来 证 明 {&: &<g H PIP) Er la] BERRA (k: kg H P,IP,}—n* Lg] 是 非 
空 的 ， 且 设 7 是 该 集合 中 的 最 大 值 。 因 为 xLg] 是 {x: ka H POP, PRAIA nlalE nr [Ca], 
所 以 必定 有 j 二 xLq]。 因 而 可 以 设 六 表 示 x* [qj 中 比 j 大 的 最 小 整数 。( 如 果 x* [g] 中 没有 其 他 数 
ik, WAR =r] RNA PIP, AAE{k: R<qgHP.OP,}, 另外 因为 
j En’ [qj 和 式 (32.7)， 有 忆 眉 P,。 因 此 ， 根 据 引 理 32.1, P, IP;, MAMIE. j 是 小 于 
7 的 最 大 值 。 因 而 必定 有 dy J=, HEAK j Enl], 同样 必定 有 jEn* ll ARETY 
慎 ， 所 以 引 理 得 证 。 图 

算法 COMPUTE-PREFIX-FUNCTION 根据 9 二 1，2,，…，m 的 顺序 计算 xl] t. 
COMPUTE-PRFFIX-FUNCTION 的 第 3 行 置 xL1]=0 当然 是 正确 的 ， 因 为 对 所 有 的 q， 
mLqj 壹 gq。 下 面 的 引 理 及 其 推论 将 用 于 证 明 对 g>1, COMPUTE-PREFIX-FUNCTION 能 正确 地 
计算 出 nig]. 

引 理 32.6 设 忆 是 长 度 为 m 的 模式 ,A 是 忆 的 前 组 函数 。 对 g 一 1]，2,，…，m， 如 果 7[g]>>0， 
则 xLg]—1E x" [q—1]. 

证 明 如 果 7r 二 xLqj>>0, WA ra H P, IP, 因此 xr 一 1]<g 一 1 且 P3 P, GE P, AP, 中 
的 最 后 一 个 字符 去 掉 ， 因 为 之 0， 所 以 这 可 以 做 到 )。 因 此 ， 根 据 引 理 32.5, xr 一 1Ex* [g 一 1]。 因 
Ht xLqg]—1=r—1E x" [q—1]. 

Xt q=2, 3, =, m, ENTE Ear" Lg 一 1 为 : 

Ei1= (k € x*[q—1]:PLk+1] = PLgj} 
= {k:k<q—1,P,5P,.,PLk+1]=Plaq]} (根据 引 理 32. 5) 
= {kik< gq—1,Pa IP} 
集合 E, HWE PIP WA P[k 十 1] 二 PLg] 的 值 ka&g— i 组 成 ， 因为 P(k+1]=Pl¢], 所 以 有 
Pad P, Ak, Ete ker" [Lg 一 1] 中 的 值 组 成 ， 可 以 将 Pi 扩展 到 已 :并 得 到 P, RR. m 
推论 32.7 设 忆 是 长 度 为 m HBA, x 是 忆 的 前 组 函数 ， 对 q=2, 3, +, m, 
本 0 wR Em = Ø 
l= 1+max{k € En) mRE.AD 

证 明 如 果 EHZ, 则 没有 用 于 扩展 P, 到 也, 及 得 到 P, 真 后 缀 的 RE [Lg 一 1]( 包 括 
k=0). Alt zlg]=0. 

如 果 为 非 空 ， 那 么 对 每 一 个 XE EE !， 有 十 1<g 且 Pd P, Alt, WIE x[qj 的 定义 ， 

nlg] > 1+ max{k € E,,} (32. 8) 

$R alg]>0. 设 r==xLqj 一 1， 那 么 r 十 1 二 x[q]， 因 此 PP,。 因 为 * 十 1 六 0， 所 以 有 
PLr 十 1] 二 PLg]。 而 且 根 据 引 理 32.6, 有 rEr* [gq 一 1]。 因 此 ,rE€EE,1， 所 以 +r 之 max{kE 
FE, 1} 或 等 价 地 ， 
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xLq]/<1+max{k€ E,,)} (32. 9) 

联合 等 式 (32. 8) ASK (32. 9) 即 可 完成 证 明 。 a 
现在 来 完成 对 COMPUTE-PREFIX-FUNCTION 计算 的 x 的 正确 性 证 明 。 在 过 程 COMPUTE- 
PREFIX-FUNCTION 中 第 5~10 行 for 循 环 的 每 次 迭代 开始 时 ，& 二 [Lg 一 1]。 当 第 一 次 进入 循环 

时 ， 该 条 件 由 第 3 行 和 第 4 行 实现 ， 并 且 因 为 第 10 行 的 执行 ， 使 得 该 条 件 在 下 面 的 每 次 选 代 中 均 

保持 成 立 。 第 6 一 9 行 调整 的 值 ， 使 它 变 为 现在 的 x[gj] 的 正确 值 。 第 6 一 7 行 的 while 循环 搜索 所 

A kEn [g 一 1] 的 值 ， 直 至 找到 一 个 值 ， 使 得 P[k 十 1] 二 PLq]; 此 时 , k BRA E_1 中 的 最 大 值 ， 

根据 推论 32.7， 可 以 置 x[qj 为 十 1。 如 果 找 不 到 这 样 的 值 ， 则 在 第 8 行 £ 二 0。 如 果 PLIJ=PLal, 
那么 应 该 将 & 和 x[gq] 都 设置 为 1; 否则 ， 只 需 将 nLqj] 置 为 0 而 不 管 &。 第 8 一 10 行 完 成 在 任意 条 件 

下 & 和 雹 gg 的 设置 。 这 样 就 完成 了 对 COMPUTE-PREFIX-FUNCTION 正确 性 的 证 明 。 m 

KMP 算法 的 正确 性 

过 程 KMP-MATCHER 可 以 看 做 是 过 程 FINITE-AUTOMATON-MATCHER 的 一 次 重新 实 
现 , 但 是 却 用 到 了 前 缀 函数 x 来 计算 状态 转换 。 特 别 地 ， 我 们 将 证 明 在 KMP-MATCHER 和 
FINITE-AUTOMATON-MATCHER 的 for 循环 的 第 i 次 迭代 时 ， 当 检测 m 的 等 效 性 时 ， 两 个 过 
程 的 状态 q 的 值 相同 (KMP-MATCHER 在 第 10 行 ，FINITE-AUTOMATON-MATCHER 在 第 5 
行 )。 一 旦 证 明了 KMP-MATCHER 模拟 了 FINITE-AUTOMATON-MATCHER 的 操作 过 程 ， 
自然 也 就 可 以 由 FINITE-AUTOMATON-MATCHER 的 正确 性 推出 KMP-MATCHER 也 是 正确 
的 (但 是 下 面 将 看 到 为 什么 KMP-MATCHER 中 的 第 12 行 代码 是 必需 的 ) 。 

在 我 们 正式 证 明 KMP-MATCHER 模仿 FINITE-AUTOMATON-MATCHER 之 前 ， 让 我 们 
来 理解 前 缀 函数 x 如 何 代替 转移 函数 S。 回 顾 一 下 ， 当 字符 串 匹 配 自动 机 处 在 状态 g 时 ， 它 扫描 
到 字符 a=TLi], RABAB—TPMARA oq, a). WR a=Plat1], MA < 将 持续 对 模式 进 
行 匹配 ，8(qg，a) 一 q 十 1; 否则 ，o 天 PLo 十 1]， 那 么 < 就 终止 了 对 模式 的 匹配 ， 并 且 OSC, a) 
三 q。 在 第 一 种 情况 下 ， 当 a 持续 匹配 时 ，KMP-MATCHER 移动 到 状态 +1 而 无 需 参 考 x A 
数 : 在 第 6 行 的 while 循环 检测 第 一 次 报错 ， 在 第 8 行 检测 结果 是 真 ， 并 且 在 第 9 行 g 增 加 。 

当 a 不 能 持续 进行 模式 匹配 时 ，« 函数 开始 起 作用 ， 因 此 新 的 状态 6(q，a) 要 么 是 g， 要 么 是 
沿 着 自动 机 移动 的 g 的 左边 状态 。 在 KMP-MATCHER 中 第 6~7 行 的 while 循环 迭代 通过 状态 
x*[g]， 要 么 停 在 一 个 gq 状态 , 使 得 a 和 PlLg' 十 1 匹配 ， 要 么 是 gq' 已 经 走 完 变 为 了 了 0。 如果 a 和 

1009] P[g 十 1 匹配 ， 那 么 第 9 行 就 进入 新 的 状态 gq' 十 1， 这 应 该 等 价 于 准确 模拟 6(gq，a) 的 工作 。 换 句 
话说 ， 新 状态 6(q，a) 要 么 处 于 状态 0， 要 么 处 于 比 某 些 在 x* Lgj] 中 更 高 的 状态 。 

让 我 们 来 考虑 图 32-7 和 图 32-11 中 的 例子 ， 其 中 模式 为 P 二 ababaca。 假 设 自 动机 处 在 g=5 
的 状态 ; 这 些 在 x*[5j] 中 的 状态 是 以 3，1 和 0 的 顺序 递减 的 。 如 果 下 一 个 扫描 到 的 字符 是 c， 那 
么 很 容易 看 到 自动 机 移动 到 状态 5(5，c)= 二 6,， 在 KMP-MATCHER 和 FINITE-AUTOMATON- 
MATCHER 中 都 是 如 此 。 现 在 假设 下 一 个 扫描 到 的 字符 是 b， 那 么 自动 机 会 移动 到 8(5，b) 王 4 
状态 。 在 KMP-MATCHER 中 每 次 退出 while 循环 都 运行 第 7 行 一 次 ， 并 且 到 达 状 态 9 =x 5]=3. 
由 于 Pld +1]=P[4]=b, 第 8 行 检测 结果 是 真 ， 并 且 KMP-MATCHER 移动 到 新 的 状态 
q' 十 1 二 4 二 6(5，b)。 最 后 ,假设 下 一 个 扫描 到 的 字符 是 a， 那 么 自动 机 就 自动 移动 到 状态 8(5， 
a) 二 1。 在 第 6 行 执行 前 三 次 检测 ， 结 果 是 真 。 第 一 次 我 们 发 现 PL6]=cAa 并 且 KMP- 
MATCHER 移动 到 状态 xL5] 二 3( 处 在 x* [5] 中 的 第 一 个 状态 )， 第 二 次 我 们 发 现 PLA] =bHa 并 
且 移 动 到 状态 xL3j 二 1( 处 在 x*[5j] 中 的 第 二 个 状态 )， 第 三 次 我 们 发 现 PL2] 二 b 关 a 并且 移 动 到 
状态 x[L1j 二 0( 处 在 x* [5j 中 的 最 后 一 个 状态 )。 一 旦 到 达 状 态 gq = 二 0，while 循环 就 退出 。 现 在 ， 
在 第 8 行 发 现 PLg' 十 1] 二 PL[1] 二 a， 并 且 在 第 9 行 移动 自动 机 到 新 的 状态 gq' 十 1 二 1 二 6(5，a)。 

因此 ,我 们 了 解 到 KMP-MATCHER 通过 以 递减 的 顺序 在 状态 x* [qj 中 迭代 循环 ， 在 某 些 状 
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态 gq' 停 止 ， 然 后 可 能 移动 到 状态 g' 十 1。 尽 管 似乎 在 模拟 计算 8(g，a) 时 有 很 多 工作 要 做 ， 但 是 从 
渐 近 意义 上 看 ，KMP-MATCHER 并 不 比 FINITE-AUTOMATON-MATCHER 慢 。 

我 们 现在 准备 正式 证 明 Knuth-Morris-Pratt 算法 的 正确 性 。 根 据 定理 32.4， 在 每 次 运行 
FINITE-AUTOMATON-MATCHER 的 第 4 行 时 得 到 gq 二 o(T;)。 因 此 ， 它 足以 证 明 for 循环 在 
KMP-MATCHER 中 有 同样 的 特性 。 通 过 对 循环 迭代 次 数 进行 归纳 来 证 明 。 首 先 ， 当 它们 第 一 次 
进入 各 自 的 for 循环 时 ， 程 序 都 是 预 设 9 一 0。 考虑 在 KMP-MATCHER 中 对 :迭代 的 for 循环 ， 
假设 gq' 是 该 循环 迭代 的 初始 状态 。 通 过 归纳 假设 ,我 们 可 以 得 到 g' 二 co(T; 1)。 需 要 证 明 在 第 10 
行 也 有 g 二 oT;)。( 我 们 将 又 一 次 分 开 处 理 第 12 fT.) 

当 考 虑 到 字符 TIN. P 的 最 长 前 级 也 是 T, 的 一 个 后 级 ， 要 么 是 Py (如 果 Pld’ +1J=TLi), 
要 么 是 P 的 某 个 前 缀 (这 并 不 一 定 为 真 前 级 ， 并 且 可 能 为 空 )。 我 们 分 别 考虑 以 下 三 种 情况 : 
oT,)=0, ATI =a +1 M0< Tq.. 

。 WRo(T)=0, BAP =e 是 P 的 唯一 前 级 ， 也 是 T: 的 一 个 后 级 。 第 6 一 7 ÍTR while 循 
PIER x* [9 和] 中 的 值 ， 尽 管 P, 眉 T | 对 每 个 g€x* [g ] 都 成 立 ,但 是 循环 绝 不 会 找到 一 
个 使 得 Plat 1I=TLilh qa. 4q=OW, HAAR. FFA A 9 行 自然 就 不 执行 了 。 因 此 ， 
在 第 10 行 % 王 0， 使 得 q=o(T;). 

。 WR o(T)=q' 十 1， 那 么 PL 十 二 天 TL 和 ,并且 第 一 次 检测 第 6 行 的 while 循环 失败 。 
执行 第 9 行 ，& 增加， 使 得 g=q'+1=0(T;). 

。 如 果 O0<o(T,)<q', MBAR 6 一 7 行 的 while 至 少 循环 迭代 一 次 ， 对 于 每 一 个 值 gE nr [qj， 
以 递减 顺序 进行 检测 ， 直 到 g<gq 时 停止 。 因 此 ，P, 是 Py 满足 PLg 十 1 二 T[ 疏 的 最 长 前 
级 ， 使 得 当 while 循环 终止 时 ，g 十 1 二 oC(Py T[ 让 )。 由 于 gg 50T), H31 32.3 可 以 
FHT Tli) =P; TL[ij])。 因 此 有 

q+1=o(P,; TUD) = (Ta TLi]) = of T;) 

当 while 循环 终止 时 ， 在 第 9 行 的 g 增加 之 后 ， 得 到 q=o(T;). 

在 KMP-MATCHER 中 ， 之 所 以 一 定 要 有 第 12 行 代码 ， 是 为 了 避免 在 找 出 尸 的 一 次 出 现 
后 ， 第 6 行 中 可 能 出 现 PLm: 十 1] 的 情形 。( 由 练习 32. 4-8 的 提示 ， 即 对 任意 ae DV, dim, a= 
6(xLmj]，a)， 或 者 等 价 地 ，6(Pa) 二 6(Pwja)， 可 以 推 得 在 下 一 次 执行 第 6 行 代 码 时 ，g= 
a(T, i) 依然 保持 有 效 。) 关 于 Knuth-Morris-Pratt 算法 的 正确 性 证 明 ， 其 余 的 部 分 可 以 从 FINITE- 
AUTOMATON-MATCHER 的 正确 性 推 得 因为 现在 可 以 看 出 KMP-MATCHER 模拟 了 
FINITE-AUTOMATON-MATCHER 的 操作 过 程 。 


练习 

32.4-1 计算 对 应 于 模式 ababbabbabbababbabb 的 前 级 函数 no 

32. 4-2 给 出 关于 q 的 函数 r [Laj] 的 规模 的 上 界 。 举 例 说 明 所 给 出 的 上 界 是 严格 的 。 

32.4-3” 试 说 明 如 何 通过 检查 字符 串 PT( 由 卫生 连结 形成 的 长 度 为 m 十 n 的 字符 串 ) 的 x 函数 
来 确定 模式 P 在 文本 工 中 的 出 现 位 置 。 

32.4-4 ”用 聚合 分 析 方 法 证 明 KMP-MATCHER 的 运行 时 间 是 O(n) 。 

32.4-5 ”用 势 函数 证 明 KMP-MATCHER 的 运行 时 间 是 O(n) 。 

32.4-6 ” 试 说 明 如 何 通过 以 下 方式 对 过 程 KMP-MATCHER 进行 改进 : 把 第 7 行 ( 不 是 第 12 行 
中 ) 出 现 的 «替换 为 x ， 其 中 对 于 g 二 1，2，…，m 一 1，x 递归 定义 如 下 : 


0 如 果 rLdq] 王 0 
[gj] 一 4x[xLg]] wR nlg] 40H Plalg]+1] = P[g 十 1] 
nq] wR nlg] #0 E PLxLg]j 十 1] 关 PLg 十 1] 
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第 七 部 分 “算法 问题 选编 


试 说 明 修 改 后 的 算法 为 什么 是 正确 的 ， 并 说 明 在 何 种 意义 上 ， 这 一 修改 是 对 原 算法 的 
改进 。 

写 出 一 个 线性 时 间 的 算法 ， 以 确定 文本 工 是 否 是 另 一 个 字符 串 工 的 循环 旋转 。 例 如 arc 
和 car 是 彼此 的 循环 旋转 。 

给 出 一 个 有 效 算法 ， 计 算出 相应 于 某 给 定 模式 P 的 字符 串 匹 配 自动 机 的 转移 函数 6。 所 
给 出 的 算法 的 运行 时 间 应 该 是 Om| El) Gar: 证 明 如 果 gam MR Plqt+1l|Fa, Mi 
6(g, a)=6(xLg], a).) 


(基于 重复 因子 的 字符 串 匹 配 ) Ky 表示 字符 串 y 与 其 自身 首尾 相 接 i 次 所 得 的 结果 。 例 

如 (ab)’ 二 ababab。 如 果 对 某 个 字符 串 yE DME 10 有 z= 二 y ”， 则 称 字 符 串 xE UA 

有 重复 因子 >。 设 p(x) 表 示 使 得 xz 具有 重复 因子 r 的 最 大 值 。 

a. 写 出 一 有 效 算法 以 计算 出 p(P;) (i 二 1，2，…，m)， 算法 的 输入 为 模式 P[1..m]。 算 法 
的 运行 时 间 是 多 少 ? 

b. 对 任何 模式 PCL. m], 设 p*(P) 定 义 为 maxp(Pi)。 证 明 : 如 果 从 长 度 为 m 的 所 有 二 进 
制 字符 串 所 组 成 的 集合 中 随机 地 选择 模式 P， 则 o CP) 的 期 望 值 是 DC1) 。 

c 论证 下 列 字符 串 匹 配 算法 可 以 在 OCp*(P)n 十 m) 的 时 间 内 正确 地 找 出 模式 PP 在 文本 
TUL .Jj 中 的 所 有 出 现 位 置 。 


REPETITION-MATCHER(P, T) 

1 m=P. length 
n=T. length 
k=l Fo (PY 
q=0 
s=0 
while s<n—m 

if Tist+qt+1J==Plq+1] 
4 一 9 十 1 


if qg == m 


O © nL DON AUD 


10 print “Pattern occurs with shift” s 
11 if q == mor T[st+q+1]¥P[¢qt1] 

12 s=stmax(1,[ gq/k | 

13 q=0 


该 算法 是 Galil 和 Seiferas 提出 的 。 通 过 对 这 些 设计 思想 进行 大 量 扩充 ， 他 们 得 到 了 一 


个 线性 时 间 的 字符 串 匹 配 算法 ， 该 算法 除了 己 和 T 工 所 要 求 的 存储 空间 外 ， 仅 需 OC) AY 
存储 空间 。 


本 章 注 记 

Aho, Hopcroft 和 Ullman[5] 中 讨论 了 字符 串 匹 配 与 有 限 自 动机 理论 的 关系 。Knuth-Morris- 
Pratt 算法 [214] 是 由 Knuth, Pratt 和 Morris 独立 提出 的 ; 他 们 合作 公布 了 其 工作 成 果 。 
Reingold, Urban 和 GriesL294] 给 出 了 Knuth-Morris-Pratt 算法 的 另 一 种 处 理 。Rabin-Karp 算法 
是 由 Karp 和 Rabin[201] 提 出 的 。Galil 和 Seiferas[L126] 给 出 了 一 个 有 趣 的 确定 性 线性 时 间 字 符 串 
[1013] 匹配 算法 ， 除 存储 模式 和 文本 所 要 求 的 空间 外 只 需 用 O(1) 的 空间 。 
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计算 几何 学 


计算 几何 学 是 计算 机 科学 的 一 个 分 支 ， 专 门 研 究 那 些 用 来 解决 几何 问题 的 算法 。 在 现代 工 
程 与 数学 界 ， 计 算 几 何 学 在 不 同 的 领域 里 有 着 广泛 的 应 用 ， 包 括 计算 机 图 形 学 、 机 器 人 学 、 
VLSI 电路 设计 、 计 算 机 辅助 设计 、 分 子 建 模 、 冶 金 学 、 制 造 业 、 纺 织品 设计 学 、 林 学 和 统计 学 
等 。 计 算 几 何 学 问题 的 输入 通常 是 对 几何 对 象 集合 的 描述 ， 如 点 集 、 线 段 集 ， 或 者 一 个 多 边 形 中 
按 首 时针 顺序 排列 的 顶点 集合 。 而 问题 的 输出 通常 是 回答 关于 这 些 几 何 对 象 的 查询 ， 例 如， 直线 
是 否 相 交 ; 或 者 是 否 为 一 个 新 的 几何 对 象 ， 例 如 ， 点 集 的 凸 包 问 题 (convex hull， 即 最 小 封闭 凸 
多 边 形 ) 。 

本 章 将 研究 二 维 空间 内 ( 即 平 面 上 ) 的 若干 个 计算 几何 算法 。 我 们 用 点 集 {如 ，p。，pp，…} 来 表示 
每 一 个 输入 对 象 ， 其 中 每 个 p= l yi), xi VER 例如 ， 我们 以 顶点 序列 (po，p1，p:，…， 
p,_1) 来 表示 一 个 n 个 顶点 的 多 边 形 PP， 这 些 点 以 在 PP 的 边界 上 出 现 的 顺序 来 排列 。 计 算 几 何 学 
也 可 以 应 用 到 三 维 ， 甚 至 更 高 维度 的 空间 上 , 但 是 这 样 的 问题 及 其 解决 方案 很 难 可 视 化 。 不 过 ， 
即使 是 在 二 维 空间 上 ， 也 能 充分 展现 出 计算 几何 学 的 精妙 之 处 。 

33.1 节 说 明 如 何 准确 而 有 效 地 回答 关于 线段 的 一 些 基本 问题 : 一 条 线段 是 在 与 其 共享 一 个 
端点 的 另 一 条 线段 的 顺 时 针 方 向 ， 还 是 在 其 逆 时 针 方 向 ? 当 沿 着 两 条 邻接 的 线段 前 进 时 遇 到 交 
点 该 往 哪 个 方向 转 ? 两 条 线段 是 否 相 交 ? 33. 2 节 介绍 一 种 被 称 为 “扫除 ”(sweeping) 的 技术 。 利 用 
这 种 技术 设计 一 种 用 来 判断 n 条 线段 中 是 否 存 在 相交 线段 的 算法 ， 其 运行 时 间 为 O(nlgn)。33.3 
节 给 出 两 种 “旋转 扫除 ”(rotational-sweep) 算 法 ， 用 来 计算 n 个 点 的 凸 包 。 这 两 种 算法 分 别 是 运行 
时 间 为 O(nlg 7n) 的 Gramham 扫描 法 和 运行 时 间 为 O(nh) 的 Jarvis 步 进 法 ， 其 中 及 为 凸 包 上 的 顶 
BAA. BUA. 33.4 节 介 绍 一 种 运行 时 间 为 O(n lg n) 的 算法 ， 用 于 求 出 平面 上 7 个 点 中 距离 最 
近 的 点 对 。 


33.1 线段 的 性 质 


在 本 章 中 ， 有 好 几 个 计算 几何 学 的 算法 都 要 涉及 线段 的 性 质 。 两 个 不 同 点 A= (rn yA 
ps 二 (zs，%) 的 凸 组 合 是 满足 如 下 条 件 的 任意 点 ps = (ass y): 对 于 某 个 a(0 过 a 过 1)， 有 
X3=ax, + (1—a) x: 和 ¥3=ay, + (1—a)». 另外 ， 可 记 ps Sapı +(1—a) foo 直观 上 来 看 ， ps 位 
于 经 过 名 和 ps 两 点 的 直线 上 且 处 于 pr p 两 点 之 间或 恰 为 户 或 p;。 对 于 给 定 的 两 个 不 同 的 点 
Dp, RKO hk pl 和 ps HAHA. RINK 和 ps HRA DMA. AN, RBS 
Ko 和 ps WIE, FRARUAEBERD WHAT. WE p 是 原点 (0，0)， 那 么 可 以 把 
有 向 线段 P12 作为 向 量 Ho 

在 本 章 ， 我们 需要 探究 下 列 问题 : 

1. 对 于 给 定 的 两 个 有 向 线段 加 六 和 po 疡 ， 相 对 于 它们 的 公共 端点 po KM Pop EBE Do Pr 
的 顺 时 针 方 向 ? 

2. 对 于 给 定 的 两 个 线段 如 志和 ip， 如果 先 沿 着 如 所 再 沿 着 Bis 前 进 ， 那么 在 点 p 处 是 否 
要 向 左 转 ? 

3. KBD: pr AD, Py EAH HAZE? 
对 于 给 定 的 点 没有 任何 限制 。 

对 上 述 的 每 一 个 问题 ， 我 们 都 能 在 OG1) 的 时 间 内 回答 ， 这 一 点 不 会 使 人 惊讶 ， 因 为 每 个 问题 
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的 输入 规模 都 是 OC(1)。 此 外 ， 我 们 所 采用 的 方法 只 用 到 了 加 法 、 减 法 、 乘 法 和 比较 运算 。 既 不 需 
要 除法 运算 也 不 需要 三 角 函 数 运算 ， 这 两 者 都 需要 高 昂 的 计算 代价 并 且 容 易 产生 舍 入 误差 等 问题 。 
例如 ， 要 判断 两 条 线段 是 否 相 交 ， 一 种 “直接 的 ”方法 是 计算 出 每 一 条 线段 的 直线 方程 ， 形 如 y= 
mz 十 bm ER, bE y 轴 截 距 )， 然 后 计算 出 两 条 线 的 交点 ， 并 检查 交点 是 否 同时 位 于 两 条 线段 
上 。 这 种 “直接 的 "方法 在 求 交点 时 用 到 了 除法 运算 。 然 而 若 两 条 线段 几乎 平行 ， 这 种 方法 会 对 实 
际 计算 机 中 除法 运算 的 精度 非常 敏感 。 本 节 中 的 方法 避免 使 用 除法 ， 因 而 要 精确 得 多 。 

NFR 

又 积 的 计算 是 线段 方法 的 核心 。 考 虑 如 图 33-1(a) 所 示 的 向 量 加 和 p;。 我 们 可 以 把 叉 积 解 
释 为 由 点 (0，0)，Pi，ps 和 轧 十 ps 二 (zi 十 Zz， 十 y2) 所 构成 的 平行 四 边 形 的 有 向 面积 。 男 一 
种 与 之 等 价 但 更 有 效 的 又 积 定义 方式 是 将 之 看 做 矩阵 行列 式 ? : 


Tı 


£ 
Di X po = detl 7 *|- Zi y2— Xa. =— fr X Pi 
1 Ie 


E pi Xps 值 为 正 ， 则 相对 于 原点 (0，0) 来 说 ， 刀 位 于 ps 的 顺 时 针 方向 ; Ao Xp 值 为 负 ， 则 
b 位 于 ps 的 道 时 针 方 向 。( 见 练习 33. 1-1。) 图 33-1(b) 展 示 了 向 量 请 的 顺 时 针 和 逆 时 针 区 域 。 又 
积 为 0 时 出 现 边界 情况 ; 在 这 种 情况 下 ， 两 个 向 量 是 共 线 的 ， 指 向 相同 方向 或 相反 方向 。 


Pi+P: 





xy 





(0.0) 
(a) (b) 


图 33-1 (a) 平 行 四 边 形 的 有 向 面积 表示 向 量 pi 和 ps 的 又 积 。(b) 浅 色 阴 影 
区 域 包含 了 位 于 p 顺 时 针 方 向 的 向 量 。 深 色 阴 影 区 域 包 含 了 位 于 p 
逆 时 针 方向 的 向 量 
为 了 确定 相对 于 公共 端点 p。， 有 向 线段 加 疡 是 在 顺 时 针 还 是 逆 时 针 方 向 更 靠近 如 疡 ， 我 们 
将 po 作为 原点 从 而 使 问题 简化 。 用 Pi — Po 来 表示 向 量 pi =(x' ’ ya)» 其 中 ， xy =a Dos 
y1=% 一 %， 类 似 地 ， 可 以 定义 乌 一 名。 然后 ， 计 算 叉 积 
CPi — Po) X Ch2— fo) = a — 20) C2 — Yo.) — Cap — (yy 
WRLBAE, MARANA AMM; 如果 又 积 为 负 ， 那 么 忘记 位 于 遍 忘 的 着 时 针 方向 。 
确定 连续 线段 是 向 左 转 还 是 向 右 转 
我 们 讨论 的 下 一 个 问题 是 在 点 请 处 ， 两 条 连续 的 线段 加 和 刀 P5 是 向 左 转 还 是 向 右 转 。 也 就 是 
说 ， 找 出 一 种 方法 以 确定 一 个 给 定 角 玫 ppp 的 转向 。 采用 又 积 运算 来 解决 这 个 问题 可 以 避免 计算 角 
BE. WE 33-2 所 示 ， 我 们 只 需 简 单 地 判断 一 下 有 向 线段 加 记 是 位 于 为 疡 的 顺 时针 还 是 逆 时 针 方 向 。 因 
此 ,我们 计算 出 叉 积 (p 一 加 )X(p 一)。 若 结果 为 负 ， 则 加 雇 在 加 六 的 逆 时 针 方 向 ， 在 p 处 左 转 。 
同 理 ， 若 结果 为 正 ， 则 在 顺 时 针 方向 ， 在 p 处 右 转 。 而 又 积 为 0 则 意味 着 po. p 和 ps 三 者 共 线 。 
判定 两 条 线段 是 否 相交 
为 判定 两 条 线段 是 否 相交 ， 需 要 检查 每 条 线段 是 否 跨 越 了 包含 另 一 条 线段 的 直线 。 如 果 点 


O FXE, 又 积 是 一 个 三 维 的 概念 。 根 据 “ 右 手法 则 ”， 它 是 一 个 与 如 和 pz 都 垂直 的 向 量 ， 其 量 值 为 |z1yz 一 x2y1 1。 然 
而 ， 在 本 章 中 ， 将 又 积 简单 地 看 做 z1yo 一 zx2y 的 值 更 方便 一 些 。 
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Pp 位 于 某 条 直线 的 一 边 ， 而 点 ps MEFRRRWA—-W, WMA PPT RRB. Æ p 和 
pz 恰好 落 在 直线 上 ， 则 出 现 边 界 情况 。 两 条 线段 相交 当 且 仅 当 下 面 两 个 条 件 至 少 成 立 一 个 : 

1. 每 条 线段 都 跨越 了 包含 另 一 条 线段 的 直线 。 

2. 一 条 线段 的 某 个 端点 落 在 另 一 条 线段 上 。( 这 一 情况 来 自 于 边界 情况 。) 


P2 P2 
Pı Pi 
ERT EP 顺 时 针 
| 
Po Po 
(a) (b) 


图 33-2 利用 又 积 来 确定 连续 线段 zoPi 和 pis 在 点 p! ARE. WATA RED pi» 
检查 有 向 线段 思议 是 在 其 顺 时 针 方 向 还 是 逆 时 针 方向 。(a) 如 果 是 在 逆 时 针 方 
向 ， 则 说 明 在 点 p 处 向 左 转 。(b) 如 果 是 在 顺 时 针 方向 ， 则 说 明 向 右 转 1017 


下 面 的 过 程 实现 了 这 一 思想 。 如 果 线 段 pPps 和 pp 相交 ，SEGMENTS-INTERSECT 返回 
TRUE; 否则 ， 返 回 FALSE。 它 调用 了 子 过 程 DIRECTION， 利 用 上 述 的 又 积 方法 计算 出 线段 的 
相应 方向 ; 并 调用 子 过 程 ON-SEGMENT 来 判断 一 个 与 线段 共 线 的 点 是 否 位 于 这 条 线段 上 。 


SEGMENTS-INTERSECT (p; ,p; ,ps,p:) 
1 di=DIRECTION(p;,ps;,pi) 
2 d;,=DIRECTION(p;, p: +p.) 
3 d;=DIRECTION( $1» 2» ps) 
4 d,=DIRECTION(), ,za p,) 
5 if ((d,> 0 and d:< 0) or (di= 0 and d;> 0))and 
((d3> 0 and d< 0) or(d3< 0 and d;> 0)) 
6 return TRUE 
7 elseif dı == 0 and ON-SEGMENT (p; , p4» pı) 
8 return TRUE 
9 elseif d}, == 0 and ON-SEGMENT( p; » p4» p2) 
10 return TRUE 
11 elseif d; == 0 and ON-SEGMENT (p; » p2» p3) 
12 return TRUE 
13 elseif dı == 0 and ON-SEGMENT(pi ; p2» p4) 
14 return TRUE 
15 else return FALSE 


DIRECTION (p; p; + Pa) 
1 return(p,— p;) X (H; — Pi) 


ON-SEGMENT(; » pj s De) 

1 if min(z;,zj)Kx,Kmax(z;,x;)and min(y;, yj) Ky: Kmax(y;, y;) 

2 return TRUE 

3 else return FALSE 

算法 SEGMENTS-INTERSECT 按 如 下 流程 工作 。 第 1~4 行 计算 每 个 端点 p; 关于 另 一 条 线段 
的 相对 方向 d;。 如 果 所 有 相对 方向 都 非 0， 则 可 以 很 容易 判断 出 pi ps 和 pp 是 否 相 交 ， 具 体 做 法 如 
下 。 若 有 向 线段 加 疡 和 加 记 相 对 于 如 六 的 方向 相反 ， 那 么 线段 志 让 跨越 了 包含 声 刀 的 直线 。 在 这 种 
RE. d Ad, 的 符号 不 同 。 类 似 地 ， 若 d 和 4d 的 符号 不 同 ， 则 线段 pp 跨越 了 包含 Pp 的 直 
线 。 如 果 第 5 行 测试 结果 为 真 ， 那 么 这 两 条 线段 互相 跨越 ，SEGMENTS-INTERSECT 返回 TRUE, 
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图 33-3(a) 显示 了 这 种 情况 。 和 否则 ， 线 段 不 互相 跨越 对 方 所 在 的 直线 ， 但 边界 情况 也 可 能 出 现 。 如 
果 所 有 的 相对 方向 都 非 0， 那 么 不 会 出 现 边 界 情况 。 第 7 一 13 行 中 所 有 关于 是 否 为 0 的 测试 都 会 失 
败 ， 在 第 15 行 SEGMENTS-INTERSECT 将 返回 FALSE。 图 33-3(b) 展 示 了 这 种 情况 。 
如 果 任 何 一 个 相对 方向 di 为 0， 那么 将 出 现 边界 情况 。 此 处 ， 我 们 知道 pi 与 另 一 条 线段 
是 共 线 的 。 它 直接 位 于 另 一 条 线段 上 ， 当 且 仅 当 它 位 于 线段 的 两 个 端点 之 间 。 过 程 ON- 
SEGMENT 返回 ps 是 否 位 于 线段 方太 的 端点 之 间 ， 其 中 心思 是 在 第 7 一 13 行 中 调用 ON- 
SEGMENT 过 程 时 的 另 一 条 线段 ; 该 子 过 程 假设 pi 与 pp; 是 共 线 的 。 图 33-3(c) 和 (d) 显示 出 了 
共 线 点 的 情况 。 在 图 33-3(c) 中 ，ps 位 于 Pips 上， 因而 在 第 12 行 中 ，SEGMENTS-INTERSECT 
返回 TRUE。 在 图 33-3(d) 中 ,没有 哪个 端点 位 于 另 一 条 线段 上 ， 所 以 SEGMENTS 
INTERSECT 在 第 15 行 返回 FALSE。 


(P\-P3) x (psa-p3)<0 _ 
p we — 


P4 (P-P) x (pa-p3)<0 pua Ps 
Pi (Ps-P,) x (P2-P,)<0 


(ps-p;) X (ps-p3)<0 











(ps-pi1) x (ps-p1)<0 


ee P2 
(P3-p,) x P-p,)?0 i (P,P) x (P2-p,)>0 
P3 (P2-Ps) x (Ps-P3)>9 ps 
(a) (b) 
ps Ps 
Pi Pı 
P3 
P Pp 
P3 
Ce) Cd) 


图 33-3 过程 SEGMENTS-INTERSECT 的 各 种 情况 。(a) 线 段 加 ;和 pr 互相 跨越 对 方 所 在 的 直线 。 因 
为 ps 跨 越 了 包含 Ps 的 直线 ， 所 以 又 积 (ps — p) X Cha — pi) Ai — Pi) X Che — pr) FEB AB 
同 。 同 理 ， 因 为 跨越 了 包含 ps 的 直线 ， 所 以 又 积 (pi 一 p3)X (pi 一 ps) 和 (ps 一 ps)X (ps 一 
思 ) 的 符号 不 同 。(b)psps 跨越 了 包含 pips 的 直线 ,但 pipi 未 跨越 包含 pap 的 直线 ， 所 以 叉 积 
(Pi 一 p3)X(ps 一 ps) 和 (pz 一 ps)X(ps 一 ps) 的 符号 是 相同 的 。C0) 点 ps Bo pdt AF p 和 
如 之 间 。(d) 点 ps Shi PHBA AML pi 和 ps 之 间 。 线 段 不 相交 


又 积 的 其 他 应 用 

本 章 后 续 几 节 将 介绍 又 积 的 其 他 应 用 。 在 33. 3 节 中 ， 需 要 根据 相对 于 给 定 原点 的 极 角 大 小 对 
给 定 的 点 集 进行 排序 。 正 如 练习 33. 1-3 要 求 读者 证 明 的 那样 ， 可 以 用 又 积 进行 排序 过 程 中 的 比较 。 
在 33. 2 节 中 ， 将 运用 红 黑 树 来 维护 一 个 线段 集合 的 垂直 顺序 。 这 种 方法 并 不 是 显 式 地 记录 红 黑 树 
关键 字 值 ， 而 是 通过 计算 又 积 来 确定 与 同一 个 给 定 的 垂直 线 相交 的 两 条 线段 的 相对 位 置 。 


练习 

33.1-1 WH: Æ pi Xp 值 为 正 ， 则 相对 于 原点 (0，0)， 向 量 pi 位 于 向 量 ps 的 顺 时 针 方向 ; 若 
MAAR. W pi 在 pz 的 逆 时 针 方 向 。 

33.1-2 van Pelt 教授 提出 ， 在 过 程 ON-SEGMENT 的 第 1 行 中 ， 只 需 测试 z 坐标 值 。 试 说 明教 
授 错误 的 原因 。 

33. 1-3 一 个 点 pi 相对 于 原点 po 的 极 角 (polar angle) 也 就 是 向 量 pi 一 po 在 常规 极 坐 标 系 中 的 角 
度 。 例 如 ， 点 (3，5) 相 对 于 (2，4) 的 极 角 即 为 向 量 (1，1) 的 极 角 ， 即 45 度 或 x/4 WE. 
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点 (3，3) 相 对 于 (2，4) 的 极 角 即 为 向 量 (1， 一 1) 的 极 角 ， 即 315 度 或 7x/4 弧度 。 请 编 
写 一 段 伪 代码 ， 根 据 相 对 于 某 个 给 定 原点 po 的 极 角 ， 对 一 个 由 个 点 构成 的 序列 
(p11，p:，…，p,) 进 行 排序 。 所 给 过 程 的 运行 时 间 应 为 OC(nlg n)， 并 要 求 用 又 积 来 比较 
极 角 的 大 小 。 

33.1-4” 试 说 明 如 何在 OG? lg n) 的 时 间 内 确定 个 点 中 任意 三 点 是 否 共 线 。 

33.1-5 多边 形 是 平面 上 由 一 系列 线段 构成 的 闭合 曲线 。 也 就 是 说 ， 它 是 由 一 系列 直线 段 构成 的 
首尾 相连 的 曲线 。 这 些 直线 段 称 为 多 边 形 的 边 。 一 个 连接 两 条 连续 边 的 顶点 称 为 多 边 形 
的 顶点 。 如 果 多 边 形 是 简单 的 (一 般 情 况 下 都 会 作 此 假设 )， 那 么 它 的 内 部 不 存在 边 交叉 
的 情况 。 在 平面 上 被 简单 多 边 形 包围 的 点 集 组 成 了 该 多 边 形 的 内 部 (interior)， 恰 落 在 多 
边 形 上 的 点 组 成 了 多 边 形 的 边界 (boundary) ， 而 包围 该 多 边 形 的 点 构成 了 多 边 形 的 外 部 
Cexterior) 。 对 于 一 个 简单 多 边 形 ， 如 果 给 定 任 意 两 个 位 于 其 边界 或 内 部 的 点 ， 连 接 这 
两 个 点 的 线段 上 的 所 有 点 都 在 这 个 多 边 形 的 边界 或 内 部 ， 那 么 该 多 边 形 为 凸 多 边 形 。 一 
个 凸 多 边 形 的 顶点 不 能 被 表示 成 边界 或 内 部 任意 两 个 顶点 的 凸 组 合 。 

Amundsen 教授 提出 ， 对 于 由 nn 个 点 组 成 的 序列 (po。，p1，…，p,-1)， 可 以 用 下 面 

的 方法 来 确定 它们 能 否 形成 一 个 凸 多 边 形 的 连续 顶点 。 敬 集合 {pipitipits: i 二 0， 
1，…， 7 一 1)( 下 标 是 模 排列 的 ) 不 是 既 包 含 左 转 又 包含 右 转 ， 则 输出 “yes”; 否则 ， 输 
出 “no”。 试 说 明 虽 然 这 种 方法 的 运行 时 间 是 线性 的 ， 但 它 不 总 是 得 出 正确 结果 。 对 教授 
的 方法 做 修改 ， 使 其 总 是 能 在 线性 时 间 内 得 出 正确 结果 。 

33.1-6 已 知 一 个 点 甸 王 (ma ，W)， 它 的 右 水 平 射线 (right horizontal ray) 是 顶点 集合 {p; 二 (zx;，%): 
LEX» vi=yo}, Hee, ERD 正 右 方 的 点 的 集合 ， 包 括 po 本 身 。 试 说 明 如 何 通 
过 把 问题 转化 为 判断 两 条 线段 是 否 相 交 ， 从 而 在 O(1) 的 时 间 内 确定 一 个 给 定 的 从 po 出 
发 的 右 水 平 射线 是 否 和 线段 pps 相交 。 

33.1-7 要 确定 点 po 是 否 在 简单 多 边 形 P( 不 一 定 是 是 多边形) 内 部 ， 一 种 方法 是 检查 由 po 发 出 
的 全 部 射线 ， 看 它们 是 否 与 P 的 边界 相交 奇数 次 ,但 是 p 本 身 不 能 位 于 边界 上 。 试 说 
明 如 何在 @(Cz) 时 间 内 计算 出 名 是 否 在 一 个 由 个 顶点 组 成 的 多 边 形 的 内 部 。( 提 示 : 参 
考 练习 33. 1-6。 确 保 当 射线 与 多 边 形 边界 在 顶点 处 相交 ， 以 及 当 射 线 遮盖 住 多 边 形 的 一 
条 边 时 ， 算 法 的 正确 性 。) 

33.1-8 试 说 明 如 何在 9@(z) 时 间 内 计算 一 个 具有 7 个 顶点 的 简单 多 边 形 (不 一 定 是 凸 多 边 形 ) 的 
面积 。( 与 多 边 形 有 关 的 定义 见 练习 33. 1-5。) 


33.2 确定 任意 一 对 线段 是 否 相交 


本 节 给 出 一 种 算法 ， 用 来 确定 一 个 线段 集 之 中 的 任意 两 条 线段 是 否 相 交 。 该 算法 使 用 了 一 
种 称 为 “扫除 ”的 技巧 ， 它 在 许多 计算 几何 算法 中 很 常见 。 此 外 ， 如 本 节 末 尾 练习 所 示 ， 这 种 算法 
或 其 简单 变形 可 以 用 于 解决 其 他 计算 几何 问题 。 

该 算法 的 运行 时 间 为 O(nlg n)， 其 中 是 给 定 线 段 的 数目 。 它 能 确定 是 否 存 在 相交 线段 ， 并 
不 输出 所 有 的 相交 点 。( 根 据 练 习 33. 2-1， 在 一 个 了 条 线段 的 顶点 集中 要 找到 所 有 的 相交 点 ， 最 
坏 情况 下 ， 需 花费 QCxw ) 的 时 间 ,) 

在 扫除 过 程 中 ， 一 条 假想 的 扫除 线 (sweep line) 穿 过 一 个 给 定 的 几何 物体 集合 ， 并 且 通 常 是 
从 左 到 右 扫描 。 考 虑 扫除 线 移动 的 空间 维度 ， 当 沿 zx 维 移动 时 ， 则 将 其 看 做 时 间 维 S 。 扫 除 提供 
了 一 种 将 几何 物体 排序 的 方法 ， 通 常 是 将 其 放 人 一 个 动态 数据 结构 ， 从 而 充分 利用 其 相互 关系 。 


O ”是 将 扫除 线 移动 的 空间 维度 (在 这 种 情况 下 是 zx 维度 ) 看 做 时 间 维 ， 而 并 非 真正 时 间 维 。 一 一 译 者 注 
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本 节 的 线段 相交 算法 按照 从 左 到 右 的 顺序 考虑 所 有 的 线段 端点 ， 每 遇 到 一 个 端点 就 检查 其 是 否 
是 相交 点 。 

为 了 描述 判定 n 条 线段 中 任意 两 条 是 否 相 交 的 算法 并 证 明 其 正确 性 ， 我 们 做 出 两 点 简化 问题 
的 假设 。 首 先 ， 假 设 没有 一 条 输入 线段 是 垂直 的 。 其 次 ， 假 设 没有 三 条 输入 线段 相交 于 同一 点 。 
练习 33. 2-8 和 练习 33. 2-9 要 求 读 者 说 明 这 一 算法 的 健壮 性 ， 即 当 上 述 假设 不 成 立时 ， 只 需 对 其 
稍 加 修改 ， 算 法 仍 能 正常 工作 。 当 然 ， 在 为 计算 几何 算法 进行 编程 实现 和 证 明 其 正确 性 时 ， 去 掉 
这 样 的 简化 性 假设 ， 对 边界 情况 进行 处 理 往往 是 最 困难 的 挑战 。 

线段 排序 

因为 之 前 假设 了 没有 垂直 的 线段 ， 所 以 任何 与 给 定 的 垂直 扫除 线 相 交 的 线段 与 其 只 有 一 
交点 。 因 此 ， 我 们 可 以 根据 交点 的 y 坐标 来 对 与 垂直 扫除 线 相交 的 线段 进行 排序 。 

为 了 将 问题 叙述 得 更 准确 ， 考 虑 两 条 线段 ss 和 s; 。 如 果 一 条 xz 坐标 值 为 z 的 扫除 线 与 二 者 
都 相交 ， 则 称 这 两 条 扫除 线 在 x 处 是 可 比较 的 。 如 果 % 和 sz 在 工 处 是 可 比较 的 ， 并 且 在 x hh, 
s 与 扫除 线 的 交点 比 s 与 同一 条 扫除 线 的 交点 要 高 ， 或 者 两 者 在 扫除 线 上 相交 ， 则 称 在 z 处 si 
WF s 之 上 ， 记 作 s>s. RM, ÆR 33-40, AM PRA: aS,c, a,b, b>, c, a,c 
Mo>.c. RR 4 与 其 他 任何 线段 都 不 可 比 。 

对 任意 给 定 的 zx， 关 系 “ 关 .是 定义 在 所 有 在 zx 处 与 扫除 线 相交 的 线段 上 的 完全 前 序 关系 ( 参 
见 B. 2 节 )。 也 就 是 说 ， 这 个 关系 是 可 传递 的 ， 并 且 如 果 线 段 % 和 s 都 在 zz 处 与 扫除 线 相交 ， 那 
LA 8) S182 或 ss 这 is1， 或 两 者 丝 成 立 ( 若 si 和 ss 相交 于 扫除 线 ) 。( 关 系 关 。 也 是 自 反 的 ， 但 并 不 
是 对 称 或 反对 称 的 。) 但 是 ， 当 线段 加 入 和 离开 该 排序 时 ， 随 着 z 值 的 不 同 ， 线 段 的 完全 前 序 也 可 
能 不 同 。 当 线段 的 左 端点 遇 到 扫除 线 时 ， 就 进入 该 排序 ， 当 其 右 端点 遇 到 扫除 线 时 ， 就 离开 该 
排序 。 

当 扫除 线 经 过 两 条 线段 的 交点 时 ， 会 发 生 什么 情况 呢 ? 正如 图 33-4(b) 所 示 ， 它 们 在 完全 前 
序 中 的 位 置 被 颠倒 了 。 扫 除 线 v 和 ww 分 别 位 于 线段 。 和 上 了 交点 的 左 侧 和 右 侧 ， 因 而 有 e>.f 和 
了 宇 。e。 注 意 ， 因 为 我 们 假设 没有 三 条 直线 相交 于 一 点 ， 所 以 必 有 某 条 扫除 线 z 使 得 相交 线段 e 
和 上 /了 在 完全 前 序 关系 关 。 中 是 连续 的 。 任 何 通 过 图 33-4(b) 中 阴影 区 域 的 扫除 线 ( 如 z)， 都 有 e 和 
了 在 它 的 完全 前 序 排列 中 连续 。 





(a) (b) 


A334 根据 各 垂直 扫除 线 确定 线段 的 顺序 。(a) 图 中 有 如 下 关系 成 立 : a 之 xc， 
a>b, D>C, ac, bc. Rd 与 其 他 任何 线段 都 不 可 比 。(b) HRE e 
和 了 相交 时 ， 它们 的 次 序 颠 倒 了 : e>, (A fee. FEM KR eM 
除 线 ( 如 z) 都 使 得 e。 和 上 了 在 其 完全 前 序 中 连续 
移动 扫除 线 
典型 的 扫除 算法 要 维护 两 组 数据 : 
1. 扫除 线 状态 (sweep-line status) 给 出 了 与 扫除 线 相交 的 物体 之 间 的 关系 。 
2. 事件 点 调度 (event-point schedule) 是 一 个 按 z 坐标 从 左 到 右 排列 的 事件 点 序列 。 随 着 扫除 
线 由 左 到 右 行进 ， 每 当 遇 到 事件 点 的 c 坐标 ， 扫 除 都 会 暂停 ， 人 处理 事件 点 ， 然 后 重新 开始 扫除 。 
扫除 线 状态 仅 在 事件 点 处 改变 。 
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对 于 某 些 算法 (如 练习 33. 2-7 要 求 读者 给 出 的 算法 ) ， 事 件 点 调度 随 着 算法 的 执行 而 动态 确 
定 。 我 们 现在 所 讨论 的 算法 仅仅 是 基于 输入 数据 的 简单 性 质 ， 在 扫除 之 前 就 确定 了 所 有 的 事件 
点 。 特 别 地 ， 每 个 线段 端点 都 是 事件 点 。 我 们 通过 增加 zz 坐标 值 ， 并 且 从 左 向 右 执行 ， 来 对 线段 
端点 排序 。( 如 果 两 个 或 多 个 端点 共享 垂 线 ， 即 它们 有 相同 的 zx 坐标 值 ， 就 将 所 有 共 垂 线 的 左 端 
点 放 在 共 垂 线 的 右 端点 之 前 。 而 在 一 个 共 垂 线 的 左 端点 集中 ， 将 y 坐标 较 小 的 放 在 前 面 ， 并 对 共 
垂 线 的 右 端 点 集 也 做 同样 的 处 理 。) 当 遇 到 线段 的 左 端点 时 ， 就 将 此 线段 插 人 扫除 线 状 态 中 ， 并 且 
当 遇 到 其 右 端 点 时 ， 就 把 它 从 扫除 线 状态 中 删 掉 。 每 当 两 条 线段 首次 在 完全 前 序 中 变 为 连续 时 ， 
就 检查 它们 是 否 相 交 。 

扫除 线 状态 是 一 个 完全 前 序 关 系 T， 需 要 对 其 进行 以 下 操作 : 

。 INSERT(T, s): 把 线段 * 揪 人工 中 。 

e DELETE(T, s): ARs MT PRR. 

e ABOVE(T, s): 返回 工 中 s LA RRA s 的 线段 。 

。 BELOW(T, s): REIT Ps 下 方 紧 挨 着 s 的 线段 。 

在 完全 前 序 关 系 工 中 ， 可 能 出 现 线段 s; 和 都 在 对 方 上 方 的 情况 ; 这 是 由 于 s 和 ss 在 扫除 
线 处 相交 ， 其 中 ， 扫 除 线 的 完全 前 序 在 工 中 给 出 。 在 这 种 情况 下 ， 这 两 条 线段 在 工 中 的 关系 无 
法 确定 。 

如 果 输 入 中 有 n 条 线段 ， 应 用 红 黑 树 ， 可 以 在 O(lgn) 的 时 间 内 执行 上 述 INSERT, 
DELETE, ABOVE, BELOW 操作 。 第 13 章 中 红 黑 树 的 操作 涉及 了 关键 字 的 比较 。 我 们 可 以 将 
关键 字 的 比较 替换 为 基于 又 积 的 比较 ， 用 以 确定 两 条 线段 的 相对 次 序 ( 见 练习 33. 2-2). 

求 线段 交点 的 伪 代 码 

下 面 的 算法 将 一 个 由 nn 条 线段 组 成 的 集合 S 作为 输入 ， 如 果 S 中 有 任何 一 对 线段 相交 ， 则 返 
E TRUE; 和 否则， 返回 FALSE。 完 全 前 序 工 由 一 棵 红 黑 树 来 维护 。 

ANY-SEGMENTS-INTERSECT(S) 

1 T= 

2 sort the endpoints of the segments in S from left to right, 

breaking ties by putting left endpoints before right endpoints 
and breaking further ties by putting points with lower 
y-coordinates first 


3 for each point p in the sorted list of endpoints 


4 if p is the left endpoint of a segment s 
5 INSERT(T,s) 
6 if (ABOVE(T,s) exists and intersects s) 
or (BELOW(T,s) exists and intersects s) 
7 return TRUE 
8 if p is the right endpoint of a segment s 
9 if both ABOVE(T,s) and BELOW(T,s) exist 
and ABOVE(T,s) intersects BELOW(T,s) 
10 return TRUE 
11 DELETE(T,s) 


12 return FALSE 


图 33-5 说 明了 这 一 算法 的 执行 过 程 。 第 1 行 初 始 化 完全 前 序 为 空 。 第 2 行 通过 对 2n 个 线段 
端点 由 左 到 右 排序 ， 并 按照 描述 的 方法 处 理 多 个 点 zx 坐标 值 相 同 的 情况 ， 从 而 确定 事件 点 调度 。 
执行 第 2 行 的 一 种 方式 是 ， 在 (x，e，y) 上 对 端点 按照 字典 序 排序 ， 其 中 x Aly 为 通常 的 坐标 ， 
e 一 0 表示 左 端点 ，e 王 1 表示 右 端 点 。 
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时 间 
图 33-5 ANY-SEGMENTS-INTERSECT 的 执行 过 程 。 每 条 虚线 都 对 应 一 个 事 
件 点 处 的 扫除 线 。 除 了 最 右边 的 扫除 线 之 外 ， 其 余 每 条 扫除 线 下 线段 
名 的 顺序 与 用 于 处 理 相 应 事件 点 的 for 循环 结束 时 的 完全 前 序 工 相 对 
应 。 处 理 线段 c 的 右 端点 时 用 到 最 右边 的 扫除 线 ， 由 于 线段 4 和 8 在 
c 旁边 并 且 与 之 相交 ， 那 么 该 过 程 返 回 TRUE 
在 第 3~11 行 的 for 循环 中 ， 每 一 次 迭代 都 处 理 一 个 事件 点 po WR p 是 线段 ; 的 左 端点 ， 
那么 第 5 行将 s 添加 到 完全 前 序 中 ， 如 果 ;与 由 经 过 zp 的 扫除 线 所 定义 的 完全 前 序 中 的 与 之 连续 
的 两 条 线段 中 的 任 一 条 相交 ， 则 第 6 一 7 行 返回 TRUE。( 如 果 p 位 于 另 一 条 线段 ;3 上 ， 则 出 现 边 
界 情况 ， 这 时 ， 仅 需要 将 * Als 连续 地 放 到 TOUR p 是 线段 ;的 右 端点 ， 则 把 s 从 完全 前 序 
中 删除 。 首 先 ， 考 虑 经 过 p 的 扫除 线 所 定义 的 完全 前 序 ， 如 果 s 旁边 的 线段 有 相交 ， 那 么 第 9 一 
10 行 返回 TRUE。 如 果 这 些 线 段 不 相交 ， 第 11 行 就 将 s 从 完全 前 序 中 删除 。 只 要 第 10 行 的 
return 语句 没有 阻碍 第 11 行 的 执行 ， 当 s 被 删除 后 ，s 旁边 的 线段 就 会 在 完全 前 序 中 变 为 连续 。 
接 下 来 对 正确 性 进行 讨论 ， 这 将 清晰 地 说 明 为 什么 这 些 语 句 充 分 检查 了 s 旁边 的 每 一 条 线段 。 最 
后 ， 如 果 在 处 理 完 全 部 2n 个 事件 点 后 没 发 现 线段 相交 ， 第 12 行 就 返回 FALSE。 
正确 性 
为 了 说 明 ANY-SEGMENTS-INTERSECT 是 正确 的 ,我们 将 要 证 明 ANY-SEGMENTS- 
INTERSECT(S)i& E] TRUE 当 且 仅 当 S 中 的 线段 有 一 个 交点 。 
很 容易 看 出 ， 仅 当 ANY-SEGMENTS-INTERSECT 发 现 两 个 输入 线段 之 间 的 一 个 交点 时 ， 
它 才 返回 TRUE( 在 第 7 行 和 第 10 行 中 ) 。 于 是 ， 如 果 它 返回 TRUE， 就 说 明 存 在 一 个 交点 。 
另外 ， 还 需要 证 明 以 上 结论 的 逆 命 题 : 如 果 存 在 一 个 交点 ，ANY-SEGMENTS-INTERSECT 
就 会 返回 TRUE。 不 妨 假设 至 少 有 一 个 交点 。 设 P 为 最 左边 的 交点 ， 选 择 y 坐标 最 小 的 那个 交 
点 ， 同 时 假设 a 和 2 为 相交 于 zp 的 两 条 线段 。 因 为 在 p 的 左边 没有 线段 相交 ， 因 此 对 于 p 左边 的 
点 来 说 ， 由 工 给 出 的 顺序 是 正确 的 。 因 为 没有 三 条 线段 相交 于 同一 点 ， 所 以 a 和 在 扫除 线 z 处 
成 为 完全 前 序 中 的 连续 线段 ?>。 此 外 ，z 位 于 p 的 左边 ， 或 者 穿 过 pe EARR z 上 ， 存 在 一 个 
线段 端点 9， 它 是 使 < 和 2 在 完全 前 序 中 成 为 连续 线段 的 事件 点 。 如 果 p EARR E, Mlg=p. 
如 果 p 不 在 扫除 线 z 上 ， 那 么 g 位 于 z 的 左边 。 不 论 是 这 两 种 情况 中 的 哪 一 种 ， 在 遇 到 g 之 前 ， 
给 出 的 顺序 都 是 正确 的 。( 正 是 在 这 里 ， 算 法 按 字典 序 对 事件 点 进行 了 排序 。 因 为 p 是 所 有 最 
左边 的 交点 中 最 低 的 ， 故 即使 p 位 于 扫除 线 z> 上 ， 且 存在 另 一 个 交点 p 也 位 于 zx E, 事件 点 q= 





O ”如果 人 允许 三 条 线段 相交 在 同一 点 ， 那 么 可 能 会 有 一 条 干扰 线段 c 在 点 p 处 与 a。 和 6 都 相交 。 也 就 是 说 ， 对 所 有 位 
于 zp 左边 满足 a 之 wc 的 扫除 线 记 ， 都 可 能 有 a 关 wc 和 c 关 wp。 练 习 33. 2-8 要 求 读 者 证 明 ， 即 使 三 条 线段 确实 相 
交 于 同一 点 ，ANY-SEGMENTS-INTERSECT 也 是 正确 的 。 
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也 能 在 另 一 个 交点 p' 对 完全 前 序 荆 产生 干扰 之 前 得 到 处 理 。 此 外 ， 即 使 p 是 某 一 线段 (例如 a) 
的 左 端点 ， 同 时 也 可 以 是 另 一 线段 (例如 引 的 右 端 点 ， 因 为 左 端点 事件 发 生 在 右 端 点 事件 之 前 ， 
故 当 首次 遇 到 线段 之前， 线段 5 已 经 在 完全 前 序 工 中 了 。) 事 件 点 4 或 者 被 ANY-SEGMENTS- 
INTERSECT 处 理 ， 或 者 不 被 处 理 。 

如 果 g 由 ANY-SEGMENTS-INTERSECT 进行 了 处 理 ， 只 可 能 产生 两 种 动作 : 

1. 只 要 a 或 5 被 插入 TT 中， 则 另 一 线段 在 完全 前 序 中 位 于 它 的 上 面 或 下 面 。 第 4~7 行 可 以 
发 现 这 种 情况 。 

2. 线段 < 和 2 都 已 经 在 TT 中 ,并且 在 完全 前 序 中 ， 位 于 它们 之 间 的 一 条 线段 被 删除 ， 使 得 a 
和 65 成 为 连续 线段 。 第 8 一 11 行 可 以 发 现 这 种 情况 。 

无 论 哪 种 情况 ， 都 能 发 现 交点 p， 并 且 ANY-SEGMENTS-INTERSECT 返回 TRUE。 

如 果 事 件 点 g 没有 被 ANY-SEGMENTS-INTERSECT 处 理 ， 该 过 程 必定 在 处 理 完 所 有 的 事 
件 点 之 前 就 已 经 返回 。 只 有 当 ANY-SEGMENTS-INTERSECT 已 经 找到 了 一 个 交点 并 返回 
TRUE 时 ， 这 种 情况 才 会 发 生 。 

于 是 ， 如 果 存 在 着 一 个 交点 ，ANY-SEGMENTS-INTERSECT 就 返回 TRUE。 而 我 们 之 前 
已 经 看 到 ， 如 果 ANY-SEGMENTS-INTERSECT 返回 TRUE， 则 必定 存在 一 个 交点 。 因 此 ， 
ANY-SEGMENTS-INTERSECT 始终 能 返回 正确 的 结果 。 

运行 时 间 

如 果 集 合 S 中 有 nn 条 线段 ， 则 ANY-SEGMENTS-INTERSECT 的 运行 时 间 为 Olnlgn)。 第 1 
行 的 运行 时 间 为 O(1) 。 如 果 使 用 归并 排序 或 堆 排序 ， 第 2 行 所 需 的 时 间 为 O(nlg n)。 第 3 一 11 
行 的 for 循环 在 每 个 事件 点 处 至 多 和 迭代 一 次 ， 由 于 总 共有 2n 个 事件 点 ， 所 以 循环 至 多 迭代 2n 次 。 
每 次 迭代 耗 时 O(lgz) ， 这 是 因为 每 个 红 黑 树 操 作 所 需 的 时 间 为 OU gn). iia AA 33. 1 节 中 的 方 
法 ， 可 以 使 每 次 相交 测试 耗费 时 间 O(1)。 因 此 ， 总 的 运行 时 间 为 O(n lg n). 


练习 


33.2-1 试 说 明 在 条 线段 的 集合 中 ， 可 能 有 8(z ) 个 交点 。 

33.2-2 已 知 两 条 在 工 处 可 比 的 线段 < 和 2 ， 试 说 明 如 何在 O(1) 时 间 内 确定 ab 和 6b 之 a PO 
一 个 成 立 。 假 定 这 两 条 线段 都 不 是 垂直 的 。( 提 示 : 如 果 a 和 4 不 相交 ， 利 用 又 积 即 可 。 
如 果 a 和 相交 (当然 也 可 以 用 又 积 来 确定 )， 仍 然 可 以 只 利用 加 、 减 、 乘 这 几 种 运算 ， 
Fora FABIA. SR. TEMAS. 关系 时 ， 如 果 a 和 6 相交 ， 就 可 以 停 下 来 并 声明 已 找 
ATTER) 

33. 2-3 Mason 教授 建议 修改 过 程 ANY-SEGMENTS-INTERSECT， 使 其 不 是 找 出 一 个 交点 后 返 
回 ， 而 是 输出 相交 的 线段 ， 再 继续 进行 for 循环 的 下 一 次 迭代 。 他 把 这 样 得 到 的 过 程 称 
为 PRINT-INTERSECTING-SEGMENTS， 并 声称 该 过 程 能 够 按照 线段 在 集合 中 出 现 的 
次 序 ， 从 左 到 右 输出 所 有 的 交点 。Dixon 教授 不 同意 Mason 教授 ， 称 其 做 法 有 误 。 哪 位 
教授 的 说 法 是 正确 的 ? PRINT-INTERSECTING-SEGMENTS 所 找 出 的 第 一 个 相交 点 总 
是 最 左边 的 交点 吗 ? 它 总 能 找 出 所 有 的 相交 点 吗 ? 

33.2-4” 写 出 一 个 运行 时 间 为 O(n lg n) 的 算法 ， 以 确定 由 个 顶点 组 成 的 多 边 形 是 否 是 简单 多 
边 形 。 

33.2-5” 写 出 一 个 运行 时 间 为 O(nlg 允 的 算法 ， 以 确定 总 共有 个 顶点 的 两 个 简单 多 边 形 是 否 相 交 。 

33.2-6 一 个 圆 面 是 由 一 个 圆 加 上 其 内 部 所 组 成 ， 用 圆心 和 半径 表示 。 如 果 两 个 圆 面 有 公共 点 ， 
则 称 这 两 个 圆 面 相交 。 写 出 一 个 运行 时 间 为 O(nlg n) 的 算法 ， 以 确定 个 圆 面 中 是 否 有 
任何 两 个 圆 面相 交 。 
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33.2-7 已 知 n 条 线段 中 共有 个 相交 点 ， 试 说 明 如 何在 OC(n +’) lg nn) 时间 内 输出 全 部 个 
点 

33.2-8 论证 即使 有 三 条 或 更 多 的 线段 相交 于 同一 点 ， 过 程 ANY-SEGMENTS INTERSECT 也 
能 正确 执行 。 

33.2-9 证明: 在 有 垂直 线段 的 情况 下 ， 如 果 将 某 一 垂直 线段 的 底部 端点 当做 是 左 端点 ， 其 顶部 
端点 当做 右 端 点 ， 则 过 程 ANY-SEGMENTS-INTERSECT 也 能 正确 执行 。 如 果 人 允许 有 
垂直 线段 ， 对 练习 33. 2-2 的 回答 应 如 何 修改 ? 


33.3 寻找 凸 包 


AE Q 的 凸 包 是 一 个 最 小 的 凸 多 边 形 己 ， 满 足 Q 中 的 每 个 点 都 在 书 的 边界 上 或 者 在 P 的 内 
部 。( 凸 多 边 形 的 准确 定义 见 练习 33. 1-5。) 我 们 用 CH(Q) 来 表示 Q 的 凸 包 。 我 们 假定 Q 中 所 有 
的 点 是 独立 的 ， 并 且 Q 至 少 包含 3 个 不 共 线 的 点 。 直 观 地 讲 ， 可 以 把 Q 中 的 每 个 点 都 想象 成 是 
露 在 一 块 板 外 的 铁 钉 ， 那 么 凸 包 就 是 包围 了 所 有 这 些 铁 钉 的 一 条 拉 紧 了 的 橡皮 强 所 构成 的 形状 。 
图 33-6 示 出 了 一 个 点 集 及 其 凸 包 。 
本 节 将 介绍 两 种 算法 来 计算 包含 :个 点 的 点 集 
的 凸 包 。 两 种 算法 都 按 逆 时 针 方 向 的 顺序 输出 凸 包 
的 各 个 顶点 。 第 一 种 算法 称 为 Graham 扫描 法 
(Graham’s scan) ， 运 行 时 间 为 O(nlg n)。 第 二 种 算 
法 称 为 Jarvis 步 进 法 (Jarvis march)， 其 运行 时 间 为 
Oh), BPA AAP TUR. ME 33-6 中 可 
以 看 出 ，CH(Q) 的 每 一 个 顶点 都 是 Q@ 中 的 点 。 两 种 
算法 都 利用 这 一 性 质 来 决定 应 该 以 Q 中 的 哪些 点 作 
为 凸 包 的 顶点 ， 以 及 应 该 去 掉 Q 中 的 哪些 点 。 图 33-6 点 集 Q 一 {po， pis > Prt} R 
事实 上 ， 有 好 几 种 方法 都 能 在 O(n lg n) 时 间 内 其 用 灰色 表示 的 凸 包 CHQ) 
计算 凸 包 。Graham 扫描 法 和 Jarvis 步 进 法 都 运用 了 一 种 称 为 “旋转 扫除 ”的 技术 ， 根 据 每 个 顶点 
对 一 个 参照 顶点 的 极 角 的 大 小 ， 依 次 进行 处 理 。 其 他 方法 有 以 下 几 种 : 
。 在 增 量 法 (incremental method) 中 ， 首 先 对 点 从 左 到 右 进行 排序 ， 得 到 一 个 序列 (pp ，ps，…， 
轧 )。 在 第 i 步 ， 根 据 左 起 第 i 个 点 ， 对 最 左边 i 一 1 A CHUA ps os p HEAT 
Ey, MAMER CHUA» ps o Be AY 33. 3-6 要 求 读者 说 明 如 何 实现 这 种 方法 ， 使 其 
所 需 的 全 部 时 间 为 O(nlgn)。 
。 在 分 治 法 中 , 在 8(n) 时 间 内 ， 将 由 nn 个 点 组 成 的 集合 划分 为 两 个 子 集 ， 分 别 包 含 最 左边 
的 Ln/2j 和 最 右边 的 Ln/2j 个 点 ， 并 对 子 集 的 凸 包 进行 递 归 计 算 ，, 然后 利用 一 种 巧妙 的 办 
法 ， 在 OC) 时间 内 对 计算 出 来 的 同 包 进行 组 合 。 这 种 方法 的 运行 时 间 用 大 家 熟悉 的 递归 
A T(n) 二 2T(n/2) 十 O() 来 表示 ， 因 此 ， 分 治 法 的 运行 时 间 为 O(n lg n)。 
。 前 枝 - 搜 索 方法 (prune-and-search method) 类 似 于 9. 3 节 中 讨论 的 最 坏 情 况 下 线性 时 间 的 
中 值 算 法 。 它 通过 反复 丢弃 剩余 点 中 固定 数量 的 点 ， 直 至 仅 剩 下 凸 包 的 上 链 ， 从 而 找到 
凸 包 的 上 部 (或 称 ” 上 链 ”” 。 然 后 ， 再 执行 同样 的 操作 来 找 出 下 链 。 从 渐 近 意义 上 来 看 ， 
这 种 方法 速度 最 快 ， 如 果 上 同 包 包含 h 个 顶点 ， 那 么 该 方法 的 运行 时 间 仅 为 Olalgh). 
计算 一 个 点 集 的 凸 包 本 身 就 是 一 个 有 趣 的 问题 。 此 外 ， 其 他 一 些 关 于 计算 几何 学 问题 的 算 
法 都 始 于 对 凸 包 的 计算 。 例 如 ， 考 虑 二 维 的 最 远 点 对 问题 : 已 知 平面 上 包含 个 点 的 集合 ， 希望 
找 出 它们 中 相距 最 远 的 两 个 点 。 正 如 练习 33.33 要 求 读者 证 明 的 那样 ， 这 两 个 点 必定 是 凸 包 的 
顶点 。 尽 管 在 此 不 作证 明 ， 但 我 们 能 在 O(n) 的 时 间 内 找 出 n 个 顶点 的 凸 多 边 形 中 的 最 远 顶 点 对 。 





$338 计算 几何 学 。 605 


因此 ， 通 过 在 O(nlg nn) 时间 内 计算 出 nn 个 输入 点 的 凸 包 ， 然 后 再 找 出 得 到 的 凸 多 边 形 中 的 最 远 顶 
点 对 ， 就 可 以 在 Ol(nlgn) 的 时 间 内 ， 找 出 任意 7 个 点 组 成 的 集合 中 距离 最 远 的 点 对 。 

Graham 扫描 法 

Graham 扫描 法 通过 维持 一 个 关于 候选 点 的 栈 S 来 解决 凸 包 问 题 。 输 入 集合 Q 中 的 每 个 点 都 
被 压 人 栈 一 次 ， 非 CHCQ) 中 顶点 的 点 最 终 被 弹出 栈 。 当 算法 终止 时 ， 栈 S 中 仅 包 含 CHO HH 
顶点 ， 以 道 时 针 的 顺序 出 现在 边界 上 。 

过 程 GRAHAM-SCAN 的 输入 为 点 集 Q@， 其 中 |Q| 三 3。 在 无 需 改 变 栈 S 的 情况 下 ， 调 用 函 
数 TOP(S) 和 函数 NEXT-TO-TOP(S) 分 别 返回 处 于 栈 顶 的 点 和 处 于 栈 顶 部 下 面 的 那个 点 。 稍 后 
将 证 明 : 过 程 GRAHAM-SCAN 返回 的 栈 S 从 底部 到 顶部 ， 依 次 是 按 逆 时 针 方向 排列 的 CHCQ) 
中 的 顶点 。 


GRAHAM-SCAN(Q) 
1 let po be the point in Q with the minimum y-coordinate, 
or the leftmost such point in case of a tie 

2 let( pi, p25°*ts Pm) be the remaining points in Q, 
sorted by polar angle in counterclockwise order around po 
Cif more than one point has the same angle, remove all but 
the one that is farthest from po) 

3 ifm<2 

4 return“ convex hull is empty” 

5 else let S be an empty stack 

6 PUSH(,~ » S) 

7 PUSH (p, ,S) 

8 PUSH(p;,S) 

9 for i = 3 tom 

10 while the angle formed by points NEXT-TO-TOP(S) , TOP(S), 

and p; makes a nonleft turn 
11 POP(S) 
12 PUSH (p; S) 


13 return S 


图 33-7 说 明了 GRAHAM-SCAN 的 执行 过 程 。 第 1 行 选取 p 作为 y 坐标 最 小 的 点 ， 如 果 有 
多 个 这 样 的 点 ， 则 选取 最 左边 的 点 作为 加。 由 于 Q 中 没有 其 他 点 比 po 更 低 ， 并 且 与 其 有 相同 y 
坐标 的 点 都 在 它 的 右边 ， 所 以 po 一 定 是 CH(Q) 的 一 个 顶点 。 第 2 行 根据 相对 于 po 的 极 角 对 Q 
中 剩余 的 点 进行 排序 ， 所 用 的 方法 (比较 义 积 ) 与 练习 33. 1-3 中 相同 。 如 果 有 两 个 或 更 多 的 点 对 
po 的 极 角 相同 ， 那 么 除了 与 p 距离 最 远 的 点 以 外 ， 其 余 各 点 都 是 po 与 该 最 远 点 的 凸 组 合 。 因 
此 ， 我 们 可 以 完全 不 考虑 这 些 点 。 设 m 表示 除 p。o 以 外 剩余 的 点 的 数目 。Q 中 每 个 点 关于 po 的 极 
角 ( 用 弧度 表示 ) 属 于 半 开 区 间 L0，xr) 。 由 于 这 些 点 是 按 其 极 角 排 序 ， 因 此 可 以 把 这 些 点 按 相 对 于 
Po HUBERT ETT BETTE. FETA RRA A Dis Por s Pro TER, A pi 和 pm 都 
是 CHCQ) 中 的 顶点 (参见 练习 33. 3-1). A 33-7(a) 说 明了 图 33-6 中 的 点 是 按 相 对 于 po 的 极 角 进 
行 递 增 排序 得 到 的 序列 。 

过 程 的 剩余 部 分 运用 了 栈 S。 第 5 一 8 行 对 栈 进行 初始 化 ， 使 其 从 底部 到 顶部 依次 包含 前 三 
TA pos pi 和 p B 33-7(a) 说 明了 初始 的 栈 S。 第 9 一 12 行 的 for 循环 对 序列 (ps，ps，…，p,,) 
中 的 每 一 个 点 进行 一 次 迭代 。 算 法 的 意图 是 在 对 点 p: 进行 处 理 后 ， 在 栈 S 中 ， 由 底部 到 顶部 依 
次 包含 CAC po。，P1，…，p;} ) 中 按 道 时 针 方 向 排列 的 各 个 顶点 。 第 10~11 行 的 while 循环 把 所 
发 现 的 不 是 凸 包 中 的 顶点 的 点 从 栈 中 移 去 。 当 沿 逆 时 针 方 向 遍历 凸 包 时 ， 我 们 应 该 在 每 个 顶点 
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处 向 左 转 。 因 此 ， 每 当 while 循环 发 现在 一 个 顶点 处 没有 向 左 转 时 ， 就 把 该 顶点 从 栈 中 弹出 。 
( 仅 检 查 不 向 左 转 的 情况 ， 而 不 是 对 向 右 转 进 行 检查 ， 这 样 的 测试 就 排除 了 在 所 形成 凸 包 的 某 个 
顶点 处 为 直角 的 可 能 性 。 一 个 凸 多 边 形 的 每 个 顶点 不 能 是 该 多 边 形 中 其 他 顶点 的 凸 组 合 ， 所 以 
我 们 不 希望 有 直角 。) 当 算法 向 点 p; 推进 并 已 经 弹出 了 所 有 非 左 转 的 顶点 后 ， 就 把 p 压 人 栈 中 。 
图 33-7(b) 一 (k) 给 出 了 for 循环 每 次 迭代 后 ， 栈 S 的 状态 。 最 后 ，GRAHAM-SCAN 在 第 13 行 返 
回 栈 S。 相 应 的 凸 包 如 图 33-7(D 所 示 。 

下 面 的 定理 形式 化 证 明了 GRAHAM-SCAN 算法 的 正确 性 。 

定理 33. 1(Graham 扫描 算法 的 正确 性 ) ”如 果 在 一 个 |Q| 宇 3 的 点 集 Q 上 运行 GRAHAM 
SCAN， 则 在 过 程 终止 时 ， 栈 S 从 底部 到 顶部 包含 了 按 着 时 针 方 向 排列 在 CH(Q) 中 的 各 个 顶点 。 
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图 33-7 GRAHAM-SCAN 在 图 33-6 所 示 的 集合 Q 上 的 执行 过 程 。 在 每 一 步 中 ， 栈 S 中 包含 的 当前 凸 包 
以 灰色 示 出 。(a) 点 序列 (p1 ，ps，…，pis)， 按 相对 于 点 po 的 极 角 大 小 的 递增 顺序 编号 ， 初 始 
的 栈 SPES pos pi 和 乌 。(b) 一 (lo) 是 第 9 一 12 行 中 for 循环 每 一 次 迭代 后 栈 S 的 情况 。 虚 线 
ZARA NTL, SRO PR. PN, FEC, fA dr psp 处 的 右 转 使 得 ps 被 弹 
出 ， 接 着 角 和 pe pr po 处 的 右 转 使 得 pr 被 弹出 。(D 过 程 返回 的 凸 包 与 图 33-6 中 的 凸 包 匹配 
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Æ 33-7 (48) 


证 明 在 第 2i, RIAI] D» bzs tts Pads X i52, 3, s m, M-TH 
FÆQS({p> hs s DB}. Q-Q, 中 的 点 是 那些 被 删除 的 点 ， 因 为 它们 与 Q。 中 的 某 个 点 相对 
于 po 的 极 角 相同 ; 这些 点 不 在 CH(Q) 中 ， 因而 CH(Q,) =CHCQ)。 于 是 ， 我 们 只 要 证 明 当 
GRAHAM-SCAN 终止 时 ， 栈 S 中 包含 了 CHCQ,) 中 的 顶点 ， 且 这 些 顶 点 是 按照 道 时针 顺 序 从 底 
部 至 顶部 在 栈 中 排列 的 。 注 意 ， 正 如 po， 和 p 是 CH(Q) 中 的 顶点 一 样 ，p。、pl Mp 也 是 
CHCQ:) 中 的 顶点 。 

证 明 中 要 用 到 如 下 的 循环 不 变 式 : 

在 第 9 一 12 行 中 for PARNE- EAR HAN, R S 从 底部 至 顶部 恰 包 含 了 CH(Q; 1) 中 按 
逆 时 针 上 顺序 排列 的 各 个 顶点 。 

初始 化 : 在 首次 执行 第 9 行 时 ， 这 个 循环 不 变 式 得 到 保持 ， 因 为 此 时 栈 S PREET QQ 


608 。 第 七 部 分 算法 问题 选编 


1032 
l 
1034 


1035 


中 的 顶点 ， 这 三 个 顶点 的 集合 形成 了 它们 各 自 的 凸 包 。 此 外 ， 它 们 按 逆 时 针 排 序 ， 从 底 至 项 地 出 
现在 栈 S 中 。 

保持 : 进行 for 循环 的 一 层 迭 代 后 ， 栈 S 顶 上 的 点 为 上 mi ， 它 是 在 上 一 次 迭代 最 后 (或 在 第 
一 次 迭代 开始 之 前 ， 当 这 3 时 ) 被 压 和 人 栈 的 。 设 第 10 一 11 行 中 while 循环 执行 后 、 第 12 行将 p: 
压 人 栈 之 前 ， 栈 S 顶部 的 点 为 p;。 设 pi ARS PRES, 之 下 的 点 。 在 p 成 为 栈 顶 点 且 尚 未 将 
p: EARI, BS 中 包含 了 与 for 循环 的 第 7 次 迭代 后 一 样 的 点 。 因 此 ， 根 据 循环 不 变 式 ， 在 该 
时 刻 ， 栈 S 中 恰 包 含 了 CH(CQ:) 中 的 顶点 ， 它 们 按 逆 时 针 顺 序 自 底 向 上 地 出 现在 栈 中 。 

我 们 继续 关注 当 p 被 压 人 栈 之 前 的 这 一 时 刻 。 我 们 已 经 知道 ，p; 相对 于 po 的 极 角 大 于 D; 
WR. HAA Ap): 是 向 左 转 的 (否则 p 已 经 被 弹出 )。 从 图 33-8(a) 中 可 以 看 出 ， 由 于 Sta 
包含 了 CH(Q) 中 的 顶点 ， 因 此 , 一 旦 压 入 p;， 栈 S 中 恰 包 含 了 CH(QU {zp;}) 中 的 顶点 ， 并且 
这 些 点 仍然 按 道 时 针 顺 序 自 底 向 上 地 出 现在 栈 中 。 





图 33-8 GRAHAM-SCAN 的 正确 性 的 证 明 过 程 。(a) 因 为 pi 相对 于 po 的 极 角 大 于 p; 
Wik, RANA Zhi: 是 向 左 转 的 ， 所 以 将 p: 加 入 CH ) 中 就 得 到 
CH(Q U (pi)) 中 的 各 顶点 。(b) 如 果 角 ppip; 执行 的 是 非 左 的 转向 ， 则 p 
或 者 是 在 由 p。，p,; Ap: 所 构成 的 三 角形 内 部 ,或 者 是 在 该 三 角形 的 一 条 边 
上 ， 它 不 可 能 是 CH(CQ:) 的 一 个 顶点 
现在 ， 我 们 已 经 证 明了 CH(Q;U{p;)) 与 CH(Q,) 是 同一 个 点 集 。 考 虑 任意 一 个 在 for 循环 的 
第 i 次 迭代 中 被 弹出 的 点 2p,， 设 p, 为 p, 被 弹出 时 栈 S PREE p, 下面 的 点 (p, 可 以 是 p;)。 角 
Zb-b.d: 所 做 的 是 非 左 转向 ， 而 p 相对 于 po 的 极 角 大 于 p, 的 极 角 ， 如 图 33-8(b) 所 示 ，p, 必定 
EH po. p, 和 zp; 构成 的 三 角形 内 部 ， 或 者 在 这 个 三 角形 的 某 一 条 边 上 (但 它 不 是 该 三 角形 的 一 
STR). BR, AT p 在 一 个 由 Q; 的 其 他 三 个 点 所 构成 的 三 角形 内 部 ， 故 不 可 能 是 CH(Q;) 的 
一 个 顶点 。 正 是 因为 p, 不 是 CH(Q) 的 一 个 顶点 ， 所 以 有 : 
CH(Q; — {p,}) = CH(Q,) (33.1) 
设 已 为 for 循环 的 第 i 次 迭代 中 弹出 点 的 集合 。 由 于 等 式 (33.1) 适 用 于 已 中 的 所 有 点 ， 因 此 ， 
可 以 反复 地 应 用 它 来 说 明 CH(Q 一 P;) 二 CH(Q;)。 但 是 ，Q; 一 P; 二 QU 1{p;}， 于 是 可 得 结论 
CH(Q, U {p;}) = CHQ — P») = CH) 
上 面 已 经 证 明了 一 旦 将 已 EARE, RS PRA CH(Q) PH TLR, FF A sew aT Et AF 
自 栈 底 向 上 排列 。 增 加 :的 值 将 使 得 循环 不 变 式 对 下 一 次 迭代 也 保持 成 立 。 
终止 : 当 循 环 终止 时 ， 有 i 二 mr 十 1， 因 而 ， 循 环 不 变 式 意味 着 栈 S 中 恰 包 含 了 CHC.) 
CH(Q)) 中 按 逆 时 针 顺 序 从 栈 底 向 上 排列 的 顶点 。 a 
现在 来 证 明 GRAHAM-SCAN 的 运行 时 间 为 Ol(nlg n)， 其 中 n= 二 |1Q| 。 执 行 第 1 行 代码 需要 
@(n) 的 时 间 。 运 用 归并 排序 或 堆 排序 对 极 角 进行 排序 ， 并 用 33. 1 节 中 的 叉 积 方法 对 极 角 进行 比 
较 ， 执行 第 2 行 代码 所 需 的 时 间 为 Olgan. HRE n TA. 我 们 可 以 在 O(n lg nn) 的 时 间 内 去 
掉 除 最 远 点 外 所 有 极 角 相同 的 点 。) 第 5 一 8 行 执行 时 间 为 0(1)。 因 为 mn 一 1， 所 以 第 9~12 行 
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for 循 环 至 多 执行 n 一 3 次 。 因 为 PUSH 的 执行 时 间 为 OC), WMA, RTEZ 10~11 行 while 
循环 上 的 时 间 外 ， 每 一 次 迭代 需要 0O(1) 的 时 间 。 于 是 ， 除 去 执行 嵌 套 while 循环 所 需 的 时 间 外 ， 
整个 for 循环 的 执行 时 间 为 OCn)。 

下 面 运用 聚合 分 析 方 法 来 证 明 执行 整个 while 循环 所 需 的 时 间 为 On). 。 对 i=0, 1, ++, m, 
每 个 点 pi 压 人 栈 S 一 次 。 和 在 17. 1 节 中 对 过 程 MULTIPOP 的 分 析 类 似 ， 注 意 到 我 们 所 能 执行 
的 POP 操作 的 次 数 至 多 与 PUSH 次 数 相 同 。 至 少 有 三 个 点 (p。、p1 和 如) 不 会 从 栈 中 弹出 ， 所 以 
事实 上 总 共 至 多 执行 m 一 2 次 POP HE., While 循环 中 每 次 迭代 时 执行 一 次 POP 操作 ， 因 此 ， 
while 循环 总 共 至 多 执行 m—2 次 迭代 。 由 于 第 10 行 的 测试 所 需 时 间 为 0(1)， 每 次 调用 POP 所 
需 的 时 间 为 O(1)， 且 m<n—1, RW while 循环 所 需 的 全 部 时 间 为 O(n)。 因 此 ， 过 程 
GRAHAM-SCAN 的 运行 时 间 为 O(nlgn)。 

Jarvis 步 进 法 

Jarvis 步 进 法 运用 一 种 称 为 打包 (package wrappjng) 或 包装 礼物 (gift wrapping) 的 技术 来 计算 
一 个 点 集 Q@ 的 凸 包 。 算 法 的 运行 时 间 为 O(nh)， 其 中 是 CH(Q@) 中 的 顶点 数 。 当 hh 为 oC(lgnn) 时 ， 
Jarvis 步 进 法 在 渐 近 意义 上 比 Graham 扫描 法 更 快 。 

从 直观 上 看 ， 可 以 把 Jarvis 步 进 法 看 做 是 在 集合 Q 的 外 面 紧 紧 地 包 了 一 层 纸 。 开 始 时 ， 把 纸 
的 末端 钉 在 集合 中 最 低 的 点 上 ， 即 钉 在 与 Graham 扫描 法 相同 的 起 始点 如 上。 该 点 为 凸 包 的 一 
个 顶点 。 把 纸 拉 向 右边 使 其 绷 紧 ， 然 后 再 把 纸 拉 高 一 些 ， 直 到 碰 到 一 个 点 。 该 点 也 必定 是 凸 包 的 
一 个 顶点 。 使 纸 保持 绷 紧 状态 ， 用 这 种 方法 继续 围绕 顶点 集合 ， 直 至 回 到 起 始点 poo 

更 形式 化 地 说 ，Jarvis 步 进 法 构造 了 CH(Q) 的 顶点 序列 H= pis > Prads po 为 起 始 
点 。 如 图 33-9 所 示 ， 下 一 个 凸 包 顶 点 p 具有 相对 于 po 的 最 小 极 角 。( 如 果 有 数 个 这 样 的 点 ， 就 选 
取 距 离 p 最 远 的 点 作为 pi 。) 类 似 地 ，ps 具有 相对 于 p 的 最 小 极 角 ， 依 此 类 推 。 当 到 达 最 高 顶点 ， 
如 p.( 如 果 有 数 个 这 样 的 点 ， 则 选取 距离 最 远 的 点 ) 时 ， 我们 已 经 构造 好 了 CH(Q) 的 右 链 ， 如 
图 33-9 所 示 。 为 了 构造 其 左 链 ， 从 pi 开始 选取 相对 于 p 具有 最 小 极 角 的 点 作为 Paas (ACE x 
轴 是 原 z 轴 的 负 方 向 。 如 此 继续 下 去 ， 根 据 负 xz 轴 的 极 角逐 渐 形 成 左 链 ， 直 至 回 到 初始 顶点 p. 


Fete | 右 链 





图 33-9 Jarvis 步 进 法 的 操作 。 选 择 第 一 个 顶点 po 作为 最 低 的 点 。 下 一 个 顶点 pi 与 其 他 点 相 比 ， 


有 着 相对 于 po 的 最 小 极 角 。 接 着 ，ps 有 着 相对 于 pi 的 最 小 极 角 。 右 链 最 高 达到 最 高 点 
Ps。 接着 ,通过 找 相对 负 工 轴 的 最 小 极 角 将 左 链 构造 出 来 
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可 以 用 围绕 凸 包 的 一 次 扫除 来 实现 Jarvis 步 进 法 ， 也 就 是 说 ， 无 需 分 别 构造 左 链 和 右 链 。 在 
这 样 一 种 典型 的 实现 方法 中 ， 要 随时 记录 上 一 次 选取 的 凸 包 的 边 ， 并 要 求 凸 包 边 的 角度 序列 严 
格 递增 (在 0 一 2r 弧度 范围 内 ) 。 分 别 构造 左 、 右 链 的 优点 是 无 需 显 式 地 计算 角度 ，33. 1 节 介 绍 
的 技术 就 足以 用 来 对 角度 进行 比较 了 。 

如 果 正 确 地 执行 Jarvis 步 进 法 ， 其 运行 时 间 可 达到 O(nh)。 对 CH(Q 的 h 个 顶点 ， 都 需要 找 
出 具有 最 小 极 角 的 顶点。 如果 采用 33. 1 节 中 讨论 过 的 技术 ， 则 每 次 极 角 比 较 操 作 所 需 的 时 间 为 
O(1)。 正 如 9.1 节 所 示 ， 如 果 每 次 比较 操作 所 需 时 间 为 0(1)， 则 可 以 在 On) tT] A on 
值 中 的 最 小 值 。 因 此 ，Jarvis 步 进 法 的 运行 时 间 为 Olh). 


练习 

33.3-1 WEH: 在 过 程 GRAHAM-SCAN 中 ,点 pi 和 ps 必定 是 CH(Q) 的 顶点 。 

33.3-2 考虑 一 个 能 支持 加 法 、 比 较 和 乘法 运算 的 计算 模型 ， 用 该 模型 对 n 个 数 进行 排序 时 ， 其 
FRA QCnlgn)。 证 明 : 当 在 这 样 一 个 模型 中 有 序 地 计算 出 由 个 点 组 成 的 集合 的 凸 包 
时 ， 其 下 界 为 Q(nlgn)。 

33.3-3 已 知 一 个 点 集 Q,， 证 明 彼此 相距 最 远 的 点 对 必定 是 CH(Q 中 的 顶点 。 

33.3-4 ”对 一 个 给 定 的 多 边 形 P 和 在 其 边界 上 的 一 个 点 q，g 的 投影 是 满足 线段 qr 完全 在 P 的 边 
界 上 或 内 部 的 点 7 的 集合 。 正 如 图 33-10 所 示 ， 如 果 在 PP 的 内 部 存在 一 个 点 p， 它 处 于 
卫 的 边界 上 每 个 点 的 投影 中 ， 则 多 边 形 P 是 星 形 多 边 形 。 所 有 满足 这 种 条 件 的 点 p 的 集 
合 称 为 P 的 内 核 。 给 定 一 个 n 个 顶点 的 星 形 多 边 形 P， 它 的 各 个 顶点 已 按 逆 时 针 方向 排 
序 ， 试 说 明 如 何在 O(n) 的 时 间 内 计算 出 CH(Q)。 





(a) 


图 33-10 练习 33. 3-4 中 用 到 的 星 形 多边 形 的 定义 。(a) 一 个 星 形 多 边 形 。 从 p 
至 边界 上 任何 点 q 的 线段 仅 在 g 处 与 边界 相交 。(b) 一 个 非 星 形 多 边 
形 。 左 边 投影 区 域 为 4 的 投影 ， 而 右边 的 投影 区 域 为 gq' 的 投影 。 由 
于 这 些 区 域 是 不 相交 的 ， 故 内 核 为 空 


33.3-5 ”在 联机 凸 包 问题 (on-line convex-hull problem) 中 ， 每 次 只 给 出 由 个 点 所 组 成 的 集合 Q 
中 的 一 个 点 。 在 接收 到 每 个 点 后 ， 就 计算 出 当前 所 有 点 的 凸 包 。 显 然 ， 可 以 对 每 个 点 运 
行 一 次 Graham 扫描 算法 ， 总 的 运行 时 间 为 OG? lg 2) 。 试 说 明 如 何在 OC ) 时 间 内 解决 
AL lal a. 
*33.3-6 ” 试 说 明 如 何 实现 增 量 法 ， 以 在 Olg nn) 的 时 间 内 计算 出 个 点 的 凸 包 。 


33.4 寻找 最 近 点 对 
现在 来 考虑 一 下 在 n> 个 点 的 集合 Q 中 寻找 最 近 点 对 的 问题 。“ 最 近 ? 指 的 是 通常 意义 下 的 欧 


几 里 得 距离 : 点 i= (zi, 4) 和 Ps = (a> 多 ) 之 间 的 欧 几 里 得 距离 为 v (二 一 地 Yin Jfa 集 
合 Q@ 中 的 两 个 点 可 能 会 重合 ， 这 种 情况 下 ， 它 们 之 间 的 距离 为 0。 最 近 点 对 问题 可 以 应 用 于 交通 
控制 等 系统 中 。 为 检测 出 潜在 的 碰撞 事故 ， 在 空中 或 海洋 交通 控制 系统 中 ， 需 要 识别 出 两 个 距离 
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最 近 的 交通 工具 。 
在 暴力 搜索 最 近 点 对 的 算法 中 ， 只 需 简单 地 查看 所 有 (" ) 一 9(z) 个 点 对 。 本 节 将 介绍 一 种 


解决 该 问题 的 分 治 算法 ， 其 运行 时 间 可 以 用 大 家 熟悉 的 递归 式 T 二 2T(n/2) 十 O(n) 来 描述 。 
因此 ， 该 算法 的 运行 时 间 仅 为 O(nlg nn)。 

分 治 算法 

算法 每 一 次 递归 调用 的 输入 为 子 集 PCQ 以 及 数组 X 和 Y， 每 个 数组 均 包含 输入 子 集 P 的 所 
有 点 。 对 数组 叉 中 的 点 排序 ,使 其 z 坐标 单调 递增 ,类 似 地 ， 对 数组 Y 中 的 点 排序 ,使 其 y 坐 
标 单调 递增 。 注 意 ， 为 了 维持 O(nlg n) 的 时 间 界 ， 不 能 在 每 次 递归 调用 中 都 进行 排序 。 否 则 ， 运 
行 时 间 的 递归 式 就 变 为 T(n) 二 2T(n/2) 十 O(nlgn)， 其 解 为 T(n) 二 Olnlg?n)。( 利 用 练习 4. 6-2 
中 给 出 的 主 方法 ,。) 我 们 稍 后 将 会 看 到 如 何 运 用 “ 预 排 序 ” 来 维持 这 种 排序 性 质 ， 而 无 需 在 每 次 递归 
调用 中 都 进行 排序 。 

AA P., XAY 的 递归 调用 首先 检查 是 否 有 |P | 三 3 成立。 如果 有 ， 则 仅 执 行 上 述 的 暴力 


方法 : 对 所 有 { ) 个 点 对 进行 检查 ， 并 返回 最 近 点 对 。 如 果 |P| >3， 则 递归 调用 执行 如 下 分 


治 法 模式 。 

分 解 : 找 出 一 条 垂直 线 !/， 它 把 点 集 PP 对 分 为 满足 下 列 条 件 的 两 个 集合 Pi 和 Pr: 使 得 
[P.|=f|P|/21, |Prl=lL|P|/2), Pe 中 的 所 有 点 都 在 直线 :上 或 在 1 的 左 侧 ，Pr 中 的 所 有 点 
都 在 直线 上 或 在 7 的 右 侧 。 数 组 X 被 划分 为 两 个 数组 X 和 Xe, HAA Pr 和 Pr 中 的 点 ， 
并 按 z 坐标 单调 递增 的 顺序 进行 排序 。 类 似 地 ， 将 数组 Y 划分 为 两 个 数组 YL. AYR, THAD 
Pi 和 Pr 中 的 点 ， 并 按 y 坐标 单调 递增 的 顺序 进行 排序 。 

解决 : HE PROA Pi 和 PR 后 ， 再 进行 两 次 递归 调用 ， 一 次 找 出 Pi 中 的 最 近 点 对 ， 另 一 次 
RE Pr 中 的 最 近 点 对 。 第 一 次 调用 的 输入 为 子 集 已 、 数 组 X MYL 第 二 次 调用 的 输入 为 子 集 
Pr. Xr 和 Yr。 令 已 和 PR 返回 的 最 近 点 对 的 距离 分 别 为 6. Mòr HHE = mne, ôr). 

合并 : 最 近 点 对 要 么 是 某 次 递归 调用 找 出 的 距离 为 6 的 点 对 ， 要么 是 Pi 中 的 一 个 点 与 Pr 
中 的 一 个 点 组 成 的 点 对 。 算 法 确定 是 否 存 在 距离 小 于 6 的 一 个 点 对 ， 一 个 点 位 于 Pi 中 ， 另 一 个 
点 位 于 Pr 中 。 注 意 ， 如 果 存 在 这 样 的 一 个 点 对 ， 则 点 对 中 的 两 个 点 与 直线 ! 的 距离 必定 都 在 5 
单位 之 内 。 因 此 ， 如 图 33-11(a) 所 示 ， 它 们 必定 都 处 于 以 直线 1 为 中 心 、 宽 度 为 26 的 垂直 带 形 
区 域内 。 为 了 找 出 这 样 的 点 对 (如 果 存 在 )， 算 法 要 做 如 下 工作 : 

1. 建立 一 个 数组 Y， 它 是 把 数组 了 中 所 有 不 在 宽度 为 26 的 垂直 带 形 区 域内 的 点 去 掉 后 所 得 
的 数组 。 数 组 六 与 Y 一 样 ， 是 按 y 坐标 顺序 排序 的 。 

2. 对 数组 Y 中 的 每 个 点 p, 算法 试图 找 出 Y 中 距离 p 在 6 单位 以 内 的 点 。 下 面 将 会 看 到 ， 
在 Y 中 仅 需 考虑 紧 随 p 后 的 7 个 点 。 算 法 计算 出 从 p 到 这 7 个 点 的 距离 ， 并 记录 下 YY 的 所 有 点 
对 中 最 近 点 对 的 距离 $ 。 

3. 如 果 6 二 68， 则 垂直 带 形 区 域内 的 确 包 含 比 根 据 递 归 调 用 所 找 出 的 最 近 距 离 更 近 的 点 对 ， 
于 是 返回 该 点 对 及 其 距离 9 。 否 则 ， 返 回 函 数 的 递归 调用 中 发 现 的 最 近 点 对 及 其 距离 。 

上 述 描述 中 ， 省 略 了 一 些 对 获得 O(nlgn) 运 行 时 间 非 常 必 要 的 实现 细节 。 在 证 明 算法 的 正确 
性 以 后 ， 将 说 明 如 何 实现 算法 才能 获得 要 求 的 运行 时 间 。 

正确 性 

除 以 下 两 方面 外 ， 这 种 最 近 点 对 算法 的 正确 性 是 显而易见 的 。 第 一 ， 当 |P| 志 3 时 ， 将 递归 
调用 过 程 进行 到 底 ， 就 可 以 确保 不 会 解 仅 含 一 个 点 的 子 问 题 。 第 二 ， 仅 需 检 查 数组 Y' 中 紧 随 每 
个 点 请 后 的 7 个 点 。 现 在 就 来 证 明 这 条 性 质 。 
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假定 在 某 一 级 递归 调用 中 ， 最 近 点 对 为 pLEP,, pr€E Pr; 则 pr 和 pr 间 的 距离 6' 严 格 小 于 
Oo FR p 必定 在 直线 1 E, 或 者 在 1 左边 6 单位 之 内 。 类 似 地 ，pr 必定 在 直线 1 上， RAELA 
边 6 单位 之 内 。 此 外 ，pr 和 pr 相互 之 间 的 垂直 距离 也 小 于 6 单位 。 因 此 ， 正 如 图 33-11(a) 所 示 ， 
pr 和 pr 在 以 直线 7 为 中 心 线 的 6X26 和 矩形 区 域内 。( 在 该 矩 形 内 也 可 能 有 其 他 点 。) 

下 面 来 证 明 该 SX 28 矩形 区 域内 至 多 有 了 中 8 个 点 。 考 察 该 矩形 左 半 边 的 8X6 正方 形 。 因 
为 Pi 中 所 有 点 之 间 至 少 相距 6 单位 ， 所 以 该 正方 形 内 至 多 有 4 个 点 ， 图 33-11(b) 说 明了 原因 。 
类 似 地 ，PR 中 至 多 有 4 个 点 可 能 位 于 该 矩形 右 半边 的 6X6 正 方形 内 。 因 此 ，P 中 至 多 有 8 个 点 
可 能 位 于 该 X26 矩形 内 。( 注 意 ， 由 于 直线 上 的 点 既 可 能 属于 已 ， 也 可 能 属于 Pr MUER / 
上 至 多 有 4 个 点 。 如 果 有 两 对 重合 的 点 ， 每 对 包含 一 个 Pi 中 的 点 和 一 个 Pr 中 的 点 ， 且 其 中 一 
对 在 直线 /与 矩形 上 面 边 的 交点 处 ， 男 一 对 在 直线 /与 矩形 下 面 边 的 交点 处 ， 就 会 达到 上 述 
限制 。) 


重合 点 
ANE Pi, 
“ME Pp 


重合 点 
一 个 在 Pis 
一 个 在 Pa 





Ca) (b) 


图 33-11 在 证 明 最 近 顶 点 对 算法 仅 需要 检查 数组 Y 中 每 个 点 后 面 的 7 个 点 时 ， 所 涉及 的 一 些 关 键 概念 。 
(a) 如 果 pr E PL，pr EPer， 且 pr 和 pr 间 的 距离 小 于 6 单位 ， 则 它们 必定 位 于 一 个 以 直线 /为 
中 心 线 的 6X26 和 矩形 区 域内 。(b)4 个 两 两 之 间距 离 至 少 为 6 单位 的 点 是 如 何 位 于 同一 个 8X6 正 
方形 内 的 。 左 边 为 Pi 中 的 4 个 点 ， 右 边 为 Pe 中 的 4 个 点 。 在 6X28 的 矩形 区 域内 ， 如 果 直 线 
Z 上 示 出 的 点 是 重合 的 点 对 (其 中 一 个 点 在 PL 中 ， 另 一 个 在 Pr 中 )， 就 可 能 会 有 8 个 点 


在 说 明了 PP 中 至 多 可 能 有 8 个 点 位 于 该 矩形 中 后 ， 就 很 容易 看 出 ， 为 什么 只 需要 检查 数组 
Y 中 每 个 点 之 后 的 7 个 点 。 仍 假设 最 近 的 点 对 为 pr 和 pr， 并 (不 失 一 般 性 ) 假 设 在 数组 Y P, pi 
位 于 pr 之前。 那么， 即使 i 在 Y 中 尽 可 能 早 地 出 现 而 pr 尽 可 能 晚 地 出 现 ，pr 也 一 定 是 紧 随 
pi 的 7 个 位 置 中 的 一 个 。 由 此 ,证 明了 最 近 点 对 算法 的 正确 性 。 

算法 的 实现 与 运行 时 间 

正如 之 前 所 讨论 的 ， 我们 的 目标 是 得 到 关于 运行 时 间 的 递归 式 T(n) 二 2T(n/2) 十 O(n)， 其 
中 T() 是 在 包含 个 点 的 集合 上 算法 的 运行 时 间 。 主 要 困难 在 于 确保 传递 给 递归 调用 的 数组 
Xis Xr, Yi 和 Ye 按 适 当 的 坐标 进行 排序 ， 并 且 Y 按 y 坐标 进行 排序 。( 注 意 ， 如 果 某 次 递归 调 
用 接收 到 的 数组 和 已 经 排 好 序 ， 则 很 容易 在 线性 时 间 内 把 已 划分 为 P. M Pe.) 

关键 点 在 于 ， 在 每 次 调用 中 ， 我 们 希望 形成 一 个 已 排序 数组 的 有 序 子 集 。 例 如 ， 某 个 特定 调 
用 的 输入 为 子 集 已 和 按 y 坐标 排序 的 数组 Y。 将 PP 划分 为 Pi 和 PR 后 ， 需 要 在 线性 时 间 内 形成 
按 y 坐标 排序 的 数组 Y, 和 Yr。 我 们 可 以 将 这 种 方法 看 做 与 2. 3. 1 节 中 介绍 的 归并 排序 过 程 
MERGE 相反 的 过 程 : 把 一 个 已 排序 数组 分 成 两 个 有 序数 组 。 下 面 的 伪 代 码 给 出 了 这 种 思想 的 
实现 。 
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1 let Y,[1.. Y. length land Yp[1. . Y. length |be new arrays 
2 Y. length=Yp. length=0 

3 fori = 1 to Y. length 

4 if YLiJE P, 

5 Yi. length=Y_. length+1 

6 Y,YL. length ]=Y[i] 

T else Yg. length=Ypr. length+ 1 

8 YrlYr. length |=Y[i] 


我 们 仅仅 是 按 次 序 检查 数组 Y 中 的 点 。 如 果 一 个 点 了 [Li 在 Pi 中 ， 则 把 它 添加 到 数组 Y. 的 
末端 否则 ， 将 其 添加 到 数组 Ye 的 未 端 。 数 组 XL. Xe 和 了 也 可 以 用 类 似 的 伪 代 码 来 实现 。 
剩 下 的 首要 问题 是 如 何 对 点 进行 排序 。 我 们 对 点 进行 预 排序 ， 即 在 第 一 次 递归 调用 前 ， 对 所 
有 点 进行 一 次 排序 。 将 这 些 有 序数 组 传递 到 第 一 次 递归 调用 中 ， 在 那里 ， 根 据 需要 在 递归 调用 时 
对 其 进行 削减 。 虽 然 预 排序 使 运行 时 间 增 加 了 Ollga), 但 这 样 一 来 ， 除 递归 调用 外 ， 递 归 过 程 
的 每 一 步 仅 需 线性 时 间 。 如 果 令 T(n) 为 每 一 步 递归 的 运行 时 间 ，T'(n) 为 整个 算法 的 运行 时 间 ， 
则 工 02)= 二 Tw) 十 O(nlgn)， 并且 
2T(n/2)+O™) w n>3 
OW) wmRn<3 
Ault, Tin)=Olgn), T'(n) 二 O(nlgn)。 


练习 

33.4-1 Williams 教授 提出 了 一 个 方案 ， 可 以 在 最 近 点 对 算法 中 ， 只 检查 数组 Y 中 每 个 点 后 面 的 
5 个 点 ， 其 思想 是 ， 总 是 将 直线 /上 的 点 放 人 和 人 集合 Pi 中 。 那 么 ， 直 线 :上 就 不 可 能 有 一 
个 点 属于 Pi， 另 一 个 点 属于 Pe 的 重合 点 对 。 因 此 ， 至 多 可 能 有 6 个 点 处 于 6X26 的 矩 
形 内 。 这 种 方案 的 缺陷 何在 ? 

33. 4-2” 试 说 明 只 检查 数组 Y 中 跟随 在 每 个 点 后 的 5 个 数组 位 置 就 足够 了 。 

33.43 两 点 之 间 的 距离 除 欧 几 里 得 距离 外 ， 还 有 其 他 定义 方法 。 在 平面 上 ， 点 记 Mp 之 间 的 
Ln ERA FARAH: Cace |+| yi 一 yz1”")YW。 因 此 ， 欧 几 里 得 距离 实际 上 是 L E 
离 。 修 改 最 近 点 对 算法 ， 使 其 适用 于 L 距离 ， 也 称 为 曼哈顿 距离 (Manhattan distance), 

33. 4-4 已 知 平面 上 的 两 个 点 Di 和 pe» 它们 之 间 的 工 -距离 为 max( | 1 Xz | ’ |y -Ny | Ja 修 
改 最 近 点 对 算法 ， 使 其 适用 于 工 -距离 。 

33.4-5 假设 最 近 点 对 算法 里 QCz) 对 点 是 共 垂 线 的 。 试 说 明 如 何 确定 集合 PL 和 PR 以 及 如 何 确 
定 了 中 的 每 个 点 是 在 Pi 还 是 Pr 中 ， 从 而 使 最 近 点 对 算法 的 运行 时 间 保 持 OC lg n). 

33.46 ”对 最 近 点 对 算法 进行 修改 ， 使 其 能 避免 对 数组 Y 进行 预 排序 ， 但 仍然 能 使 算法 的 运行 时 
间 保 持 为 O(nlg n)。( 提 示 : 将 已 排序 的 数组 Y, AY, 加 以 合并 ， 以 形成 有 序数 组 Y。) 


思考 题 

33-1 (42%) 已 知 平面 上 的 点 集 Q， 我 们 用 归纳 法 来 定义 Q KAE Convex layer). Q 的 第 一 
凸 层 是 由 Q 中 属于 CHCQ) 顶点 的 那些 点 组 成 。 对 i>, EX Q; 由 把 Q 中 所 有 在 凸 层 
1，2，…，;i 一 1 中 的 点 去 除 后 所 剩余 的 点 构成 。 如 果 QAD, WARK iA 
CHQ); 否则 ， 第 i GETEX. 
a 写 出 一 个 运行 时 间 为 OG ) 的 算法 ， 以 找 出 n 个 点 所 组 成 的 集合 的 各 贞 层 。 
b. 证 明 : 在 对 nn 个 实数 进行 排序 所 需 时 间 为 QC(nlg nn) 的 任何 计算 模型 上 ,计算 个 点 的 凸 

层 需 要 Qnlgn) 时 间 。 
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33-2 


33-3 


33-4 


33-5 
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(最 大 层 ) 设 QQ 是 平面 上 xn 个 点 所 组 成 的 集合 。 如 果 有 zx 宇 zx H y 疡 >， 则 称 点 (z，y) 支 
配点 (z'，y)。Q 中 不 被 其 中 任何 其 他 点 支配 的 点 称 为 最 大 点 。 注 意 ，Q 可 以 包含 许多 最 
大 点 ， 可 以 把 这 些 最 大 点 组 织 成 如 下 的 最 大 层 。 第 一 最 大 层 Li 是 Q 中 最 大 点 构成 的 集合 。 


对 i>1, 第 ;最 大 层 L E U L 中 的 最 大 点 构成 的 集合 。 
假设 Q 包 含 个 非 空 的 最 大 层 ， 并 设 y; EL 中 最 左边 点 的 y 坐标 (i 二 1，2，…，&)。 
假定 Q 中 没有 两 个 点 有 相同 的 z 坐标 或 y 坐标 。 
Hl a, 
He (a, y CEQ 中 任意 点 的 左边 ， 并 且 其 y 坐标 与 Q@ 中 任何 点 的 y 坐标 
都 不 相同 。 设 Q' 二 QU{(z, }。 
b 设 ) 是 满足 <y 的 最 小 下 标 ， 除 非 y 二 %， 在 这 种 情况 下 , 令 j)=& 十 1。 证 明 Q' 的 最 
大 层 如 下 : 
。 若 j 过 k， 则 Q 的 最 大 层 与 Q 的 最 大 层 相同 ， 只 是 L 也 包含 (tz，y) 作 为 其 新 的 最 
ae 
。 若 j==k 十 1， 则 Q' 的 前 上 个 最 大 层 与 Q 的 相同 ， 但 此 外 ，Q' 有 一 个 非 空 的 第 A+ 1 最 
大 层 Liri={(z, Whe 
c 描述 一 种 时 间 为 O(nlg WERE, ITIVE OS n AWRA 的 各 最 大 层 。( 提 示 : 
把 一 条 扫除 线 从 右 向 左 移动 。) 
d 如 果 人 允许 输入 点 有 相同 的 z 坐标 或 y 坐标， 会 不 会 出 现 问题 ? 如果 会 ， 提 出 一 种 方法 
来 解决 这 一 问题 。 
(巨人 和 和 鬼 问 题 ) 有 nn 个 巨人 正 与 4 个 鬼 战斗 。 每 个 巨人 的 武器 是 一 个 质子 包 ， 它 可 以 用 
一 串 质子 流 射 中 鬼 来 把 鬼 消灭 。 质 子 流 沿 直线 行进 ， 在 击 中 鬼 时 就 终止 。 巨 人 决定 采取 下 
列 策略 。 他 们 各 自 寻 找 一 个 鬼 形成 个 巨人 - 鬼 对 ， 然 后 每 个 巨人 同时 向 各 自选 取 的 鬼 射 
出 一 串 质 子 流 。 我 们 知道 ， 质 子 流 互 相交 叉 是 很 危险 的 ， 因 此 ， 巨 人 选择 的 配对 方式 应 该 
使 质子 流 都 不 会 交叉 。 
假定 每 个 巨人 和 每 个 鬼 的 位 置 都 是 平面 上 一 个 固定 的 点 ， 并 且 没 有 三 个 位 置 共 线 。 
a 论证 存在 一 条 通过 一 个 巨人 和 一 个 鬼 的 直线 ， 使 得 直线 一 边 的 巨人 数 与 同一 边 的 鬼 数 
相等 。 试 说 明 如 何在 OCzlg 四 时 间 内 找 出 这 样 一 条 直线 。 
b 写 出 一 个 运行 时 间 为 OC lg n) 的 算法 ,使 其 以 不 会 有 质子 流 交叉 为 条 件 把 巨人 与 鬼 
配对 。 
(拾取 梯子 问题 ) Charon 教授 有 根 小 棍子 ， 它 们 以 某 种 方式 互相 释放 在 一 起 。 每 根 棍子 
都 用 其 端点 来 指定 ， 每 个 端点 都 是 一 个 有 序 的 三 元 组 ， 其 坐标 (z，y，z) 已 知 。 所 有 棍子 
都 不 是 垂直 的 。 他 希望 拾取 所 有 的 棍子 ， 但 要 满足 如 下 条 件 :一 次 一 根 地 挑 起 棍子 ， 当 一 
根 棍子 上 面 没有 压 着 其 他 棍子 时 ， 该 棍子 才 可 以 被 挑 起 。 
a. 给 出 一 个 过 程 ， 取 两 根 棍子 a Mb 作为 参数 ， 返 回 a 是 在 5 的 上 面 、 下 面 还 是 与 6 无关。 
b 给 出 一 个 有 效 的 算法 ， 用 于 确定 是 否 有 可 能 拾取 所 有 的 棍子 。 如 果 能 ， 提 供 一 个 拾取 
所 有 棍子 的 合法 顺序 。 
EREDA) 考虑 计算 平面 上 点 集 的 凸 包 问题 ， 但 这 些 点 是 根据 某 已 知 的 随机 分 布 取得 
的 。 有 时 ， 从 这 样 一 种 分 布 中 取得 的 个 点 凸 包 的 期 望 规模 为 DCOa-:)， 其 中 为 某 个 大 于 
0 的 常数 。 称 这 样 的 分 布 为 稀 玖 包 分 布 。 稀 疏 包 分 布 包括 以 下 几 种 : 
。 点 是 均匀 地 从 一 个 单位 半径 的 圆 面 中 取得 的 ， 凸 包 的 期 望 规模 为 Cn ) 。 
。 点 是 均匀 地 从 一 个 具有 上 条 边 的 凸 多 边 形 内 部 取得 的 (& 为 任意 常数 ) 。 凸 包 的 期 望 规模 
W OUgn). 
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。 点 是 根据 二 维 正 态 分 布 取得 的 。 凸 包 的 期 望 规模 为 @( Vign)。 

a 已 知 两 个 分 别 有 m 和 nz 个 顶点 的 凸 多 边 形 ， 说 明 如 何在 Ol 十 nw) 时 间 内 计算 出 全 部 
mn, SAAS (Bie A] 。 

b. 证 明 : SFR MR A tent, Ree OG) HT A 
计算 出 来 。( 提 示 : 采用 递归 方法 分 别 求 出 前 n/2 个 点 和 后 n/2 个 点 的 凸 包 ， 然 后 再 对 
结果 进行 合并 。) 


本 章 注 记 

本 章 只 是 刚刚 捧 开 了 计算 几何 学 算法 和 技术 这 一 神秘 面纱 的 一 角 。 有 关 计 算 几 何 学 的 参考 
书 很 多 ， 如 Preparata 和 Shamos[ 282], Edelsbrunner[99], LA O’ Rourkel 269 |. 

尽管 几何 学 从 古代 就 有 人 研究 了 ， 但 用 于 解决 几何 问题 的 算法 方面 的 发 展 相 对 来 说 却 是 比 
较 新 的 。Preparata 和 Shamos 指出 ， 最 早 的 用 于 描述 问题 复杂 性 的 记号 表示 是 由 CE. Lemoine 于 
1902 年 提出 的 。 当 时 ， 他 正 致 力 于 研究 欧 几 里 得 构造 ， 即 用 指南 针 和 尺子 所 做 的 构造 ， 并 设计 
出 了 5 条 原 语 : 将 指南 针 的 一 个 指针 放 在 某 一 给 定点 上 ， 将 指南 针 的 一 个 指针 放 在 某 一 给 定 的 线 
上 ， 画 一 个 圆 ， 使 尺子 的 边 通过 某 一 给 定 的 点 ， 画 一 条 直线 。Lemoine 对 完成 某 一 构造 所 需 的 原 
语 数 目 比 较 感 兴趣 ， 他 称 这 一 数目 为 该 构造 的 “简单 性 ”。 

33. 2 节 中 用 于 确定 任何 线段 是 否 相 交 的 算法 是 由 Shamos 和 Hoey [313] 提 出 的 。 

Graham 扫描 算法 的 原始 版 本 是 由 GrahamL150j] 给 出 的 。 打 包 算 法 是 由 Jarvis [189] 提 出 的 。 
Yao [359] 利 用 决策 树 计 算 模 型 ， 证 明了 凸 包 算法 运行 时 间 的 一 个 下 界 Oiler), SR 
点 数目 hh 考虑 在 内 时 ，Kirkpatrick 和 SeidelL206 ] 的 剪 枝 -搜索 算法 是 渐 近 最 优 的 ， 其 运行 时 间 为 
O(nlgh). 

用 于 寻找 最 近 点 对 -运行 时 间 为 O(n lg n) 的 分 治 算法 是 由 Shamos 提出 的 ， 并 出 现 于 
Preparata 和 Shamos[ 282]. Preparata 和 Shamos 还 证 明了 在 决策 树 模型 下 ， 该 算法 是 渐 近 最 
优 的 。 
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第 34 章 | 
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NP 完全 性 


迄今 为 止 ， 我 们 所 研究 的 所 有 算法 几乎 都 是 多 项 式 时 间 的 算法 : 对 于 规模 为 n 的 输入 ， 在 最 
坏 情况 下 的 运行 时 间 是 OC(xw)， 其 中 为 某 一 确定 常数 。 我 们 很 自然 地 会 想到 这 样 一 个 问题 ， 是 
否 所 有 的 问题 都 可 以 在 多 项 式 时 间 内 解决 ? 答案 是 否定 的 ! 例如 ， 著 名 的 “图 灵 停 机 问题 “， 不 管 
在 多 长 的 时 间 内 ， 都 不 能 被 任何 一 台 计 算 机 解决 。 另 外 ， 还 有 许多 可 以 在 多 项 式 时 间 内 解决 的 问 
题 ， 但 对 任意 常数 &， 它 们 都 不 能 在 OC(x*) 时 间 内 被 解决 。 一 般 来 说 ,我们 认为 在 多 项 式 时 间 内 
可 解 的 问题 是 易 处 理 的 问题 ， 在 超 多 项 式 时 间 内 解决 的 问题 是 不 易 处 理 的 问题 。 

本 章 的 主题 是 一 类 称 为 “NP 完全 ”的 有 趣 问 题 ， 它 的 状态 是 未 知 的 。 迄 今 为 止 ， 既 没有 人 找 
出 求解 NP 完全 问题 的 多 项 式 时 间 算 法 ， 也 没有 人 能 够 证 明 对 这 类 问题 不 存在 多 项 式 时 间 算 法 。 
这 一 所 谓 的 PANP 问题 自 1971 年 被 提出 以 后 ， 已 经 成 为 理论 计算 机 科学 领域 中 最 深奥 、 最 令 人 
费解 的 开放 问题 之 一 。 

AJLA NP 完全 问题 特别 诱 人 ， 因 为 它们 表面 上 看 起 来 和 我 们 已 知 的 可 以 用 多 项 式 时 间 算 法 
解决 的 问题 很 相似 。 在 下 面 列 出 的 每 一 对 问题 中 ， 一 个 是 可 以 用 多 项 式 时 间 算 法 来 解决 的 ， 另 一 
个 却 是 NP 完全 问题 ， 但 是 它们 之 间 的 区 别 看 起 来 却 是 微乎其微 的 。 

最 短 与 最 长 简单 路 径 在 第 24 章 中 ,我们 发 现 即 使 边 的 权 值 为 负 ， 也 可 以 在 有 向 图 G=, 
EF, Æ OCVE) 的 时 间 内 从 单一 源 顶 点 开始 找到 最 短路 径 。 然 而 ， 在 两 个 顶点 间 找 到 最 长 简单 
路 径 问 题 却 是 困难 的 。 也 仅仅 只 有 “确定 是 否 一 个 图 在 给 定数 量 的 边 中 包含 一 条 简单 路 径 ” 这 一 
问题 才 是 NP 完全 问题 。 

欧 拉 回路 与 哈密 顿 圈 ”即使 允许 不 止 一 次 访问 每 一 个 结 点 ,一 个 连通 有 向 图 G=(V, E) 
的 欧 拉 回路 (Euler tour) 只 是 一 个 能 路 过 G 中 的 每 一 条 边 一 次 的 圈 。 在 思考 题 22-3 中 ， 我 们 可 以 
确定 是 否 一 个 图 在 OC(E) 的 时 间 内 仅仅 有 一 个 欧 拉 回 路 ， 事实 上 ， 还 可 以 在 OC(E) 的 时 间 内 遍历 
欧 拉 回路 中 的 各 条 边 。 一 个 有 向 图 G 二 (V，E) 中 的 哈密 顿 圈 是 包含 V 中 每 一 个 顶点 的 简单 回路 。 
确定 一 个 有 向 图 中 是 否 包含 哈密 顿 圈 就 是 一 个 NP 完全 问题 。( 在 本 章 的 后 文中 ， 我 们 将 证 明确 
定 一 个 无 向 图 中 是 否 包 含 哈 密 顿 圈 是 一 个 NP 完全 问题 。) 

2-CNF 可 满足 性 问题 与 3-CNF 可 满足 性 问题 ”在 一 个 布尔 公式 中 ， 可 以 包含 这 样 一 些 成 分 : 
取 值 为 1 或 0 的 布尔 变量 ;布尔 连接 词 ， 如 入 (AND)、V (OR)、 一 (NOT); 括号 。 对 一 个 布尔 
公式 来 说 ， 若 存在 对 其 变量 的 某 种 0 和 1 的 赋值 ， 使 得 它 的 值 为 1， 则 此 布尔 表达 式 是 可 满足 
的 。 本 章 稍 后 将 更 加 形式 化 地 定义 这 些 术语 ， 但 是 非 形式 化 地 ， 若 布尔 公式 是 用 AND 连接 若干 
个 OR 子 句 ， 且 每 个 子 句 中 恰 有 个 布尔 变量 或 其 否定 形式 ， 则 称 它 为 k 合 取 范 式 或 &-CNF。 例 
如 ， 布尔 表达 式 (z1V 一 xz) 人 (一 zx1V z) A Or: V 一 zi) 是 属于 2-CNF 的 (满足 赋值 条 件 n=l, 
Zz 二 0，Zs 王 1)。 昌 然 可 以 确定 在 多 项 式 时 间 内 一 个 2-CNF 布尔 表达 式 是 否 是 可 满足 的 ， 但 是 稍 
后 我 们 将 会 发 现 “ 证 明 一 个 3-CNF 布尔 表达 式 是 否 是 可 满足 的 ?是 一 个 NP 完全 问题 。 

NP 完全 性 与 P 类 问题 和 NP 类 问题 

纵 观 本 章 内 容 ， 我 们 将 涉及 三 类 问题 : P 类 问题 、NP 类 问题 和 NPC 类 问题 ， 最 后 一 类 问题 
就 是 我 们 所 说 的 NP 完全 问题 。 这 里 ， 我 们 姑且 先 不 规范 地 描述 它们 ， 稍 后 将 形式 化 地 对 它们 进 
行 定义 。 

P 类 问题 就 是 在 多 项 式 时 间 内 可 以 解决 的 问题 。 更 为 确切 地 说 ， 这 些 问 题 可 以 在 时 间 OE) 
内 解决 ， 其 中 为 某 一 常量 ,nn 是 此 问题 输入 的 规模 。 前 面 所 讨论 的 大 多 数 问 题 为 P 类 问题 。 
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NP 类 问题 是 指 那些 在 多 项 式 时 间 内 可 以 被 证 明 的 问题 。 那 么 所 谓 的 “可 被 证 明 ” 又 是 什么 意 
思 呢 ? 即 如 果 已 知 一 个 问题 解 的 证 书 Ccertificate)， 那 么 可 以 证 明 此 问题 在 该 输入 规模 下 能 在 多 
项 式 时 间 内 解决 。 例 如 ， 在 哈密 顿 圈 问 题 中 ， 给 定 一 个 有 向 图 G=(V，E)， 证 书 是 一 个 含有 


LV |S ASP Co» ws ws “s Viv) ds 我 们 可 以 轻易 地 证 明 (v，wv41)EE( 其 中 i==1,2， 
3,，…，|V| 一 1),， 同样 也 可 以 证 明 (viv! ，w)EE。 再 看 另 一 个 例子 ， 对 于 3-CNF 可 满足 性 问 
题 ， 一 个 证 书 可 以 是 对 一 组 变量 的 一 个 赋值 。 我 们 可 以 在 多 项 式 时 间 内 检验 这 一 赋值 是 否 满足 
此 布尔 表达 式 。 


所 有 的 P 类 问题 同时 也 是 NP 类 问题 ， 因 为 如 果 一 个 问题 是 P 类 问题 ， 那 么 不 用 任何 证 书 就 
可 以 在 多 项 式 时 间 内 解决 它 。 我 们 稍 后 将 会 把 这 一 概念 形式 化 ， 但 是 现在 我 们 可 以 暂且 相信 有 
PCNP。 至 于 了 类 问题 是 否 是 NP 类 问题 的 真子 集 ， 在 目前 是 一 个 开放 的 问题 。 

非 形式 地 ， 如 果 一 个 NP 问题 和 其 他 任何 NP 问题 一 样 “ 不 易 解 决 "*， 那 么 我 们 认为 这 一 问题 
是 NPC 类 问题 或 称 之 为 NP 完全 问题 。 本 章 稍 后 将 会 形式 化 地 定义 什么 是 所 谓 的 “和 其 他 NP 问 
题 一 样 “ 不 易 解 决 '”。 同 时 ， 我 们 将 不 加 证 明 地 宣称 : 如 果 任 何 NP 完全 问题 可 以 在 多 项 式 时 间 
内 人 解决， 那么 所 有 NP 问题 都 有 一 个 多 项 式 时 间 算 法 。 大 多 数 从 事理 论 研究 的 计算 机 科学 家 认为 
NP 完全 问题 是 “不 易 解 决 ” 的 ， 因 为 迄今 为 止 研究 过 的 NP 完全 问题 非常 之 多 ,但 还 没有 任何 人 
发 现任 何 一 个 问题 的 多 项 式 时 间 解 决 方案 。 因 此 ， 如 果 所 有 NP 完全 问题 都 能 在 多 项 式 时 间 内 解 
决 ， 那 将 是 令 人 震惊 的 。 然 而 ， 尽 管 迄 今 为 止 ， 人 们 付出 大 量 的 努力 来 证 明 NP 完全 问题 是 不 易 
解决 的 ， 但 却 没 有 一 个 结论 性 研究 成 果 ， 所 以 我 们 不 能 排除 NP 完全 问题 实际 上 可 以 在 多 项 式 时 
间 内 求解 的 可 能 性 。 

要 成 为 一 名 优秀 的 算法 设计 者 ， 就 一 定 要 懂得 NP 完全 问题 的 基本 原理 。 如 果 读 者 能 够 确定 
一 个 NP 完全 问题 ， 就 可 以 提供 充分 的 论据 说 明 其 不 易 处 理性 。 作 为 一 名 工程 师 ， 更 好 的 办 法 就 
是 花 时 间 开 发 一 种 近似 算法 ( 见 第 35 章 ) 或 解决 某 种 易 处 理 问题 的 特例 ， 而 不 是 寻找 求 得 问题 确 
切 解 的 一 种 快速 算法 。 此 外 ， 从 表面 上 看 ， 很 多 固有 而 有 趣 的 问题 并 不 比 排序 、 图 的 搜索 或 者 网 
络 流 问题 更 难 ， 但 事实 上 ， 它 们 却 是 NP 完全 问题 。 因 此 ， 熟 悉 这 类 问题 是 十 分 重要 的 。 

证 明 NP 完全 问题 概述 

在 证 明 某 一 个 特定 的 问题 是 NP 完全 问题 时 ， 我们 所 采用 的 技术 与 本 书 中 大 部 分 内 容 里 设计 
和 分 析 算 法 时 用 到 的 技术 都 有 所 不 同 。 之 所 以 会 产生 这 样 的 差别 ， 有 一 个 根本 的 原因 : 当 证 明 一 
个 问题 为 NP 完全 问题 时 ， 我 们 是 在 陈述 它 是 一 个 多 么 困难 的 问题 (或 至 少 我 们 认为 他 有 多 难 ) 。 
我 们 并 不 是 要 证 明 存 在 某 个 有 效 的 算法 ， 而 是 要 证 明 不 太 可 能 存在 有 效 的 算法 。 从 这 样 的 角度 
RA, NP 完全 性 证 明和 8. 1 节 中 “对 任何 比较 排序 算法 的 运行 时 间 下 界 Q(Czlgz)” 的 证 明 有 点 类 
似 。 然 而 ， 在 证 明 NP 完全 性 时 所 用 到 的 特殊 技巧 与 8. 1 中 所 用 的 决策 树 方法 却 是 大 相 径 庭 的 。 

在 证 明 一 个 问题 是 NP 完全 问题 时 ， 要 依赖 于 三 个 关键 概念 。 

判定 问题 与 最 优化 问题 

很 多 有 趣 的 问题 都 是 最 优化 问题 (optimization problem)， 其 中 每 一 个 可 行 的 解 ( 即 “合理 的 
解 ”) 都 有 一 个 关联 的 值 ， 我 们 希望 找 出 一 个 具有 最 佳 值 的 可 行 解 。 例 如 ， 在 一 个 称 为 
SHORTEST-PATH 的 问题 中 ,已 知 无 向 图 G 以 及 顶点 u 和 vw， 要 找 出 和 w 之 间 经 过 边 数 目 最 
少 的 一 条 路 径 。 换 句 话 说 ，SHORTEST-PATH 是 一 个 在 无 权 、 无 向 图 中 的 单 点 对 间 最 短路 径 问 
题 。 然 而 ，NP 完全 性 不 适合 直接 应 用 于 最 优化 问题 ， 但 适合 用 于 判定 问题 (decision problem), 
因为 这 种 问题 的 答案 是 简单 的 “是 ?或 “ 否 ”( 或 者 ， 更 为 形式 化 地 ， 答 案 是 “1? 或 “0”) 。 

尽管 证 明 一 个 问题 是 NP 完全 问题 会 将 我 们 的 目光 局 限于 判定 问题 ， 但 我 们 可 以 利用 最 优化 
问题 与 判定 问题 之 间 存 在 的 方便 关系 。 通 常 ， 通 过 对 待 优化 的 值 强加 一 个 界 ， 就 可 以 将 一 个 给 定 
的 最 优化 问题 转化 为 一 个 相关 的 判定 问题 了 了。 例如， 对 SHORTEST-PATH 问题 来 说 ， 有 一 个 相 
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关 的 判定 问题 ( 称 之 为 PATH)， 就 是 要 判定 给 定 的 有 向 图 G、 顶 点 4 和 wv、 一 个 整数 &， 在 w 和 ww 
之 间 是 否 存在 一 条 至 多 包含 条 边 的 路 径 。 

当 我 们 试图 证 明 最 优化 问题 “不 易 处 理 ” 时 ， 就 可 以 利用 该 问题 与 相关 的 判定 问题 之 间 的 关 
系 。 这 是 因为 ， 从 某 种 意义 上 来 说 ， 判 定 问题 要 “更 容易 一 些 ”， 或 至 少 “ 不 会 更 难 ”。 举 一 个 十 分 
典型 的 例子 ， 我 们 可 以 先 解决 SHORTEST-PATH 问题 再 将 找 出 最 短路 径 上 边 的 数目 与 相关 判 
定 问题 中 的 参数 进行 比较 ， 从 而 解决 PATH 问题 。 换 句 话说， 如 果 某 个 最 优化 问题 比较 容易 ， 
那么 其 相关 的 判定 问题 也 会 比较 容易 。 按 照 与 NP 完全 性 更 为 相关 的 方式 来 说 ， 就 是 如 果 我 们 能 
够 提供 证 据 表 明 某 个 判定 问题 是 个 困难 问题 ， 就 等 于 提供 了 证 据 表明 其 相关 的 最 优化 问题 也 是 
困难 的 。 因 此 ， 即 使 NP 完全 性 理论 限制 了 人 们 对 判定 问题 的 关注 ， 但 它 对 最 优化 问题 通常 还 是 
有 一 定 意义 的 。 

归 约 

上 述 有 关 证 明 问 题 不 难于 也 不 简单 于 另 一 个 问题 的 说 法 ， 对 两 个 问题 都 是 判定 问题 也 是 适 
用 的 。 我 们 可 以 把 这 一 思想 应 用 于 几乎 每 一 个 NP 完全 问题 的 证 明 中 ， 做 法 如 下 : 我 们 来 考虑 一 
个 判定 问题 A， 希 望 在 多 项 式 时 间 内 解决 该 问题 。 称 某 一 特定 问题 的 输入 为 该 问题 的 实例 
(instance)。 例 如 ，PATH 问题 中 的 实例 可 以 是 某 一 特定 的 图 G、G 中 特定 的 点 & 和 vw， 以 及 一 个 
特定 的 整数 上。 现在， 假设 有 另 一 个 不 同 的 判定 问题 B， 我 们 知道 如 何在 多 项 式 时 间 内 解决 它 。 
最 后 假设 有 一 个 过 程 ， 它 可 以 将 A 的 任何 实例 a 转化 成 B 的 具有 以 下 特征 的 某 个 实例 B: 

。 转换 操作 需要 多 项 式 时 间 。 

。 两 个 实例 的 解 是 相同 的 。 也 就 是 说 ，a RE”, SAMS B 的 解 也 是 “是 ”。 

我 们 称 这 一 过 程 为 多 项 式 时 间 归 约 算法 (reduction algorithm)， 并 且 如 图 34-1 所 示 ， 它 提供 了 一 
种 在 多 项 式 时 间 内 解决 问题 A 的 方法 : 

L 给 定 问题 A 的 实例 c， 利 用 多 项 式 时 间 归 约 算法 ， 将 它 转化 为 问题 B 的 一 个 实例 8。 

2. 在 实例 B86 上， 运行 B 的 多 项 式 时 间 判 定 算法 。 

3. 将 8 的 解 作 为 a 的 解 。 

只 要 上 述 过 程 中 的 每 一 步 只 需要 多 项 式 时 间 ， 则 所 有 三 步 合 起 来 也 只 需要 多 项 式 时 间 ， 这 样 ， 我 
们 就 有 了 一 种 在 多 项 式 时 间 对 a 进行 判断 的 方法 。 换 句 话 说， 通过 将 问题 A 的 求解 “ 归 约 ”为 对 
问题 B 的 求解 ， 就 可 以 利用 问题 B 的“ 易 求解 性 ?来 证 明 A 的 “ 易 求解 性 ”。 
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图 34-1 在 给 定 男 一 个 问题 B 的 多 项 式 时 间 判 定 算法 后 ， 如 何 利 用 多 项 式 时 间 归 约 算法 在 多 
项 式 时 间 内 解决 判定 问题 A。 将 A 的 实例 a 在 多 项 式 时 间 内 转换 为 B 的 实例 8， 在 
多 项 式 时 间 内 解决 B， 再 将 8 作为 a 的 解 


前 文 说 过 NP 完全 问题 是 为 了 反映 一 个 问题 有 多 难 ， 而 不 是 为 了 反映 它 有 多 容易 ， 因 此 ， 我 
们 以 相反 的 方式 来 利用 多 项 式 时 间 归 约 ， 从 而 说 明 某 一 问题 是 NP 完全 的 。 可 以 将 这 一 思想 进 一 
步 延 伸 ， 并 说 明 如 何 利用 多 项 式 时 间 的 归 约 问题 来 表明 对 某 一 特定 问题 B 而 言 ， 不 存在 多 项 式 
时 间 算 法 。 假 设 有 一 个 “判定 问题 *A， 我 们 已 经 知道 它 不 可 能 存在 多 项 式 时 间 算 法 。( 此 时 暂且 
不 考虑 如 何 找到 这 样 一 个 A。) 进 一 步 假设 有 一 个 多 项 式 时 间 的 归 约 ， 它 将 A 的 一 个 实例 转化 为 
一 个 B 的 实例 。 现 在 ， 可 以 用 反 证 法 来 证 明 B 不 可 能 存在 多 项 式 时 间 算 法 。 那 么 应 用 如 图 34-1 
所 示 的 方法 ,我 们 就 有 某 种 方法 能 在 多 项 式 时 间 内 解决 A， 而 这 与 A 没有 多 项 式 时 间 算 法 这 一 
假设 矛盾 。 
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至 于 NP 完全 性 ， 我 们 不 能 假设 问题 A 绝对 没有 多 项 式 时 间 算 法 。 然 而 ， 证 明 的 方法 是 类 似 
的 ， 即 在 问题 A 是 NP 完全 的 假设 下 ,证 明 问 题 B 是 NP 完全 的 。 

第 一 个 NP 完全 问题 

由 于 归 约 这 一 技巧 依赖 于 条 件 “ 已 知 一 个 NP 完全 问题 ?才能 去 解决 另 一 不 同 的 NP 完全 问 
题 ， 所 以 我 们 需要 找到 “第 一 个 ”NP 完全 问题 。 我 们 将 使 用 的 这 第 一 个 问题 就 是 电路 可 满足 性 问 
题 (circuit-satisfiability problem) ， 在 这 个 问题 中 , 已 知 一 个 由 AND, OR 和 NOT 门 所 组 成 的 布 
尔 组 合 电路 ， 我 们 希望 知道 这 个 电路 是 否 存在 一 组 布尔 输入 ， 能 够 使 它 的 输出 为 1。 我 们 还 会 在 
34. 3 节 中 证 明 这 一 问题 是 NP 完全 的 。 

本 章 内 容 概述 

本 章 主要 研究 NP 完全 性 对 算法 分 析 有 着 最 直接 影响 的 几 个 方面 。 在 34. 1 节 中 ， 要 对 “ 问 
题 "> 这 一 概念 做 形式 化 的 定义 ， 还 要 定义 复杂 类 P， 它 包含 了 多 项 式 时 间 内 可 解 的 判定 问题 。 同 
时 ， 我 们 还 要 看 看 这 些 概 念 是 如 何 对 应 到 形式 语言 理论 的 结构 框架 中 去 的 。34. 2 节 中 定义 了 关 
于 判定 问题 的 NP 类 ， 这 些 问题 解 可 以 在 多 项 式 时 间 内 进行 验证 。 在 本 节 中 ， 还 要 形式 化 地 提出 
PANP 这 一 问题 。 

34.3 节 主 要 讨论 如 何 通过 多 项 式 时 间 的 归 约 来 研究 问题 之 间 的 关系 。 它 定义 了 NP 完全 性 ， 
并 概述 了 一 个 被 称 为 “电路 可 满足 性 ”的 问题 是 NP 完全 问题 的 证 明 过 程 。 在 找 出 一 个 NP 完全 问 
题 之 后 ，34.4 节 中 要 讨论 如 何 利用 归 约 方法 ， 更 简便 地 证 明 其 他 一 些 问题 也 是 NP 完全 问题 。 通 
过 证 明 两 个 公式 可 满足 性 问题 是 NP 完全 的 ， 对 归 约 方法 加 以 说 明 。 另 外 ， 我 们 会 在 34. 5 节 中 
给 出 其 他 一 些 NP 完全 问题 。 


34. 1 多 项 式 时 间 

在 开始 研究 NP 完全 性 之 前 ， 先 来 形式 化 地 定义 一 下 多 项 式 时 间 可 解 问题 。 我 们 通常 都 把 这 
些 问 题 看 做 是 易 处 理 的 ， 其 原因 是 哲学 方面 的 ， 而 不 是 数学 的 。 我 们 可 以 提供 三 点 论据 : 

第 一 ， 虽然 把 所 需 运行 时 间 为 6(m”) 的 问题 作为 “难处 理 问 题 * 也 有 其 合理 之 处 ,但 在 实际 
中 却 只 有 极 少 数 问 题 需要 如 此 高 次 的 多 项 式 时 间 。 在 实际 中 ， 所 遇 到 的 典型 多 项 式 时 间 可 解 问 
题 所 需 的 时 间 要 少 得 多 。 经 验 表明 ， 一 旦 某 一 问题 的 第 一 个 多 项 式 时 间 算 法 被 发 现 后 ， 往 往 跟 着 
就 会 发 现 更 为 有 效 的 算法 。 即 使 对 某 个 问题 来 说 ， 当 前 最 佳 算法 的 运行 时 间 为 6(m”)， 也 很 有 
可 能 在 极 短 的 时 间 内 又 会 发 现 运 行 时 间 更 短 的 算法 。 

第 二 ， 对 很 多 合理 的 计算 模型 来 说 ， 在 一 个 模型 上 用 多 项 式 时 间 可 解 的 问题 ， 在 另 一 个 模型 
上 也 可 以 在 多 项 式 时 间 内 解决 。 例 如 ， 用 本 书 中 大 量 使 用 的 串 行 随机 存 取 计 算 机 在 多 项 式 时 间 
内 可 求解 的 问题 类 ， 与 抽象 的 图 灵机 上 在 多 项 式 时 间 内 可 求解 的 问题 类 是 相同 的 9 ， 而 且 ， 即 使 
处 理 器 数目 随 输 入 规模 以 多 项 式 增 加 ， 它 也 与 利用 并 行 计算 机 在 多 项 式 时 间 内 可 求解 的 问题 类 
相同 。 

第 三 ， 由 于 在 加 法 、 乘 法 和 组 合 运算 下 多 项 式 是 封闭 的 ， 因 此 ， 多 项 式 时 间 可 解 问题 具有 很 
好 的 封闭 性 。 例 如 ， 如 果 一 个 多 项 式 时 间 算法 的 输出 传送 给 另 一 个 多 项 式 时 间 算法 作为 输入 ， 则 
得 到 的 组 合算 法 仍 是 多 项 式 时 间 算 法 。 练 习 34. 1-5 要 求 读者 证 明 : 如 果 一 个 多 项 式 时 间 算 法 对 
另 一 个 多 项 式 时 间 的 子 程序 进行 常数 次 调用 ， 那 么 组 合算 法 的 运行 时 间 也 是 多 项 式 的 。 

抽象 问题 

为 了 理解 多 项 式 时 间 可 解 问题 类 ， 首 先 必须 对 所 谓 的 “问题 ”这 一 概念 进行 形式 化 定义 。 定 义 
抽象 问题 Q 为 在 问题 实例 集合 T 和 问题 解 集合 S 上 的 一 个 二 元 关系 。 例 如 ，SHORTEST-PATH 
的 一 个 实例 是 由 一 个 图 和 两 个 项 点 所 组 成 的 三 元 组 。 其 解 为 图 中 的 顶点 序列 ， 序 列 可 能 为 空 (两 


O 关于 图 灵机 模型 的 详细 讨论 ， 可 参考 Hopcroft 和 Ullman[180] 或 者 Lewis 和 Papadimitriou[ 236]. 
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个 顶点 间 不 存在 通路 )。SHORTEST-PATH 问题 本 身 就 是 一 个 关系 ， 它 把 图 的 每 个 实例 和 两 个 
顶点 与 图 中 联系 这 两 个 顶点 的 最 短路 径 联 系 在 了 一 起 ， 因 为 最 短路 径 不 一 定 是 唯一 的 ， 因 此 , 一 
个 给 定 的 问题 实例 可 能 有 多 个 解 。 

抽象 问题 的 这 个 形式 定义 对 我 们 的 要 求 来 说 显得 太 笼 统 。 为 了 简单 起 见 ，NP 完全 性 理论 把 
注意 力 集中 在 判定 问题 上 ， 即 那些 解 为 “是 ”或 “ 否 ” 的 问题 。 于 是 ,我 们 可 以 把 抽象 的 判定 问题 看 
做 是 从 实例 集 T 映 射 到 解 集 {0，1} 上 的 一 个 函数 。 例 如 ， 一 个 与 SHORTEST-PATH 有 关 的 判定 
问题 是 我 们 先前 见 到 过 的 较为 简单 的 PATH 问题 。 它 是 这 样 的 : 如果 i 二 (G，u，wv，&) 是 判定 问 
题 PATH 的 一 个 实例 ， 那 么 车 从 u Blu 的 最 短路 径 的 长 度 至 多 为 k 条 边 ， 则 PATH(i) 二 1( 是 )， 
否则 PATHGi) 二 0( 否 )。 许 多 抽象 问题 并 不 是 判定 问题 ， 而 是 最 优化 问题 ， 在 这 些 问 题 中 ， 某 些 
量 必须 被 最 大 化 或 最 小 化 。 然 而 ， 如 我 们 在 上 面 看 到 的 ， 将 最 优化 问题 转化 为 一 个 “判定 问题 ” 通 
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常 并 不 困难 。 

编码 

如 果 要 用 一 个 计算 机 程序 来 求解 一 个 抽象 问题 ， 就 必须 用 一 种 程序 能 理解 的 方式 来 表示 问 
题 实例 。 抽 象 对 象 集合 S 的 编码 是 从 S 到 二 进 制 串 集合 的 映射 ee 。 例 如 ， 我 们 都 熟悉 把 自然 数 
N={(0，1，2，3，4，…} 编 码 为 串 ({0，1，10，11，100，…}。 在 这 种 编码 方案 中 ，e(17) 一 
10001。 看 过 计算 机 键盘 上 字符 的 表示 法 的 人 都 会 熟知 ASCII 码 。 在 ASCII 码 中 ，A 的 编码 为 
1000001。 即 使 是 一 个 复合 对 象 ， 也 可 以 把 其 组 成 部 分 的 表示 进行 组 合 ， 从 而 把 它 编码 为 一 个 二 
进 制 串 。 多 边 形 、 图 、 函 数 、 有 序 对 、 程 序 等 都 可 以 编码 为 二 进 制 串 。 

因此 ,“ 求 解 ” 某 个 抽象 判定 问题 的 计算 机 算法 实际 上 是 把 一 个 问题 实例 的 编码 作为 其 输入 。 
我 们 把 以 二 进 制 串 集合 为 实例 集 的 问题 称 为 具体 问题 。 如 果 当 提供 给 算法 的 是 长 度 为 ”一 |:z| 的 
一 个 问题 实例 ; 时 ， 算 法 可 以 在 OCT(n)) 时 间 内 产生 问题 的 解 ， 我 们 就 说 该 算法 在 时 间 OCT) ) 
内 解决 了 该 具体 问题 。 因 此 ， 如 果 对 某 个 常数 &， 存 在 一 个 能 在 OC(m*) 时 间 内 求解 出 某 具体 问 
题 的 算法 ， 就 说 该 具体 问题 是 多 项 式 时 间 可 解 的 。 

现在 可 以 形式 化 地 定义 复杂 类 了 为 在 多 项 式 时 间 内 可 解 的 具体 判定 问题 的 集合 。 

我 们 可 以 利用 编码 将 抽象 问题 映射 到 具体 问题 上 。 给 定 一 个 抽象 判定 问题 Q， 其 映射 为 实例 
集合 I 到 {0，1);， 利 用 编码 e: I>{0，1}* 可 以 导出 与 该 问题 相关 的 具体 判定 问题 ， 用 e(Q) 来 表 
示 。 如 果 一 个 抽象 问题 实例 iE 了 的 解 为 QC(i)E1{0，1)}， 则 该 具体 问题 实例 e(i) € {0，1)* 的 解 
也 是 Q(i)。 在 技术 上 ， 二 进 制 串 可 能 表示 一 组 无 意义 的 抽象 问题 实例 。 为 了 方便 起 见 ， 假 定 任何 
这 样 的 串 都 映射 到 0。 因 此 ， 对 表示 抽象 问题 实例 的 编码 的 二 进 制 串 实例 ， 具 体 问 题 与 抽象 问题 
产生 同样 的 解 。 

我 们 希望 通过 编码 的 方式 把 多 项 式 时 间 可 解 性 的 定义 从 具体 问题 扩展 到 抽象 问题 ， 但 同时 
也 希望 这 一 定义 与 任何 特定 的 编码 无 关 ， 即 求解 一 个 问题 的 效率 不 应 依赖 于 问题 的 编码 。 遗 憾 
的 是 ， 实 际 上 这 种 依赖 性 是 相当 严重 的 ， 例 如 ， 假 定 把 一 个 整数 作为 一 个 算法 的 唯一 输入 ， 
并 假设 算法 的 运行 时 间 为 BC&) 。 如 果 提 供 的 整数 & 是 一 元 的 ( 即 由 & 个 1 组 成 的 串 ) ， 那 么 对 长 
度 为 的 输入 ,该 算法 的 运行 时 间 为 多 项 式 时 间 OCn)。 但 是 ， 如 果 采 用 更 自然 的 二 进 制 来 表 
示 整 数 &， 则 输入 长 度 为 n 二 Llgk] 十 1。 在 这 种 情况 下 ， 该 算法 的 运行 时 间 为 6(8) 二 8@(2”), È 
与 输入 规模 成 指数 关系 。 因 此 ， 根 据 编码 的 不 同 ， 算 法 的 运行 时 间 是 多 项 式 时 间或 超 多 项 式 
时 间 。 








O 的 陪 域 不 一 定 是 二 进 制 串 ; 定义 在 一 个 有 限 字 母 表 (至 少 包含 两 个 符号 ) 上 的 任何 串 集 都 是 可 以 的 。 

日 ”假定 此 算法 的 输入 是 独立 于 其 输出 的 。 由 于 我 们 至 少 需 要 一 个 时 间 步 来 产生 输出 的 每 一 位 ， 并 且 共 有 OCT) 
个 时 间 步 ， 所 以 输出 规模 为 OCT(z) ) 。 

© 我 们 将 用 {0，1)* 表示 所 有 由 集合 {0，1} 中 符号 构成 的 串 的 集合 。 
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因此 ， 对 一 个 抽象 问题 如 何 编 码 ， 对 理解 多 项 式 时 间 是 相当 重要 的 。 如 果 不 先 指定 编码 ， 就 
不 可 能 真正 谈 及 对 一 个 抽象 问题 的 求解 。 然 而 ， 在 实际 应 用 中 ， 如 果 不 采用 代价 高 昂 的 编码 (如 
一 元 编码 ) ， 则 问题 的 实际 编码 形式 对 问题 是 否 能 在 多 项 式 时 间 内 求解 的 影响 是 微不足道 的 。 例 
如 ， 因 为 在 多 项 式 时 间 内 ， 很 容易 将 三 进 制 表 示 的 整数 转化 为 二 进 制 表示 的 整数 ， 所 以 三 进 制 代 
替 二 进 制 表示 整数 对 问题 是 否 能 在 多 项 式 时 间 内 求解 没有 任何 影响 。 

对 一 个 函数 f: {0，1)" 一 {0，1}" ， 如 果 存 在 一 个 多 项 式 时 间 的 算法 A， 它 对 任意 给 定 的 输 
入 zxE1{0，1)" ， 都 能 产生 输出 FCz) ， 则 称 该 函数 是 一 个 多 项 式 时 间 可 计算 的 函数 。 对 某 个 问题 
实例 集 T， 如 果 存 在 两 个 多 项 式 时 间 可 计算 的 函数 fe 和 fa 满足 对 任意 iE€ET; 有 felaG)= 
ei), H fale @)=e@), 我 们 就 说 这 两 种 编码 wa 和 ez 是 多 项 式 相 关 的 2 。 也 就 是 说 ，e: (让) 可 
以 由 一 个 多 项 式 时 间 的 算法 根据 编码 ea (让) 求 出 ， 反 之 亦 然 。 如 果菜 一 抽象 问题 的 两 种 编码 e 和 
ez 是 多 项 式 相关 的 ， 则 如 下 面 引 理 所 述 ， 该 问题 本 身 是 否 是 多 项 式 时 间 可 解 与 选用 哪 一 种 编码 
无 关 。 

引 理 34.1 设 Q 是 定义 在 一 个 实例 集 工 上 的 一 个 抽象 判定 问题 ，el 和 es 是 了 上 多 项 式 相 关 
的 编码 ， 则 el(Q)EP 当 且 仅 当 e:(Q)EP。 

证 明 ”只 需要 证 明 一 个 方向 (本 证 明 中 取 正 向 )， 因 为 反 向 与 正 向 是 对 称 的。 假定 对 某 一 常数 
&，e(Q) 能 在 OG! ) 的 时 间 内 求解 。 进 一 步 ， 再 假定 对 任意 问题 实例 i 和 某 个 常数 <， 根据 编 码 
eli), AUEREA Ol) 内 计算 出 编码 e (i)， 其 中 n= 二 |e GD) | 。 为 了 在 输入 e CG) 上 求解 问题 
ez(Q)， 可 以 先 计 算出 e (i)， 然 后 在 输入 ea (i) 上 运行 关于 ea (Q) 的 算法 。 这 一 过 程 需 要 多 长 时 
间 ? 转换 代码 所 需 的 时 间 为 O(n')， 因 此 |e (i) | 二 Ox)， 这 是 因为 串 行 计算 机 的 输出 不 可 能 比 
其 运行 时 间 更 长 。 求 解 关于 e (的 问题 所 需 的 时 间 为 OC|e (让 1“) 二 Ol(n“)， 因 为 c 和 都 是 常 
数 ， 所 以 这 也 是 多 项 式 时 间 的 。 a 

综 上 所 述 ， 对 一 个 抽象 问题 的 实例 ， 无 论 采 用 二 进 制 或 三 进 制 来 进行 编码 ， 对 其 “复杂 
性 ?都 没有 影响 ， 也 就 是 说 ， 对 其 是 否 为 多 项 式 时 间 可 解 没 有 影响 。 但 是 ， 如 果 对 实例 进行 
一 元 编码 ， 则 其 复杂 性 可 能 会 变化 。 为 了 能 够 用 一 种 与 编码 无 关 的 方式 进行 描述 ， 一 般 都 假 
定 用 合理 的 、 简 洁 的 方式 对 问题 实例 进行 编码 ， 除 非 我 们 特殊 指明 。 更 准确 地 说 ， 我 们 将 假 
定 一 个 整数 的 编码 与 其 二 进 制 表 示 是 多 项 式 相 关 的 ， 并 且 一 个 有 限 集合 的 编码 与 其 相应 的 括 
在 括号 中 元 素 间 用 逗号 隔 开 的 列表 的 编码 是 多 项 式 相 关 的 (ASCII 码 就 是 这 样 的 一 种 编码 方 
案 )。 有 了 这 样 一 种 “标准 的 ?编码 ， 就 可 以 合理 地 推导 出 其 他 数学 对 象 (如 元 组 、 图 和 公式 
等 ) 的 编码 了 。 为 了 表示 一 个 对 象 的 标准 编码 ， 我 们 将 对 象 用 尖 括 号 括 起 来 ， 如 (G) 即 表示 
图 G 的 标准 编码 。 

只 要 隐 式 地 使 用 与 标准 编码 多 项 式 相关 的 编码 ， 就 可 以 避免 参照 任何 特定 的 编码 ， 而 直接 
讨论 抽象 问题 ， 因 为 我 们 知道 ， 选 取 哪 一 种 编码 对 问题 是 否 多 项 式 时 间 可 解 没 有 任何 影响 。 从 
本 章 起 ， 除 显 式 地 指明 其 他 情况 外 ， 我 们 一 般 假设 所 有 问题 实例 都 是 采用 标准 编码 的 二 进 制 
串 。 此 外 ， 我 们 也 将 忽略 抽象 问题 与 具体 问题 之 间 的 差别 。 但 是 ， 读 者 也 应 该 注意 对 实际 中 产 
生 的 某 些 问题 ， 其 标准 编码 并 非 是 显而易见 的 ， 并 且 ， 选 择 编码 方式 对 问题 的 求解 会 带 来 不 同 
的 影响 。 

形式 语言 体系 

关注 判定 问题 有 一 个 方便 之 处 ， 就 是 它们 使 得 形式 语言 理论 的 使 用 变 得 比较 容易 了 。 让 我 
们 先 来 回顾 一 下 这 一 理论 中 的 一 些 定义 。 字 母 表 沁 是 符号 的 有 限 集合 。 字 和 母 表 站 上 的 语言 工 是 





日 ”从 技术 上 说 ,我 们 还 要 求 函 数 fiz Al fa“ 将 非 实例 映射 到 非 实例 ”。 对 于 某 一 编码 e。e， 其 非 实例 是 指 一 个 串 
ZE {0，1)*， 使 得 没有 任何 实例 i 能 满足 eCi) 二 zx。 我 们 要 求 对 于 编码 el 的 每 个 实例 x， 都 存在 fixe) =y, FE 
中 yy 是 es 的 某 个 非 实例 ， 并且， 对 ez 的 每 个 非 实例 > ， 都 有 fn (2 ) 二 y， 其 中 yy 是 ei 的 某 个 实例 。 
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由 表 中 符号 组 成 的 串 的 任意 集合 。 例 如 ， 如 果 纪 = 二 {0，1}), RAL={10, 11, 101, 111, 1011, 
1101，10001} 是 关于 素数 的 二 进 制 表示 的 语言 。 我 们 用 se 表示 空 串 ， 用 y 表 示 空 语言 ， 之 上 所 有 
HMM aR AD’. Biden, WARO={0, 1}, WX*={e, 0, 1, 00, 01, 10, 11, 000, ++} 
PAU BMRA. DEA MAR LED 的 一 个 子 集 。 
我 们 可 以 把 多 种 运算 作用 于 语言 。 集 合 论 中 的 运算 (如 并 与 交 )， 其 直接 来 自 集 合 论 定义 。 定 
义工 的 补 为 二 9" 一 L。 两 种 语言 L! M L: HHA (concatenation) LiL: 是 语言 
L= {wr t a Ea ha E La 
语言 上 的 闭 包 (或 Kleene 星 ) 为 语言 
PHB ULUT UL Ua 
EP L EL 与 其 自身 进行 & 次 并 置 运算 后 得 到 的 语言 。 
从 语言 理论 的 观点 来 看 ， 任 何 判 定 问题 Q 的 实例 集 即 集合 >" ， 其 中 之 一 (0，1)} 。 因 为 Q 完 全 
是 由 解 为 1( 是 ) 的 问题 实例 来 描述 的 ， 因 而 可 以 把 Q 看 做 是 定义 在 之 二 (0，1) 的 一 个 语言 工 ， 其 中 
L={x€ Dd" : Q(z)=1} 
例如 ， 与 判定 问题 PATH 对 应 的 语言 为 
PATH ={(G,u,v,k):G = (V,E) 是 一 个 无 向 图 ,u,v EV,k 宇 0 是 一 个 整数 ， 
即 G 中 从 xz 到 vw 存在 一 条 长 度 至 多 为 k 的 路 径 》 
(在 对 问题 本 身 无 影响 的 时 候 ， 有 时 用 同一 个 名 称 ( 如 上 述 的 PATH) 来 表示 一 个 判定 问题 和 与 其 
相应 的 语言 。 
形式 语言 体系 可 以 用 来 表示 判定 问题 与 求解 这 些 问 题 的 算法 之 间 的 关系 。 如 果 对 给 定 输入 
Z， 算 法 输出 A(x) 二 1， 我 们 就 说 算法 A 接受 串 zE {0，1)* 。 被 算法 A 接受 的 语言 是 串 的 集合 
L={x€{0, 1}* : A(z) 二 1}， 即 为 算法 所 接受 的 串 的 集合 。 如 果 A(zx) 二 0， 则 算法 A 拒绝 
Bx. 
即使 语言 工 被 算法 A 所 接受 ， 该 算法 也 不 一 定 会 拒绝 输入 一 个 串 EL. PM, EAn 
能 会 永远 循环 下 去 。 如 果 工 中 每 个 二 进 制 串 只 是 被 算法 A 接受 或 拒绝 ， 则 称 语言 工 由 算法 A 判 
定 。 如 果 存 在 某 个 常数 有 ， 使 得 对 任意 长 度 为 n 的 串 zEL, 算法 A MA OC!) ARS x, Wik 
言 工 在 多 项 式 时 间 内 被 算法 A 接受 。 如 果 存 在 某 个 常数 有 ， 使 得 对 于 任意 长 度 为 n 的 串 
ZE{(0，1}， 算 法 A 可 以 在 时 间 O() 内 正确 地 判定 xE 工 ， 则 称 语言 工 在 多 项 式 时 间 内 被 算法 A 
判定 。 因 此 ， 要 接受 一 个 语言 ， 算 法 只 需 根据 提供 的 工 中 的 字符 串 给 出 一 个 答案 但 是 要 判定 某 
一 语言 ， 算 法 必须 正确 地 接受 或 者 拒绝 (0，1} 中 的 每 一 个 串 。 
例如 ， 语 言 PATH 就 能 够 在 多 项 式 时 间 内 被 接受 。 一 个 多 项 式 时 间 的 接受 算法 要 验证 G 是 否 编 
码 一 个 无 向 图 G, wu 和 w 是 否 是 G 中 的 顶点 。 利 用 广度 优先 搜索 计算 出 G 中 从 到 wv 的 最 短路 径 。 然 
后 把 得 到 的 最 短路 径 上 的 边 数 与 进行 比较 。 如 果 G 编 码 了 无 向 图 ， 并 且 从 到 ww 的 路 径 中 至 多 有 
条 边 ， 则 算法 输出 1 并 停机 。 否 则 ， 该 算法 永远 运行 下 去 。 但 是 ， 这 一 算法 并 没有 对 PATH 问题 进行 
判定 ， 因 为 对 最 短路 径 长 度 多 于 & 条 边 的 实例 ， 算 法 并 没有 显 式 地 输出 0。PATH 的 判定 算法 必须 显 
式 地 拒绝 不 属于 PATH 的 二 进 制 串 。 对 PATH 这 样 的 判定 问题 来 说 ， 很 容易 设计 出 这 样 一 种 判定 算 
法 : 当 不 存在 从 到 wv 至 多 包含 条 边 的 路 径 时 ,算法 不 是 永远 地 运行 下 去 ， 而 是 输出 0 并 停机 。 对 
于 其 他 的 一 些 问题 (如 图 灵 停机 问题 )， 存 在 接受 算法 ， 但 是 却 不 存在 判定 算法 。 
我 们 可 以 非 形式 地 定义 一 个 复杂 类 为 语言 的 一 个 集合 ， 某 一 语言 是 否 属于 该 集合 ， 可 以 通 
过 某 种 复杂 性 度量 来 确定 ， 比 如 一 个 算法 的 运行 时 间 ， 该 算法 可 以 确定 某 个 给 定 的 串 x 是 否 属 
于 语言 工 。 当 然 ， 复 杂 类 的 实际 定义 要 更 专业 一 些 2 。 


加 ”更 多 复杂 类 ， 请 参见 Hartmanis 和 Stearns[162] 的 那 篇 开创 性 文章 。 
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运用 上 述 的 形式 语言 理论 体系 ， 可 以 给 出 关于 复杂 类 P 的 另外 一 种 定义 : 
P= {LC {0,1}" :存在 一 个 算法 A, 可 以 在 多 项 式 时 间 内 判定 工 } 

事实 上 ， 己 也 是 能 在 多 项 式 时 间 内 被 接受 的 语言 类 。 

定理 34.2 P={L: 工 能 被 一 个 多 项 式 时 间 算 法 所 接受 }。 

证 明 因为 由 “多 项 式 时 间 算 法 判定 的 语言 类 ?是 “多 项 式 时 间 算 法 接受 的 语言 类 ”的 一 个 
子 集 ， 所 以 ， 我 们 仅 需 要 证 明 如 果 工 能 被 一 个 多 项 式 时 间 的 算法 所 接受 ， 它 也 能 够 被 一 个 多 
项 式 时 间 的 算法 所 判定 。 设 工 是 被 某 个 多 项 式 时 间 算 法 A 所 接受 的 语言 。 我 们 将 运用 经 典 
的 “模拟 ”论证 方法 ， 来 构造 男 一 个 能 够 判定 工 的 多 项 式 时 间 算 法 A'。 因 为 对 某 个 常数 &，A 
能 在 OC(ww*) 时 间 内 接受 工 ， 所 以 也 存在 一 个 常数 <， 使 得 A 至 多 在 cm 步 内 可 以 接受 工 。 对 任 
意 输入 的 串 zx， 算 法 A' 模 拟 A 在 cr: 步 内 的 操作 状态 ,在 cn Hla, 算法 A' 即 检查 算法 A 的 
行为 。 如 果 A 接受 了 xz， 则 A' 通 过 输出 1 来 接受 zx。 如 果 A 没有 接受 +， 则 A' 通 过 输出 0 来 
拒绝 z。A' 模 拟 A 的 运行 时 间 的 增长 不 会 大 于 一 个 多 项 式 因 子 ， 因 此 ，A' 是 一 个 能 判定 工 的 
多 项 式 时 间 算 法 。 a 

注意 ， 定 理 34.2 的 证 明 过 程 是 非 构造 性 的 。 对 于 一 个 给 定 的 语言 工 EP， 我 们 也 许 实际 上 并 
不 知道 接受 工 的 算法 A 的 运行 时 间 界 ， 然 而 ， 我 们 知道 这 样 的 一 个 界 是 存在 的 。 因 此 ， 我 们 知 
道 存在 着 能 够 检查 该 界 的 算法 A ， 只 是 这 一 算法 不 容易 找到 而 已 。 


练习 

34.1-1 定义 最 优化 问题 LONGEST-PATH-LENGTH 为 一 个 关系 ， 它 将 一 个 无 向 图 的 每 个 实 
例 、 两 个 顶点 与 这 两 个 顶点 间 的 一 条 最 长 简单 路 径 中 所 包含 的 边 数 联系 了 起 来 。 定 义 判 
定 问题 LONGEST-PATH = ((G, u, v, k)}: G=(V, )A—F HAA, u, vEV, 
k 宇 0 是 一 个 整数 ， 且 G PFEZA u 到 w 的 简单 路 径 ， 它 至 少 包含 & 条 边 } UE: 
最 优化 问题 LONGEST-PATH-LENGTH 可 以 在 多 项 式 时 间 内 解决 ， 当 且 仅 当 
LONGEST-PATHE P, 

34.1-2 ”对 于 在 无 向 图 中 寻找 最 长 简单 回路 这 一 问题 ， 给 出 其 形式 化 的 定义 并 给 出 其 相关 的 判定 
问题 。 另 外 ， 给 出 与 该 判定 问题 对 应 的 语言 。 

34.1-3 ”给 出 一 种 形式 化 的 编码 ， 它 利用 邻接 和 矩阵 的 表示 形式 ,将 有 向 图 编码 为 二 进 制 串 。 另 
gh, 再 给 出 利用 邻接 表 表 示 的 编码 。 论 证 这 两 种 表示 形式 是 多 项 式 相关 的 。 

34.1-4 练习 16.2-2 中 曾 要 求 读者 给 出 的 0-1 背包 问题 的 “动态 规划 算法 ”， 它 是 一 个 多 项 式 时 间 
的 算法 吗 ? 解释 你 的 答案 。 

34.1-5 证 明 : 对 于 一 个 多 项 式 时 间 的 算法 ， 当 它 调用 一 个 多 项 式 时 间 的 子 例 程 时 ， 如 果 至 多 调 
用 常数 次 ， 则 此 算法 以 多 项 式 时 间 运 行 ， 但 是 ， 当 进行 多 项 式 次 的 子 例 程 调用 时 ， 此 算 
法 就 可 能 变 成 一 个 指数 时 间 的 算法 。 

34.1-6 证 明 : 类 了 在 被 看 做 是 一 个 语言 集合 时 ， 在 并 集 、 交 集 、 连 结 、 补 集 和 KIeene 星 运 
算 下 是 封闭 的 。 也 就 是 说 ， 如 果 工 ，Ls EP, MLULEP, LANLEP, LL €P, 
LEP, L,* EP. 


34.2 多 项 式 时 间 的 验证 

现在 来 看 看 对 语言 成 员 进 行 “验证 ”的 算法 。 例 如 ， 假 定 对 判定 问题 PATH 的 一 个 给 定 实例 
(G，u，v，k)， 同 时 也 给 定 了 一 条 从 到 w 的 路 径 p。 我 们 可 以 很 容易 地 检查 p 是 否 在 图 G 中 以 
及 的 长 度 是 否 至 多 为 &。 如 果 是 ， 就 可 以 把 p 看 做 是 该 实例 确 属于 PATH 的 “证 书 ”。 对 于 判定 
问题 PATH 来 说 ， 这 一 证 书 看 似 并 没有 使 我 们 得 益 多 少 。 但 无 论 如 何 ，PATH 属于 P, 事实 上 ， 
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PATH 可 以 在 线性 时 间 内 求解 ， 因 此 ， 根 据 指定 的 证 书 来 验证 成 员 所 需 的 时 间 与 从 头 开 始 解决 
问题 的 时 间 一 样 长 。 现 在 来 考虑 这 样 一 个 问题 : 我 们 已 知 此 问题 没有 多 项 式 时 间 的 判定 算法 ， 但 
是 对 于 指定 的 证 书 ， 验 证 却 是 比较 容易 的 。 

哈密 顿 回路 

在 无 向 图 中 找 出 哈密 顿 回路 这 一 问题 已 被 研究 100 多 年 了 。 形 式 化 地 说 ， 无 向 图 G(V， E) 
中 的 一 条 哈密 顿 回路 是 通过 V 中 每 个 顶点 的 简单 回路 。 具 有 这 种 回路 的 图 称 为 哈密 顿 图 ， 否 则 
称 为 非 哈 密 顿 图 。 这 一 名 字 是 为 了 纪念 W. R. Hamiltonian， 他 曾经 描述 过 这 样 一 个 在 正 十 二 面体 
上 的 数学 游戏 S : (图 34-2(a)) 一 个 游戏 者 在 任意 5 个 连续 顶点 上 钉 上 5 个 图 钉 ， 另 一 个 游戏 者 必 
须 完成 一 个 包含 所 有 顶点 的 回路 。 正 十 二 面体 是 哈密 顿 图， 图 34-2(a) 显 示 一 条 哈密 顿 回 路 。 但 
是 ， 并 不 是 所 有 的 图 都 是 哈密 顿 图 。 例 如 ， 图 34-2(b) 显 示 了 一 个 具有 奇数 个 顶点 的 二 分 图 。 练 
习 34. 2-2 中 将 要 求 读者 证 明 所 有 这 样 的 图 都 是 非 哈 密 顿 图 。 





图 34-2 (a) 一 个 表示 正 十 二 面体 中 顶点 、 边 、 面 的 图 ， 其 中 哈密 顿 回 路 以 阴影 边 示 出 。 
(b) 一 个 包含 奇数 个 顶点 的 二 分 图 。 任 何 这 样 的 图 都 是 非 哈密 顿 图 
我 们 可 以 用 下 列 形式 语言 定义 哈密 顿 回 路 问题 :“ 图 G 中 是 否 具有 一 条 哈密 顿 回路 ?” 
HAM-CYCLE = {(G):G 是 哈密 顿 图 } 

那么 如 何 用 算法 来 判定 语言 HAM-CYCLE。 给 定 一 个 问题 实例 (G) ， 一 种 可 能 的 判定 算法 就 是 罗 
AH G 的 顶点 的 所 有 排列 ， 然 后 对 每 一 种 排列 进行 检查 ， 以 确定 它 是 否 是 一 条 哈密 顿 回 路 。 那 
么 ， 该 算法 的 运行 时 间 是 多 少 呢 ? 如 果 我 们 使 用 “合理 的 ?方式 把 图 编码 为 其 邻接 矩阵 ， 图 中 顶点 
Zem H AWVN), H n= |(O | 为 G 的 编码 长 度 ， 则 总 共 会 有 m! 种 可 能 的 顶点 排列 ， 因 此 ， 算 
法 的 运行 时 间 为 Gn!) =AG/n!I)=2(2"), ARE OG!) (为 任意 常数 ) 。 因 此 ， 这 种 朴素 算法 
的 运行 时 间 不 是 多 项 式 时 间 的 。 事 实 上 ， 哈 密 顿 问题 是 NP 完全 问题 ， 我 们 将 在 34. 5 节 中 进 一 
步 证 明 这 一 结论 。 

验证 算法 

现在 来 考虑 一 个 稍为 容易 一 些 的 问题 。 假 设 有 人 说 某 给 定 图 G 是 哈密 顿 图 ， 并 提出 可 以 
通过 给 出 沿 着 此 哈密 顿 回路 排列 的 顶点 来 证 明 他 的 话 。 证 明 当 然 是 非常 容易 的 : 仅仅 需要 检 
查 所 提供 的 回路 是 否 是 V 中 顶点 的 一 个 排列 ， 以 及 沿 回路 的 每 条 连续 的 边 是 否 确 实在 图 中 





© Hamilton[157, p. 624] 于 1856 年 10 月 17 日 在 给 他 的 朋友 John T. Graves 的 信 中 写 道 : 我 发 现 一 些 年 轻 人 现在 
对 这 样 一 种 数学 游戏 很 感 兴趣 : 一 个 人 将 5 个 图 钉 钉 在 5 个 连续 项 点 上 …… 另 一 个 游戏 者 试图 再 加 入 另外 15 个 
图 钉 ， 试 图 覆盖 正 十 二 面体 上 的 所 有 顶点 。 这 封 信 中 所 提 到 的 理论 总 是 可 以 被 完成 的 。 
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存在 。 这 样 就 可 以 验证 给 定 的 回路 是 否 是 哈密 顿 回 路 。 当 然 ， 该 验证 算法 可 以 在 OC ) ht Ta 
内 实现 ， 其 中 是 G 的 编码 的 长 度 。 因 此 ， 我 们 可 以 在 多 项 式 时 间 内 验证 图 中 存在 一 条 哈密 
顿 回 路 。 

我 们 定义 验证 算法 为 含 两 个 自 变 量 的 算法 A， 其 中 一 个 自 变量 是 普通 输入 串 z， 男 一 个 是 称 
为 “证 书 ” 的 二 进 制 串 y。 如 果 存在 一 个 证 书 > 满足 A(z，y) 二 1， 则 该 含 两 个 自 变 量 的 算法 A 验 
证 了 输入 串 zx。 由 一 个 验证 算法 A 所 验证 的 语言 是 : 

L= {x € {0,1}* :存在 yE€ (0,1}" ,满足 Al(zx,y) = 1} 

从 直观 上 来 看 ， 如 果 对 任意 串 zE 工 ， 都 存在 一 个 证 书 y， 且 算法 A 可 以 用 yy 来 证 明 x EL， 
则 算法 A 就 验证 了 语言 L。 此 外 ， 对 任意 串 reL, DRA ETHIE xEL 的 证 书 。 例如， 
在 哈密 顿 回 路 问题 中 ， 证 书 是 某 一 哈密 顿 回 路 中 顶点 的 列表 。 如 果 一 个 图 是 哈密 顿 图 ， 哈 密 顿 回 
路 本 身 就 提供 了 足够 的 信息 来 验证 这 一 事实 。 相 反 地 ， 如 果 某 个 图 不 是 哈密 顿 图 ， 那 么 也 不 存在 
这 样 的 顶点 列表 能 使 验证 算法 认为 该 图 是 哈密 顿 图 ， 因 为 验证 算法 会 仔细 地 检查 该 回路 是 否 为 
哈密 顿 回路 。 

复杂 类 NP 

复杂 类 NP 是 能 被 一 个 多 项 式 时 间 算 法 验证 的 语言 类 ?。 更 准确 地 说 ， 一 个 语言 L JRF NP, 
当 且 仅 当 存在 一 个 两 输入 的 多 项 式 时 间 算 法 A 和 常数 <， 满足 : 

L= {x € (0,1) :存在 一 个 证 书 y,|y| 二 0dr, E A, y) = 1} 

我 们 说 算法 A 在 多 项 式 时 间 内 验证 了 语言 工 。 

根据 先前 我 们 对 哈密 顿 回路 问题 的 讨论 ， 可 知 HAM-CYCLEE NP。( 能 知道 某 个 重要 的 集 
合 是 非 空 的 总 是 件 好 事 。) 此 外 ， 如 果 LEP， 则 LENP。 如 果 存 在 一 个 多 项 式 时 间 的 算法 来 判定 
工 ， 那 么 只 要 忽略 任何 证 书 ， 并 接受 那些 确定 属于 工 的 输入 串 ， 就 可 以 很 容易 地 把 该 算法 转化 为 
一 个 两 参数 的 验证 算法 。 因 此 ，PSNP。 

目前 还 不 知道 是 否 有 P=NP, 但 大 多 数 研究 人 员 认 为 P 和 NP 并 不 是 同一 个 类 。 从 直觉 上 
看 ， 类 卫 由 一 些 可 以 快速 解决 的 问题 组 成 ， 而 类 NP 则 由 一 些 可 以 快速 验证 其 解 的 问题 组 成 。 许 
多 读者 可 能 已 经 从 实际 经 验 中 发 现 ， 从 头 开始 解决 一 个 问题 往往 要 比 验证 一 个 明确 给 出 的 解难 
得 多 ， 尤其 是 在 有 时 间 限 制 的 情况 下 。 从 事理 论 研究 的 计算 机 科学 家 一 般 都 认为 ， 这 一 类 比 可 以 
延伸 到 类 P 和 类 NP 上 ， 因 此 NP 包括 了 不 属于 PP 的 语言 。 

此 外 ， 还 有 一 些 虽然 不 具 结 论 性 但 却 更 令 人 信服 的 证 据 能 说 明 P 了 NP， 即 存在 着 “NP 完全 ” 
的 语言 。34. 3 节 将 对 这 类 语言 进行 研究 。 

在 PANP 问题 之 外 ， 还 有 许多 其 他 基本 问题 没有 解决 。 尽 管 很 多 研究 人 员 做 了 大 量 工作 ， 
但 还 没有 人 知道 NP 类 在 补 运算 下 是 否 是 封闭 的 ， 即 LE NP 是 否 说 明了 LE NP。 我 们 可 以 定义 
复杂 类 co-NP 为 满足 LE NP 的 语言 工 构成 的 集合 。 这 样 一 来 ，NP 在 补 运算 下 是 否 封闭 的 问题 
就 可 以 重新 表示 为 是 否 有 NP 二 co-NP。 由 于 P 了 在 补 运算 下 具有 封闭 性 (练习 34. 1-6)， 所 以 在 练 
习 34. 2-9 会 进一步 说 明 关于 PENP 门 co-NP。 但 是 ， 和 上 一 个 问题 一 样 ， 我 们 仍 不 知道 是 否 有 
P=NPN co-NP, 或 者 在 NP 门 co-NP 一 P 中 是 否 存在 某 种 语言 。 

因此 ， 我 们 对 了 与 NP 之 间 确 切 关 系 的 理解 是 很 不 完全 的 。 然 而 ， 即 使 我 们 可 能 没有 能 力 去 
证 明 一 个 特定 问题 是 “难处 理 的 ”， 但 是 通过 探讨 NP 完全 性 理论 ， 如 果 可 以 证 明 这 一 问题 是 NP 
完全 的 ， 那 么 我 们 已 经 获取 了 关于 它 的 一 些 有 价值 的 信息 。 





O “NP” 这 一 名 称 代 表 “ 非 确定 多 项 式 时 间 ”(nondeterministic polynomial time), NP 类 最 初 是 在 非 确定 性 这 一 上 下 
文中 得 到 研究 的 ， 但 本 书 采用 一 种 更 为 简单 但 等 价 的 验证 表示 记号 。Hopcroft 和 Ullman[180] 利 用 非 确 定性 计 
算 模 型 ， 给 出 了 NP 完全 性 的 一 种 很 好 的 表述 。 
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Ce) (d) 
图 34-3 ”复杂 类 之 间 有 4 种 可 能 存在 的 关系 。 在 每 一 个 图 中 ， 一 个 区 域 包含 另 
一 个 区 域 表 明 真 子 集 关 系 。(a)P=NP 王 co-NP。 多 数 研 究 人 员 都 认为 
这 种 情况 是 不 可 能 的 。(b) 若 NP 在 补 集运 算 下 封闭 ， 则 NP=co-NP, 
但 不 一 定 有 P=NP。(c)P=NPmcoNP,， 但 NP 在 补 运算 下 不 封闭 。 
(d)NP4#co-NP, H P 关 NP 门 co-NP。 多 数 研 究 人 员 认 为 这 种 情况 的 
可 能 性 最 大 
练习 
34. 2-1 考虑 语言 GRAPH-ISOMORPHISM={(G,, G): G AG, 是 同 构图 ;。 通 过 描述 一 个 可 
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34. 
34. 


34. 


34. 


34. 


34. 


34. 


34. 
34. 
34. 


以 在 多 项 式 时 间 内 验证 该 语言 的 算法 ， 来 证 明 GRAPH-ISOMORPHISME NP, 

2-2 WH: 如 果 G 是 一 个 有 奇数 个 顶点 的 无 向 二 分 图 ， 则 G 是 非 哈密 顿 图 。 

2-3 证明: 如 果 HAM-CYCLEEP， 则 按 序列 出 一 条 哈密 顿 回路 中 各 个 顶点 的 问题 是 多 项 式 
时 间 可 解 的 。 

2-4 证 明 : 由 语言 构成 的 NP 类 在 并 集 、 空 集 、 连 结 和 Kleene 星 运 算 下 是 封闭 的 ， 讨 论 一 下 
NP 在 补 集运 算 下 的 封闭 性 。 

2-5 证 明 : 对 某 个 常数 &，NP 中 的 任何 语言 都 可 以 用 一 个 运行 时 间 为 200 的 算法 来 加 以 
判定 。 

2-6 图 中 的 哈密 顿 路 径 是 一 种 简单 路 径 ， 它 遍历 图 中 每 个 顶点 且 只 有 一 次 。 证 明 : 语言 
HAM PATH=({{G, u, v): 图 G 中 存在 一 条 从 xx 到 wvw 的 哈密 顿 路 径 ) 属 于 NP. 

2-7 WH: 在 练习 34. 2-6 中 的 哈密 顿 路 径 问 题 中 ， 在 有 向 无 环 图 中 ， 哈 密 顿 路 径 问 题 可 以 
在 多 项 式 时 间 内 求解 。 给 出 解决 该 问题 的 一 个 有 效 算 法 。 

2-8 设 #$ 为 一 个 布尔 公式 ， 它 由 布尔 输入 变量 zx， Rey "9 Bes qe). ANDC A). ORCYV ) 
和 括号 组 成 。 如 果 对 公式 的 输入 变量 的 每 一 种 1 和 0 赋值 ， 公 式 的 结果 都 为 1， 则 此 公 
式 为 重 言 式 (tautology)。 定 义 TAUTOLOGY 为 由 重 言 式 布尔 公式 所 组 成 的 语言 。 证 
HH: TAUTOLOGYE co-NP, 

2-9 证 明 : PCco-NP。 

2-10 证 明 : 如 果 NP 关 co-NP， 则 PANP. 

2-11 设 G 为 一 个 至 少 包 含 3 个 顶点 的 连通 无 向 图 ， 并 设 对 G 中 所 有 由 长 度 至 多 为 3 的 路 径 
连接 起 来 的 点 对 ， 将 它们 直接 连接 后 所 形成 的 图 为 G。 证 明 : G 是 一 个 哈密 顿 图 。 
(提示 : 为 G 构 造 一 棵 生成 树 ， 并 采用 归纳 法 进行 证 明 。) 


34.3 NP 完全 性 与 可 归 约 性 


从 事理 论 研究 的 计算 机 科学 家 们 之 所 以 会 相信 了 P 取 NP， 最 令 人 信服 的 理由 就 是 存在 着 一 类 
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“NP 完全 ”问题 。 该 类 问题 有 一 种 令 人 惊奇 的 特质 ， 即 如 果 任 何 一 个 NP 完全 问题 能 在 多 项 式 时 
间 内 得 到 解决 ,那么 ，NP 中 的 每 一 个 问题 都 存在 一 个 多 项 式 时 间 解 ， 即 P 一 NP。 但 是 ， 尽 管 经 
过 了 多 年 的 研究 ， 目 前 仍 没 有 找 出 任何 NP 完全 问题 的 多 项 式 时 间 算 法 。 

语言 HAM-CYCLE 就 是 一 个 NP 完全 问题 。 如 果 我 们 能 够 在 多 项 式 时 间 内 判定 HAM- 
CYCLE， 就 能 够 在 多 项 式 时 间 内 求解 NP 中 的 每 一 个 问题 。 事 实 上 ， 如 果 能 证 明 NP 一 P 为 非 空 
集合 ， 就 可 以 肯定 地 说 HAM-CYCLEE NP—P, 

在 某 种 意义 上 说 ，NP 完全 语言 是 NP 中 “最 难 ” 的 语言 。 在 本 节 中 ， 我 们 将 说 明 如 何 运用 称 
为 “多 项 式 时 间 可 归 约 性 ”的 确切 概念 ， 来 比较 各 种 语言 的 相对 “难度 ”。 首 先 ， 我 们 先 正式 定义 
NP 完全 语言 ， 然 后 ， 再 简要 地 证 明 一 种 称 为 CIRCUIT-SAT 的 语言 是 NP 完全 的 。 在 34.4 节 和 
34. 5 节 中 ， 将 运用 可 归 约 性 概念 来 证 明 许多 其 他 问题 都 是 NP 完全 的 。 

可 归 约 性 

从 直觉 上 看 ， 问 题 Q 可 以 被 归 约 为 另 一 个 问题 Q  。 如 果 Q 的 任何 实例 都 可 以 被 “容易 地 重新 
描述 ”为 Q 的 实例 ， 而 Q 的 实例 的 解 也 是 Q 的 实例 的 解 。 例 如 ， 求 解 关 于 未 知 量 z 的 线性 方程 
问题 可 以 转化 为 求解 二 次 方程 问题 。 已 知 一 个 实例 az 十 6 二 0， 可 以 把 它 变换 为 0 十 az 十 6 二 0， 
其 解 也 是 方程 ax 十 6 二 0 的 解 。 因 此 ， 如 果 一 个 问题 Q@ 可 以 转化 为 男 一 个 问题 Q ， 则 从 某 种 意义 
上 来 说 ，Q 并 不 比 Q' 更 难 解决 。 

回 到 关于 判定 问题 的 形式 语言 体系 中 。 我 们 说 语言 Li 在 多 项 式 时 间 内 可 以 归 约 为 语言 L;， 
WELS ， 如 果 存 在 一 个 多 项 式 时 间 
可 计算 的 函数 f: (0, 1}* (0, 1}", Hi 
是 对 所 有 的 z€ {0，1)*， 

ED YH) SG (34.1) 
则 称 函 数 了 为 归 约 函数 ， 计 算 f 的 多 项 式 
时 间 算 法 下 称 为 归 约 算法 。 

图 34-4 说 明了 关于 从 语言 到 另 一 
种 语言 L 的 多 项 式 时 间 归 约 的 思想 。 每 一 | | 
BE EADIE NO, DATA, ARR SI 图 344 通过 归 约 函数 f， 在 多 项 式 时 间 内 将 语言 [1 归 
eee ee lee 约 为 语言 [。 对 任何 输入 xE {0，1}* ， 是 否 有 
ZXEL1， 则 f(z)ELs。 MHArEAL, W zxEL 这 一 问题 与 是 否 有 f(x) ELs 的 答案 是 一 
f(z) Ls。 因此 归 约 函数 提供 了 从 语言 Li 样 的 
表示 的 判定 问题 的 任意 实例 x 到 语言 L 表 
示 的 判定 问题 的 实例 f(z) 上 的 映射 。 如 果 能 提供 是 否 有 f(z) EL 的 答案 ， 也 就 直接 提供 了 是 否 有 
TAL, 的 答案 。 

多 项 式 时 间 归 约 为 证 明 各 种 语言 属于 了 提供 了 一 种 有 力 的 工具 。 

引 理 34. 3 ”如果 Li, LE(0, “是 满足 LSL: 的 语言 ， 则 LoEP 蕴 涵 着 LiEP。 

证 明 LA, 是 一 个 判定 问题 L; 的 多 项 式 时 间 算 法 ,下 是 计算 归 约 函数 /的 多 项 式 时 间 归 约 
算法 。 下 面 来 构造 一 个 判定 L 的 多 项 式 时 间 算 法 Al。 

图 34-5 说 明了 A 的 构造 过 程 。 对 给 定 的 输入 zE {0，1)" ,算法 A 利用 下 把 xz 变换 为 
f(x)， 然 后 它 利用 A, 测试 是 否 有 EL. A 的 输出 值 提供 A 作为 输入 ， 并 产生 答案 作为 
输出 。 

根据 条 件 (34. 1) 可 以 推导 出 A; WEHE. AA FAA 的 运行 时 间 都 是 多 项 式 时 间 ， 所 以 
该 算法 的 运行 时 间 为 多 项 式 时 间 ( 参 见 练习 34. 1-5). a 
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1067 多 项 式 时 间 归 约 提 供 了 一 种 形式 方法 ， 用 来 证 明 一 个 问题 在 一 个 多 项 式 时 间 因 子 内 至 少 与 
en 另 一 个 问题 一 样 难 。 也 就 是 说 ， 如 果 LSL MWL 大 于 L 的 难度 不 会 超过 一 个 多 项 式 时 间 因 
子 。 这 就 是 我 们 采用 “小 于 或 等 于 ”来 表示 归 约 记号 的 原因 。 现 在 ,我 们 就 可 以 定义 NP 完全 语言 
的 集合 ， 这 类 问题 是 NP 中 最 难 的 问题 。 





图 34-5 引 理 34.3 证 明 。 算 法 下 是 一 个 归 约 算法 ， 它 在 多 项 式 时 间 内 计算 出 从 工 到 Lz 的 归 约 
函数 f, A 是 一 个 能 判定 L 的 多 项 式 时 间 算 法 。 算 法 A 通过 利用 下 将 任何 输入 xz 转 
BA f(z), BAA. 来 判定 是 否 有 f(x)EL， 最 终 判 定 是 否 有 zxE Li 


语言 LS{0，1)* 是 NP 完全 的 ， 如 果 : 

1.LENP, 

2. 对 每 一 个 L'ENP,,， E L'<pL. 

如 果 一 种 语言 L 满足 性 质 2， 但 不 一 定 满足 性 质 1， 则 称 工 是 NP 难度 (NP-hard) 的 。 同 时 ， 
我 们 定义 NPC 为 NP 完全 语言 类 。 

正如 下 列 定理 所 述 ，NP 完全 性 是 判定 了 是 否 等 于 NP 的 关键 。 

定理 34.4 ”如果 任何 NP 完全 问题 是 多 项 式 时 间 可 求解 的 ， 则 P 二 NP。 等 价 地 ， 如 果 存 在 某 
一 NP 中 的 问题 不 是 多 项 式 时 间 可 求解 的 ， 则 所 有 NP 完全 问题 都 不 是 多 项 式 时 间 可 求解 的 。 

证 明 假定 LEP 并 且 LENPC， 对 任意 L'ENP， 由 NP 完全 性 定义 中 的 性 质 2， 有 L'<eL。 
因此 ， 根 据 引 理 34. 3， 就 有 L EP， 这 样 就 证 明了 本 定理 的 第 一 个 结论 。 第 二 个 结论 是 第 一 个 结 
论 的 对 换 句 ， 因 此 第 二 个 结论 也 得 证 。 a 

正 是 因为 如 此 ， 对 PANP 问题 的 研究 都 是 以 NP 完全 问题 为 中 心 的 。 大 部 分 从 事理 论 研究 
的 计算 机 科学 家 们 都 认为 P 兰 NP， 据 此 可 以 导出 图 34-6 中 所 示 的 P、NP 与 NPC 之 间 的 关系 。 
但 是 ， 我们 都 知道 ， 或 许 有 一 天 会 找 出 关于 一 个 NP 完全 问题 的 多 项 式 时 间 算 法 ， 这 样 就 能 证 明 

P 王 NP。 然 而 ， 由 于 迄今 为 止 还 没有 找 出 任何 NP 完全 问题 的 多 项 式 时 间 算 法 ， 所 以 在 目前 , 证 
明了 一 个 问题 具有 NP 完全 性 ， 也 就 找到 了 可 以 提供 其 难处 理性 的 极 好 证 明 。 





图 34-6 大 多 数理 论 计算 机 科学 家 们 眼中 的 P、NP 和 NPC 三 者 之 间 的 关系 。P 和 
NPC 都 完全 包含 在 NPA, B PANPC=Ø 


电路 可 满足 性 

前 面 已 经 定义 过 NP 完全 问题 这 一 概念 ， 但 到 现在 为 止 ， 我们 实际 上 还 没有 证 明 任何 问题 是 
NP 完全 问题 。 一 旦 我 们 证 明了 至 少 有 一 个 问题 是 NP 完全 问题 ， 就 可 以 用 多 项 式 时 间 可 归 约 性 
作为 工具 ， 来 证 明 其 他 问题 也 具有 NP 完全 性 。 因 此 ， 下 面 来 着 重 证 明 存 在 一 个 NP 完全 问题 : 
电路 可 满足 性 问题 。 
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遗憾 的 是 ， 在 电路 可 满足 性 问题 的 形式 化 证 明 中 ， 需 要 一 些 超出 本 书 范围 的 技术 细节 。 因 
此 ， 我 们 将 非 形 式 地 描述 一 种 基于 布尔 组 合 电路 知识 的 证 明 过 程 。 

布尔 组 合 电路 是 由 布尔 组 合 元 素 通过 电路 互 连 后 构造 而 成 的 ， 布 尔 组 合 元 素 是 指 任何 一 种 
电路 元 素 ， 它 有 着 固定 数目 的 输入 和 输出 ， 执 行 的 是 某 种 良 定 义 的 函数 功能 。 布 尔 值 取 自 集合 
{0，1}， 其 中 0 代表 FALSE( 假 )，1 代表 TRUE( 真 ) 。 

在 电路 可 满足 性 问题 中 ， 所 用 到 的 布尔 组 合 元 素 计算 的 是 一 个 简单 的 布尔 函数 ， 这 些 元 素 
称 为 逻辑 门 。 图 34-7 表示 出 了 在 电路 可 满足 性 问题 中 用 到 的 三 种 基本 的 逻辑 门 : NOT 门 ( 非 门 ， 
也 称 为 反 向 器 ) AND 门 (与 门 ) 和 OR 门 (或 门 )。NOT 门 只 有 一 个 二 进 制 输 入 x， 它 的 值 为 0 或 
1， 产 生 的 是 二 进 制 输出 z， 其 值 与 输入 值 相反 。 另 外 的 两 种 门 都 取 两 个 二 进 制 输入 zx 和 y， 然 后 
产生 一 个 二 进 制 输出 z。 





(a) (b) Cc) 


图 34-7 ”此 三 种 基本 的 逻辑 门 都 具有 二 进 制 形式 的 输入 和 输出 。 在 每 一 种 门下 面 ， 是 描述 该 逻 
辑 门 的 真 值 表 。(a)NOT 门 。(b)AND 门 。(QOR 门 


每 一 种 门 及 任何 一 种 布尔 组 合 元 素 的 操作 都 可 以 用 一 个 真 值 表 来 描述 ， 如 图 34-7 所 示 。 真 
值 表 给 出 了 对 于 输入 组 合 元 素 的 每 一 种 可 能 取 值 ， 以 及 组 合 元 素 的 输出 情况 。 例 如 ，OR 门 的 真 
值 表 告 诉 我 们 ， 当 输入 为 zx 一 0 和 > 一 1 时， 输出 值 > 一 1。 我 们 用 符号 一 来 表示 NOT MA, FAA 
来 表示 AND 函数 ， 用 V 来 表示 OR 函数 。 例 如 ,0V1=1。 

我 们 可 以 将 AND 门 和 OR 门 加 以 推广 ， 使 其 可 以 有 多 于 两 个 的 输入 。 对 AND 门 来 说 ， 如 
果 其 所 有 输入 均 为 1， 则 其 输出 为 1; 否则， 其 输出 为 0。 对 OR 门 来 说， 如 果 其 任何 一 个 输入 为 
1， 则 其 输出 为 1; 否则 ， 其 输出 为 0。 

布尔 组 合 电路 由 一 个 或 多 个 布尔 组 合 元 素 通过 线路 连接 而 成 。 一 个 电路 可 以 将 某 一 元 素 的 
输出 与 另 一 个 元 素 的 输入 连接 起 来 ， 即 将 第 一 个 元 素 的 输出 值 提供 给 第 二 个 元 素 作 为 其 输入 值 。 
图 34-8 给 出 了 两 个 类 似 的 布尔 组 合 电路 ， 它 们 仅 在 一 个 门 上 有 所 不 同 。 图 34-8(a) 给 出 了 当 输 入 
为 (zi 二 1， 吉 二 1，zs 王 0) 时， 每 根 接线 上 的 值 。 虽 然 一 个 线 上 不 可 能 有 多 于 一 个 的 布尔 元 素 的 输 
出 与 其 相连 ， 但 它 可 以 作为 其 他 几 个 元 素 的 输入 。 由 一 根 接线 提供 输入 的 元 素 的 个 数 称 为 该 接线 
的 扇 出 (fanroub 。 如 果 没 有 哪 一 元 素 的 输出 是 接 到 某 根 接线 上 ， 则 称 该 接线 是 电路 输入 ， 它 接受 来 
自 外 部 的 数据 。 如 果 没 有 哪 一 个 元 素 的 输入 连接 到 某 根 接线 上 ， 则 称 该 接线 为 电路 输出 ， 它 将 电 
路 的 计算 结果 提供 给 外 部 。( 一 根 内 部 接线 也 可 以 扇 出 至 电路 的 输出 上 。) 为 了 定义 电路 可 满足 性 问 
题 ， 我 们 限制 电路 的 输出 为 1， 在 实际 的 硬件 设计 中 ， 布 尔 组 合 电路 是 可 以 有 多 个 输出 的 。 

布尔 组 合 电路 不 包含 回路 。 换 句 话说， 假设 我 们 创建 了 一 个 有 向 图 G 二 (V，E)， 其 中 每 一 个 
顶点 代表 一 个 组 合 元 素 ，& 条 有 向 边 代表 每 一 根 扇 出 为 不 的 接线 ;如 果 某 一 接线 将 一 个 元 素 “ 的 输 
出 与 另 一 个 元 素 " 的 输入 连接 了 起 来 ， 图 中 就 会 包含 一 条 有 向 边 (x，Z。 那 么 ，G 必定 是 无 回 
路 的 。 

一 个 布尔 组 合 电路 的 真 值 赋值 是 指 一 组 布尔 输入 值 。 如 果 一 个 单 输出 布尔 组 合 电路 具有 一 
个 可 满足 性 赋值 (即使 得 电路 的 输出 为 1 的 一 个 真 值 赋 值 ) ， 就 称 该 布尔 组 合 电路 是 可 满足 的 。 例 
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如 ， 图 34-8(a) 中 的 电路 具有 可 满足 性 赋值 (zi 二 1，zz 二 1，zs 二 0);， 所 以 它 是 可 满足 的 。 如 练习 
34. 3-1 中 要 求 读者 说 明 的 那样 ， 不 存在 对 21. zo 和 的 赋值 ， 使 得 图 34-8(b) 中 的 电路 产生 输 
出 为 1， 它 总 是 输出 0， 因此 ， 它 是 不 可 满足 的 。 


x; 





x2 





D 
PD 


(a) (b) 


图 34-8 电路 可 满足 性 问题 的 两 个 实例 。(a) 对 此 电路 的 输入 赋值 (zi 二 1，zz 二 1，zs 二 0)， 使 得 电路 的 输 
出 为 1。 因 而， 此 电路 是 可 满足 的 。(b) 对 此 电路 输入 的 任何 一 种 赋值 都 不 能 使 得 电路 的 输出 为 1。 
因而 ， 此 电路 是 不 可 满足 的 


电路 可 满足 性 问题 就 是 :“ 给 定 某 一 个 由 AND, OR 和 NOT 门 构成 的 布尔 组 合 电路 ， 它 是 
可 满足 电路 吗 ?为 了 给 出 这 一 问题 的 形式 定义 ， 必 须 对 电路 的 编码 有 一 个 统一 的 标准 。 布 尔 组 合 
电路 的 规模 是 指 其 中 布尔 组 合 元 素 的 数目 加 上 电路 中 接线 的 数目 。 我 们 可 以 设计 出 一 种 “类 图 形 
编码 ”(graphlike encoding)， 使 其 可 以 把 任何 给 定 电路 C 映射 为 一 个 二 进 制 串 (C》， 该 串 的 长 度 与 
电路 本 身 的 规模 呈 多 项 式 关系 。 作 为 一 种 形式 语言 ， 我 们 可 以 定义 : 

CIRCUIT-SAT = {(C):C 是 一 个 可 满足 的 布尔 组 合 电路 } 

电路 可 满足 性 问题 在 计算 机 辅助 硬件 优化 领域 中 越 来 越 凸 显 出 其 重要 性 。 如 果 一 个 子 电路 
总 是 输出 0， 那 么 这 个 子 电路 对 整个 电路 结果 来 讲 就 是 非 必要 的 ， 我 们 就 可 以 用 一 个 更 为 简单 的 
子 电路 来 取代 原 电 路 。 该 子 电路 省 略 了 所 有 逻辑 门 ， 并 提供 常数 值 0 作为 其 输出 。 如 此 ， 我 们 可 
以 很 容易 地 理解 开发 出 这 一 问题 相应 多 项 式 算 法 的 优点 。 

给 定 一 个 电路 C， 通 过 检查 输入 的 所 有 可 能 赋值 来 确定 它 是 否 是 可 满足 性 电路 。 遗 憾 的 是 ， 
如 果 有 & 个 输入 ， 就 会 有 2 种 可 能 的 赋值 。 当 电路 C 的 规模 为 的 多 项 式 时 ， 对 每 个 电路 的 检 
查 将 花费 QC(2*) 的 时 间 ， 这 与 电路 的 规模 呈 超 多 项 式 关系 S。 事 实 上 ， 如 前 面 所 述 ， 有 很 强 的 证 
据 表 明 ， 能 解决 电路 可 满足 性 问题 的 多 项 式 时 间 算 法 是 不 存在 的 、 因 为 该 问题 是 NP 完全 的 。 根 
据 NP 完全 性 定义 中 的 两 个 部 分 ， 把 对 这 一 事实 的 证 明 过 程 也 分 为 两 部 分 。 

引 理 34.5 电路 可 满足 性 问题 属于 NPR. 

证 明 我们 将 提出 一 个 能 验证 CIRCUIT-SAT 的 、 两 输入 的 多 项 式 时 间 算 法 A. A 的 一 个 输 
人 是 布尔 组 合 电 路 C(C 的 一 个 标准 编码 )， 另 一 个 输入 是 一 个 相应 于 C 中 线路 的 一 个 布尔 型 赋值 
的 证 书 。( 练 习 34. 3-4 中 提供 了 一 个 更 小 的 证 书 。) 

对 算法 A 的 构造 如 下 : 对 电路 中 的 每 个 逻辑 门 ， 算 法 要 检查 输出 线路 上 证 书 所 提供 的 值 ， 
看 它 是 否 是 根据 输入 线路 值 正 确 计算 出 的 一 个 函数 值 。 然 后 ， 因 为 对 电路 C 的 输入 的 赋值 提供 
了 一 种 可 满足 性 赋值 ， 所 以 如 果 整 个 电路 的 输出 为 1， 则 算法 输出 为 1; 否则 ,算法 A 输出 0。 

每 当 将 一 个 可 满足 的 电路 C 输入 算法 A 时 ， 必 会 存在 一 个 证 书 ， 其 长 度 为 C 的 规模 的 多 项 


























O ATi, 若 电 路 C 的 规模 为 86(2)， 则 对 于 运行 时 间 为 0(2*) 的 算法 来 说 ， 其 运行 时 间 与 电路 规模 是 呈 多 项 式 
关系 的 。 即 使 P 关 NP， 这 种 情况 也 不 会 与 该 问题 是 NP 完全 的 这 一 事实 矛盾 ;对 某 种 特例 存在 多 项 式 时 间 的 算 
法 ， 并 不 意味 着 对 于 所 有 情况 都 存在 多 项 式 时 间 的 算法 。 
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式 ， 并 使 A 输 出 1。 每 当 将 一 个 不 可 满足 的 电路 作为 A 的 输入 时 ， 则 不 存在 这 样 的 证 书 让 A 认 
为 该 电路 是 可 满足 的 。 算 法 A 的 运行 时 间 为 多 项 式 时 间 : 如 果 运 用 较 好 的 实现 方法 ， 可 以 达到 
线性 时 间 。 因 此 ，CIRCUIT-SAT 可 以 在 多 项 式 时 间 内 被 验证 ， 从 而 有 CIRCUIT-SATE NP, W 

证 明 CIRCUIT-SAT 是 NP 完全 问题 的 第 二 部 分 ， 就 是 要 证 明 该 语言 是 NP 难度 的 。 也 就 是 
说 ， 必 须 证 明 NP 中 的 每 一 种 语言 都 可 以 在 多 项 式 时 间 内 归 约 为 CIRCUIT-SAT。 这 一 事实 的 实 
际 证 明 过 程 在 技术 上 是 比较 难 解决 的 ， 因 此 ， 我 们 将 基于 计算 机 硬件 的 工作 机 理 来 给 出 一 个 简 
要 的 证 明 过 程 。 

计算 机 程序 是 作为 一 个 指令 序列 存储 于 计算 机 存储 器 中 的 。 一 条 典型 的 指令 包含 操作 代码 、 
操作 数 在 存储 器 中 的 地 址 以 及 结果 的 存储 地 址 。 一 个 特定 的 称 为 程序 计数 器 的 存储 器 单元 记录 
了 将 被 执行 的 下 一 条 指令 的 地 址 。 每 当 取出 一 条 指令 时 ， 程 序 计数 器 即 进行 自 增 操作 ， 这 样 就 可 
以 使 计算 机 按 顺 序 执行 指令 。 但 是 ， 一 条 指令 执行 后 ， 可 以 使 一 个 值 被 写 人 程序 计数 器 中 ， 于 是 
正常 的 执行 顺序 发 生 改 变 ， 从 而 允许 计算 机 执行 循环 和 条 件 分 支 语句 。 

在 程序 执行 的 过 程 中 ， 计 算 过 程 的 整个 状态 都 表示 于 计算 机 的 存储 器 里 。 (我们 此 处 所 说 的 
存储 器 包括 程序 自身 、 程 序 计 教 器 、 工 作 存 储 器 以 及 计算 内 务 操作 所 设置 的 各 种 状态 位 。) 我 们 把 
计算 机 存储 的 任何 一 种 特定 状态 称 为 一 个 配置 (configuration) 。 执 行 一 条 指令 可 以 看 做 建立 从 一 
个 配置 到 另 一 个 配置 的 映射 。 实 现 这 种 映射 关系 到 的 计算 机 硬件 可 以 用 一 个 布尔 组 合 电 路 来 实 
现 ， 在 下面 引 理 的 证 明 过 程 中 ， 用 M 来 表示 该 布尔 组 合 电路 。 

引 理 34.6 电路 可 满足 性 问题 是 NP 难度 的 。 

证 明 设 工 是 NP 中 的 任意 一 种 语言 。 我 们 将 描述 一 个 多 项 式 时 间 的 算法 下 来 计算 归 约 函数 
fy 该 函数 把 每 个 二 进 制 串 二 都 映射 为 一 个 电路 C= f(x), HE zE 工 当 且 仅 当 CE 
CIRCUIT-SAT。 

由 于 LENP， 因 此 必定 存在 一 个 算法 A， 它 可 以 在 多 项 式 时 间 内 验证 上 上。 我 们 将 构造 的 算法 
下 将 使 用 含有 两 个 输入 的 算法 A 来 计算 归 约 函数 了。 

设 T(n) 表 示 算 法 A 对 长 度 为 n 的 输入 串 在 最 坏 情 况 下 的 运行 时 间 ， 并 设 k> 为 一 个 常数 ， 
满足 T(n) 二 Or)， 且 证 书 的 长 度 为 O) (A 的 运行 时 间 实 际 上 是 关于 整个 输入 规模 的 一 个 多 
项 式 ， 既 包括 输入 串 也 包括 证 书 ， 但 由 于 证 书 的 长 度 是 关于 输入 串 长 度 的 多 项 式 ， 所 以 运行 时 
间 也 是 关于 nn 的 多 项 式 )。 

证 明 的 基本 思想 是 把 A 的 计算 过 程 表 示 成 一 系列 配置 。 如 图 34-9 所 示 ， 我 们 可 以 把 每 个 配 
置 划分 为 数 个 部 分 ， 包 括 A 的 程序 、 程 序 计数 器 、 辅 助 机 器 状态 、 输 入 <、 证书 y 和 工作 存储 
器 。 从 初始 配置 co 开始， 每 个 配置 c 都 由 实现 计算 机 硬件 的 组 合 电路 M 映射 到 其 随后 的 配置 
cmo HAI A 终止 执行 时 ， 其 输出 0 或 1 被 写 入 到 工作 存储 器 的 某 个 指定 单元 中 。 并 且 ， 如 果 
我 们 假定 此 后 A 会 停止 ， 则 该 值 不 会 改变 。 因 此 ， 如 果 算法 至 多 执行 T(n) 步 ， 则 输出 出 现 于 
CT) 中 的 一 位 上 ó 

归 约 算法 下 构造 出 一 个 组 合 电 路 ， 它 根据 已 给 的 初始 配置 计算 出 产生 的 全 部 配置 。 其 设计 
思想 为 复制 Tod SRM 的 副本 ， 并 把 它们 粘贴 在 一 起 。 产 生 配 置 c; 的 第 i 个 电路 的 输出 直接 
作为 第 (十 1) 个 电路 的 输入 。 因 此 ， 这 些 配置 并 非 终 止 于 一 个 状态 寄存 器 中 ， 而 是 仅仅 驻 留 在 连 
接 M 的 副本 之 间 的 线路 上 。 

我 们 来 回顾 一 下 多 项 式 时 间 归 约 算法 下 必须 做 的 工作 。 给 定 一 个 输入 zx， 它 必须 计算 出 一 个 
电路 C 二 f(x),，C 是 可 满足 电路 当 且 仅 当 存在 一 个 证 书 y,， 使 得 A(zx，y) 一 1。 当下 获得 一 个 输 
入 zx 时, 它 首先 计算 出 n= |zx|， 然 后 构造 出 一 个 由 T(w) 个 电路 M 的 副本 组 成 的 组 合 电路 C'。 
C 的 输入 是 对 应 于 对 A(x，y) 进 行 计算 的 初始 配置 ， 输 出 为 配置 cr o 

算法 下 所 计算 出 的 电路 C= 二 f(x) 是 对 C' 稍 作 修改 而 得 到 的 。 首先， 相应 于 A 的 程序 的 C' 的 
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输入 ， 初 始 的 程序 计数 器 、 输 入 z 和 存储 器 的 初始 状态 的 线路 直接 与 这 些 已 知 值 相连 。 因 此 ， 电 
路 剩 下 的 唯一 输入 对 应 于 证 书 y。 其 次 ， 电 路 的 所 有 来 自 C 输出 都 被 忽略 ， 但 对 应 于 A 的 输出 
Crm 中 的 一 位 除外 。 这 样 构造 成 的 电路 C 对 长 度 为 OC ) 的 任意 输入 计算 出 CC(y) 王 A(z，y)。 当 
我 们 给 归 约 算法 下 提供 一 个 输入 串 z 时 ， 它 就 计算 出 这 样 一 个 电路 C 并 输出 。 





Cl 


C 





0/1 输 出 


图 34-9 算法 A 在 输入 zx 和 证 书 y 上 运行 时 所 产生 的 配置 序列 。 每 个 配置 都 表示 计 
算 机 在 一 步 计算 后 的 状态 ， 除 了 A、z 和 y 外 ， 还 包括 程序 计数 器 (PC)、 
辅助 机 器 状态 和 工作 存储 器 。 除 了 证 书 外， 初始 配置 co。 是 固定 的 。 通 过 
一 个 布尔 组 合 电路 M， 每 个 配置 都 会 被 映射 到 下 一 个 配置 之 上 。 输 出 是 工 
作 存 储 器 中 一 个 特别 的 位 


我 们 还 需要 证 明 两 条 性 质 。 第 一 ， 必 须 证 明 下 能 够 正确 地 计算 出 归 约 函数 f， 即 必须 证 明 C 
是 可 满足 的 当 且 仅 当 存在 一 个 证 书 y,， 满足 A(x，y) 二 1。 第 二 ， 必 须 证 明 下 的 运行 时 间 为 多 项 
式 时 间 。 

为 了 证 明 下 能 够 正确 地 计算 出 归 约 函数 ,假设 存在 一 个 长 度 为 OC(x*) 的 证 书 y， 满足 
AG, y)=1. 那么， 如 果 把 y 的 各 位 作为 C 的 输入 ， 那 么 C 的 输出 为 CC(y) 二 A(x，y) 二 1。 因 此 ， 如 
果 有 一 个 证 书 存在 ， 则 C 是 可 满足 的 (电路 )。 另 一 方面 ， 假 定 C 是 可 满足 的 ， 因 此 对 C 存在 一 个 输入 
y， 满 足 CCy) 二 1， 据 此 ， 可 以 得 到 A(zx，y) 二 1。 因 此 ,下 能 够 正确 地 计算 出 一 个 归 约 函数 。 

为 了 完成 此 证 明 过 程 ， 仅 需 证 明 下 的 运行 时 间 是 关于 n 二 |x| 的 多 项 式 时 间 。 首 先 需 要 注意 
的 是 ， 表 示 一 个 配置 所 需 的 位 数 是 关于 n 的 多 项 式 。A 的 程序 本 身 的 规模 为 常数 ， 与 输入 工 的 长 
EER. WA BKEK, WEB y 的 长 度 为 O( 愉 ) 。 由 于 算法 至 多 运行 OC(m) 步 ， 所 以 A 所 要 
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求 的 工作 存储 器 总 量 也 是 ”的 多 项 式 。( 假 定 该 存储 器 单元 是 连续 的 ;练习 34. 3-5 要 求 读者 把 证 
明 扩 展 到 下 列 情况 : A 所 存 取 的 存储 单元 散布 于 存储 器 的 一 个 更 大 的 范围 内 ， 对 每 个 输入 2, 
特定 的 散布 方式 也 可 能 不 同 。) 

实现 计算 机 硬件 的 组 合 电路 M 的 规模 是 关于 配置 的 长 度 的 多 项 式 。 即 为 O(z) 的 多 项 式 ， 因 
而 也 是 关于 的 多 项 式 。( 这 个 电路 的 大 部 分 实现 了 存储 系统 的 逻辑 .) 电 路 C BA t= O(n") + M 
的 副本 组 成 ， 因 此 其 规模 是 关于 的 多 项 式 。 由 于 构造 过 程 的 每 一 步 都 需要 多 项 式 时 间 ， 所 以 用 
归 约 算法 下 可 以 在 多 项 式 时 间 内 完成 从 工 构造 电路 C 的 过 程 。 

综 上 所 述 ， 因 为 语言 CIRCUIT-SAT 至 少 与 NP 中 的 任意 语言 具有 同样 的 难度 ， 并 且 又 因为 
它 是 属于 NP 的 ， 所 以 它 是 NP 完全 的 。 

定理 34.7 电路 可 满足 性 问题 是 NP 完全 的 。 

证 明 根据 引 理 34.5 和 引 理 34. 6， 以 及 NP 完全 性 的 定义 ， 可 以 直接 推 得 结论 。 4 


练习 


34.3-1 验证 图 34-8(b) 中 的 电路 是 不 可 满足 的 。 

34.3-2 WHH: <p 关系 是 语言 上 的 一 种 传递 关系 ， 即 证 明 如 果 有 LSL B LSL, WA 
Li SrL. 

34.3-3 证 明 : LSL BIL SrL. 

34. 3-4 证 明 : 在 对 引 理 34. 5 的 另 一 种 证 明 中 ， 可 满足 性 赋值 可 以 当做 证 书 来 使 用 。 试 问 哪 一 
个 证 书 可 以 使 证 明 过 程 更 容易 些 ? 

34.3-5 在 引 理 34. 6 的 证 明 中 ， 假 定 算法 A 的 工作 存储 占用 的 是 一 块 具有 多 项 式 大 小 的 连续 存 
储 区 域 。 在 该 证 明 的 什么 地 方 用 到 了 这 一 假设 ? 论证 这 一 假设 的 过 程 要 具有 普 适 性 。 

34.3-6 ”如 果 对 所 有 L EC, ALECHL'<oL, WAMFAZRAN AH BARK, —NBAL 
对 语言 类 C 是 完全 的 。 证 明 : 相对 于 多 项 式 时 间 的 归 约 来 说 ，$ 和 {0，1)* 是 P 中 仅 有 
的 对 了 不 完全 的 语言 。 

34.3-7 WH: 关于 多 项 式 时 间 归 约 ( 人 参见 练习 34.3-6), L 对 NP 是 完全 的 ， 当 且 仅 当 工 对 
co-NP 是 完全 的 。 

34.3-8 在 引 理 34. 6 的 证 明 中 ， 归 约 算法 下 基于 有 关 zx、A 和 & 的 信息 ， 构 造 了 电路 C= fa). 
Sartre 教授 观察 到 串 x 是 下 的 输入 ,但 只 有 A, k 的 存在 性 和 运行 时 间 OC) 中 所 隐 含 
的 常数 因子 对 下 来 说 是 已 知 的 (因为 语言 工 属于 NP)， 实 际 值 对 下 来 说 却 是 未 知 的 。 因 
此 ， 这 位 教授 就 得 出 了 这 样 的 结论 ， 即 下 不 可 能 构造 出 电路 C， 并 且 语 言 CIRCUIT- 
SAT 不 一 定 是 NP 难度 的 。 试 说 明 在 这 位 教授 的 推理 中 存在 哪些 缺陷 ? 


34.4 NP 完全 性 的 证 明 


通过 直接 证 明 对 于 任意 语言 LENP， 都 有 L<sCIRCUIT-SAT， 我 们 可 以 证 明 电路 可 满足 性 
问题 是 NP 完全 的 。 在 本 节 中 ， 我 们 将 说 明 如 何在 不 把 NP 中 的 每 一 种 语言 直接 归 约 为 给 定语 言 
的 前 提 下 ， 证 明 一 种 语言 是 NP 完全 的 。 我 们 将 通过 证 明 各 类 公式 可 满足 性 问题 是 NP 完全 问题 
来 阐明 这 一 方法 。34. 5 节 中 提供 了 更 多 用 于 说 明 这 一 方法 的 更 多 例子 。 

下 面 的 引 理 是 证 明 一 种 语言 是 NP 完全 语言 的 方法 的 基础 。 

引 理 34.8 ”如 果 语 言 L 是 一 种 满足 对 任意 L'ENPC 都 有 LL'<<pL 的 语言 ， 则 工 是 NP 难度 
的 。 此 外 ， 如 果 LENP， 则 LE NPC。 

证 明 ”由 于 芽 是 NP 完全 语言 ， 所 以 对 所 有 LENP， 都 有 LpL'。 根 据 假设 ，L' 才 pL。 因 此 
根据 传递 性 ( 见 练习 34. 3-2)， 有 LpL， 这 说 明 工 是 NP 难度 的 。 如 果 LENP， 则 也 有 LE NPC. 
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换 句 话说 ， 通 过 把 一 个 已 知 为 NP 完全 的 语言 L' 归 约 为 L， 就 可 以 把 NP 中 的 每 一 种 语言 都 
隐 式 地 归 约 为 L。 因 此 ， 引 理 34. 8 提供 了 证 明 某 种 语言 L 是 NP 完全 语言 的 一 种 方法 : 

1. 证 明 LE NP. 

2. 选取 一 种 已 知 的 NP 完全 语言 工 。 

3. 描述 一 种 可 计算 函数 f(z) 的 算法 ,其 中 f 可 将 L' 中 每 一 个 实例 xzE (0, 1)" 映射 为 工 中 
的 实例 f(x). 

4. 证 明 函 数 满足 xzEL' 当 目 仅 当 对 于 所 有 的 zxE{0, 1)* BA SEL, 

5. 证 明 计算 函数 f 的 算法 具有 多 项 式 运 行 时 间 。 

(第 2 步 到 第 5 步 说 明了 工 是 NP 难度 的 。) 这 种 根据 一 种 已 知 的 NP 完 全 语言 进行 归 约 的 方法 ， 比 说 
明 如 何 直接 根据 NP 中 每 一 种 语言 进行 归 约 这 一 复杂 的 过 程 要 简单 得 多 。 证 明 CIRCUIT-SAT € 
NPC 使 我 们 有 了 一 个 立足 点 ， 由 于 已 知 电路 可 满足 性 问题 是 一 个 NP 完全 问题 ， 因 此 现在 可 以 更 
为 简单 地 证 明 其 他 问题 也 是 NP 完全 问题 。 而 且 ， 随 着 我 们 逐渐 建立 起 一 个 已 知 NP 完全 问题 的 目 
录 ， 选 择 根据 哪 一 种 语言 进行 归 约 的 余地 就 更 大 了 。 

公式 可 满足 性 

对 于 确定 布尔 公式 (而 非 电 路 ) 是 否 可 满足 这 一 问题 ， 通 过 给 出 一 个 NP 完全 性 的 证 明 ， 来 说 
明 上 面 提 到 的 归 约 方法 。 这 一 问题 是 我 们 已 知 历 史上 第 一 个 被 证 明 的 NP 完全 问题 。 

我 们 根据 语言 SAT 来 形式 化 地 定义 可 满足 性 问题 ，SAT 的 一 个 实例 就 是 由 下 列 成 分 组 成 的 
布尔 公式 $: 

1.2 个 布尔 变量 ; Tis Tzs "s Tno 

2.m 个 布尔 连接 词 : 具有 一 个 或 两 个 输入 和 一 个 输出 的 任何 布尔 函数 ， 如 入 (与 )、V (或 )、 一 
GE), — GAW), e C4H4). 

3. 括号 。( 不 失 一 般 性 ， 假 定 没有 宛 余 的 括号 ， 即 每 个 布尔 连接 符 至 多 包含 一 对 括号 。) 

很 容易 对 一 个 布尔 公式 % 进行 编码 ， 使 其 长 度 是 关于 n 十 m 的 多 项 式 。 如 在 布尔 组 合 电路 中 一 
样 ， 关 于 一 个 布尔 公式 $ 的 真 值 赋值 是 为 $ 中 各 变量 所 取 的 一 组 值 ， 可 满足 性 赋值 是 指使 公式 $ 
的 值 为 1 的 真 值 赋值 。 具 有 可 满足 性 赋值 的 公式 就 是 可 满足 公式 。 可 满足 性 问题 提出 如 下 问题 : 
“一 个 给 定 的 布尔 公式 是 不 是 可 满足 的 ?” 用 形式 语言 的 术语 来 表达 ， 就 是 : 
SAT={(¢): $8 是 一 个 可 满足 的 布尔 公式 } 
pilin, Asx 
$= (ay > xm) VCO ner) V xz)) ATX 
具有 可 满足 性 赋值 (zi =0, 2, =0, =l, 1. =1), AW 
$= (CO 0) V 一 (CO<>1) V ID ATWO=AVraAVID)A! 

=(1V0)A1=1 (34. 2) 
Alt, ZAR $ BF SAT. 

“确定 一 个 任意 的 布尔 公式 是 否 是 可 满足 的 ?这 一 问题 没有 多 项 式 运 行 时 间 的 朴素 算法 。 在 
一 个 具有 个 变量 的 公式 中 ， 有 2" 种 可 能 的 赋值 。 如 果 ( 允 的 长 度 是 关于 对 的 多 项 式 ， 则 检查 每 
一 种 赋值 需要 Q(2") 时 间 ， 这 是 (多 长 度 的 超 多 项 式 。 正 如 下 面 定理 所 述 ， 此 时 ， 不 太 可 能 存在 
多 项 式 时 间 的 算法 。 

定理 34.9 布尔 公式 的 可 满足 性 问题 是 NP 完全 的 。 

证 明 首先 证 明 SATENP， 然 后 通过 证 明 CIRCUIT-SAT<,SAT, 来 证 明 SAT 是 NP 难度 
的 ; 根据 引 理 34.8， 这 将 证 明定 理 成 立 。 

为 了 证 明 SAT 属于 NP， 我 们 来 证 明 对 于 输入 公式 $, 由 它 的 一 个 可 满足 性 赋值 所 组 成 的 证 
书 可 以 在 多 项 式 时 间 内 得 到 验证 。 验 证 算法 将 公式 中 的 每 个 变量 替换 为 其 对 应 的 值 ， 再 对 公式 
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进行 求解 ， 这 一 做 法 与 式 (34. 2) 的 做 法 非常 类 似 。 这 一 任务 很 容易 在 多 项 式 时 间 内 完成 ， 如 果 表 
达 式 的 值 为 1， 则 算法 得 到 验证 ， 此 表达 式 是 可 满足 的 。 因 此 ， 引 理 34. 8 PAR NP 完全 性 的 第 
一 个 条 件 就 成 立 了 。 

为 了 证 明 SAT 是 NP 难度 的 ， 首 先 来 证 明 CIRCUIT-SAT<bpSAT。 换 句 话 说 ,我 们 需要 证 
明 的 是 ， 电 路 可 满足 性 问题 的 任何 实例 可 以 在 多 项 式 时 间 内 归 约 为 公式 可 满足 性 问题 的 一 个 实 
例 。 利 用 归纳 法 ， 可 以 将 任意 布尔 组 合 电路 表示 为 一 个 布尔 公式 。 观 察 一 下 产生 电路 输出 的 逻辑 
门 ， 并 归纳 地 将 每 个 逻辑 门 的 输入 表示 为 公式 。 于 是 ， 通 过 写 出 一 个 表达 式 ， 将 逻辑 门 的 功能 作 
用 于 其 输入 的 公式 ， 即 可 获得 与 电路 对 应 的 公式 了 。 

遗憾 的 是 ， 用 这 种 直接 的 方法 并 不 能 构成 一 个 多 项 式 时 间 的 归 约 过 程 。 如 练习 34. 4-1 所 要 
求 的， 证 明 共享 的 子 公式 (它们 源 自 于 那些 输出 线 的 扁 出 为 2 或 更 多 的 逻辑 门 ) 会 使 得 所 生成 的 公 
式 的 规模 呈 指 数 增长 。 因 此 ， 从 某 种 意义 上 来 说 ， 我 们 采用 归 约 算法 是 更 明智 的 。 

图 34-10 利用 图 34-8(a) 中 的 电路 说 明了 我 们 该 如 何 克 服 这 一 问题 。 对 电路 C 中 的 每 一 根 线 
Xi， 公式 $ 中 都 有 一 个 变量 xz;。 我 们 现在 可 以 说 明 如 何 将 逻辑 门 操作 表示 为 关于 其 附属 线路 变量 
的 公式 。 例 如 ， 输 出 “与 ” 门 的 操作 为 zi 《xi 人 zs 人 zs)。 我 们 把 这 些 附属 公式 称 为 子 句 。 


x Xs 
X 
Dd Xg 
y X, xX. > 
5 Mož 和 


图 34-10 把 电路 可 满足 性 归 约 为 公式 可 满足 性 。 在 归 约 算法 所 
产生 的 公式 中 ， 电 路 的 每 根 线 都 有 着 一 个 对 应 的 变量 


此 归 约 算法 产生 的 公式 为 $， 它 是 电路 输出 变量 与 描述 每 个 门 操作 的 子 句 合 取 式 的 “与 "。 对 
图 中 的 电路 ， 相 应 的 公式 为 : 

$= Zio A (ay x) 
A (as (ax, V æ) 
A (Um 
A Up MB A %)) 
A (we (rs V 25)) 
A Cark V x7)) 
A Caola A a N a) 


给 定 一 个 电路 C， 就 可 以 直接 在 多 项 式 时 间 内 产生 这 样 的 一 个 公式 $。 

为 什么 只 有 当 公 式 #$ 可 满足 时 ， 电 路 C 才 是 可 满足 的 呢 ? 如 果 C 具 有 一 个 可 满足 性 赋值 ， 那 
么 电路 的 每 条 线路 都 有 一 个 良 定 义 的 值 ， 并 且 电 路 的 输出 为 1。 因 此 ， 用 线路 的 值 对 $ 中 的 每 个 
变量 赋值 后 ， 就 使 得 $ 中 每 个 子 句 的 值 为 1， 因 而 ， 所 有 子 句 的 合 取 值 也 为 1。 反 之 ， 如 果 存 在 
一 个 赋值 风 的 值 为 1， 则 类 似 可 证 电路 C 是 可 满足 的 。 这 样 就 证 明了 CIRCUIT-SAT<; SAT, M 
而 问题 得 证 。 a 

3-CNF 可 满足 性 

根据 公式 可 满足 性 进行 归 约 ， 可 以 证 明 很 多 问题 是 NP 完全 问题 。 归 约 算法 必须 能 够 处 理 任 
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何 输入 公式 ， 但 这 样 一 来 ， 就 必须 考虑 大 量 的 情况 。 因 此 ， 常 常 需要 根据 布尔 公式 的 一 种 限制 性 
语言 来 进行 归 约 ， 以 减少 考虑 的 情况 。 当 然 ， 我 们 不 应 该 由 于 对 该 语言 的 限制 过 多 ， 而 使 其 成 为 
多 项 式 时 间 可 解 的 语言 。3-CNF 可 满足 性 (或 3-CNF-SAT) 就 是 这 样 一 种 方便 的 语言 。 

我 们 运用 下 列 术 语 来 定义 3-CNF 可 满足 性 。 布 尔 公 式 中 的 一 个 文字 (literal) 是 指 一 个 变量 或 
变量 的 “ 非 ?。 如 果 一 个 布尔 公式 可 以 表示 为 所 有 子 句 的 “与 ?， 并 且 每 个 子 句 都 是 一 个 或 多 个 文字 
的 “或 >， 则 称 该 布尔 公式 为 合 取 范 式 ， 或 CNF(conjunctive normal form) 。 如 果 公 式 中 每 个 子 句 
恰好 都 有 三 个 不 同 的 “文字 ”， 则 称 该 布尔 公式 为 3 合 取 范 式 ， 或 3-CNF。 

例如 ， 布 尔 公式 

la Vez Vaan A (YVR Via) A Gwe VS YS 
就 是 一 个 3 合 取 范式 ， 其 三 个 子 句 中 的 第 一 个 为 (zi V 一 zi1V 一 zz)， 它 包含 了 三 个 文字 a. nx 
和 一 x 。 

在 3-CNF-SAT 问题 中 ， 有 这 样 的 问题 ，3-CNF 形式 的 一 个 给 定 布尔 公式 $ 是否 可 满足 ? 下 
面 的 定理 说 明 ， 即 便当 布尔 公式 表述 为 这 种 简单 范式 时 ， 也 不 可 能 存在 多 项 式 时 间 的 算法 以 确 
定 其 可 满足 性 。 

定理 34. 10 3 合 取 范式 形式 的 布尔 公式 的 可 满足 性 问题 是 NP 完全 的 。 

证 明 为 了 证 明 3-CNF-SATCNP, 我 们 可 以 采用 在 证 明 
定理 34. 9 时 ， 为 证 明 SATE NP 所 采用 的 方法 。 因 此 ， 根据 
引 理 34.8， 仅 需要 证 明 SAT<,3-CNF-SAT, 

归 约 算法 可 以 分 为 三 个 基本 步 又。 每 一 步骤 都 逐渐 使 输 
人 公式 $ 向 所 要 求 的 3 合 取 范式 接近 。 

第 一 步 与 在 定理 34. 9 中 用 于 证 明 CIRCUIT-SAT<,SAT 
的 过 程 相同 ， 首 先 ， 为 输入 公式 $ 构造 一 棵 二 叉 “ 语 法 分 析 ” 
树 ， 将 文字 作为 树叶 而 连接 词 作 为 内 部 顶点 。 图 34-11 说 明了 
AD 

$= (a> an.) V We xaer)) Va) Na 





(34.3) 3411 与 公式 时 (CCz 一 zz)V 
的 一 棵 语法 分 析 树 。 如 果 输入 公式 中 有 包含 数 个 文字 的 “或 ” Bi ea 
的 子 句 ， 就 可 以 利用 结合 律 对 表达 式 加 上 括号 ， 使 得 在 所 产 ay 
生 的 树 中 的 每 一 个 内 部 结 点 上 均 有 一 个 或 者 两 个 孩子 。 现 在 ， 我 们 就 可 以 把 二 又 语法 分 析 树 视 
为 计算 该 函数 的 一 个 电路 了 。 
仿照 证 明定 理 34. 9 所 用 到 的 归 约 过 程 ， 我 们 为 每 个 内 部 顶点 的 输出 引入 一 个 变量 y;。 然 后 
把 原始 公式 $ 改 写 为 根 变量 与 描述 每 个 项 点 操作 的 子 句 的 合 取 的 “与 "。 公 式 (34. 3) 经 改写 后 所 得 
的 表达 式 为 : 
$= yA oy AT zx)) 
A (ye Cys V yd) 
A Cys (a, > 22)) 
A (use ys) 
A Cys <> (ys V wD 
A (ys e> CO 21 23)) 
注意 ， 这 样 得 到 的 公式 风 是 所 有 子 句 党 的 合 取 式 ， 每 一 个 子 句 兴 至 多 有 3 个 “文字 ”。 此 
外 ,我 们 唯一 有 可 能 忽略 的 就 是 每 个 子 句 都 是 文字 的 “或 ”。 
归 约 的 第 二 步 是 把 每 个 子 句 党 都 转换 为 合 取 范式 。 通过 对 党 中 变量 的 所 有 的 赋值 进行 计 
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算 ， 从 而 构造 出 WW 的 真 值 表 。 真 值 表 中 的 每 一 行 都 包括 子 句 变量 的 一 种 可 能 的 赋值 和 根据 这 一 
赋值 所 计算 出 来 的 子 句 的 值 。 如 果 运 用 真 值 表 中 值 为 0 的 项 ， 就 可 以 构造 出 公式 的 析 取 范式 











(disjunctive normal form，DNF) ， 即 一 个 “与 ?的 “或 ?， 它 等 价 p yn x O; — yix) 
Topi. Ma, BAE + 摩根 定律 (等 式 (B. 2)): E : 
=la À b) =a V >b Iio ai 0 
aV D =a Amh E : 
把 所 有 文字 取 补 ， 并 把 “或 " 变 成 < 与 ”~、“ 与 " 变 成 或 ", R |0 1 o 
可 以 把 公式 变换 为 CNF 公式 由 。 s : 











在 我 们 所 举 的 例子 中 ， 按 如 下 方式 把 子 句 册 二 (yi>《ys A 
一 zz)) 变 换 为 CNF。 图 34-12 中 给 出 了 多 的 真 值 表 。 与 一 点 等 图 34-12 FA Cn A 2)) 
价 的 DNF 公式 为 的 真 值 表 

(yi Ave Nw) V On Ata Aa) V 
(yn AT» Ata) V On Am Am) 
应 用 德 。 摩 根 定律 ， 可 以 得 到 CNF 公式 : 
8 = ("ny Vo» Vm) A Om Vo» Vann) 
A Com Vw V a2) A On Vay V æ) 
ESRF RAF $. 

现在 ,公式 8 的 每 个 子 句 办 已 经 转换 为 一 个 CNF 公式 站， 因此 ，# 等 价 于 由 Y, 的 合 取 式 组 
成 的 CNF 公式 8。 此 外 ，# 的 每 个 子 句 至 多 包含 3 个“ 文字”。 

归 约 的 第 三 步 ( 即 最 后 一 步 ) 就 是 对 公式 进一步 进行 变换 ， 使 得 每 个 子 句 恰好 有 3 个 不 同 的 文 
字 。 最 后 根据 CNF 公式 风 的 子 句 构造 出 3-CNF 公式 2”, AR 扩 使 用 了 两 个 辅助 变量 pp 和 gq。 对 
六 中 的 每 个 子 句 CG, E 大 中 包含 下 列子 句 : 

。 WRG 中 有 3 个 不 同 的 文字 ， 则 直接 把 C; 作为 8” 中 的 一 个 子 句 。 
。 WRG 中 有 两 个 不 同 的 文字 ， 即 如 果 GSVL), HPL ML AS, MARIE VV 
尹 人 (4V EV 一 力作 为 六 的 子 句 。 文 字 p 和 一 仅仅 是 为 了 满足 每 个 子 句 必须 恰 有 3 个 不 同 
的 文字 这 一 语法 要 求 。 不 论 p= 二 0 或 pb 二 1，(4V4V PA(hVEV 一 力 都 等 价 于 LV4。 
。 WRG 中 仅 有 一 个 文字 !， 则 把 
UV PVONUV EVI DAUVApPVOAUV7pV-7q@ 
作为 六 的 子 句 。 注 意 p 和 9g 的 每 一 种 取 值 都 使 4 个 子 句 的 合 取 式 的 值 为 1。 

现在 我 们 可 以 看 出 3-CNF 公式 几 是 可 满足 的 ， 当 且 仅 当 上 述 三 个 步骤 的 每 一 步 中 ，Y 都 是 
可 满足 的 。 像 从 CIRCUIT-SAT 归 约 为 SAT 的 过 程 一 样 ， 第 一 步 根据 #$ 构 造 # 的 过 程 保持 可 满 
足 性 ,第 二 步 产 生 的 CNF 公式 六 在 代数 上 与 # 等 价 ， 第 三 步 产 生 的 3-CNF 公式 "USO 8", 
这 是 因为 对 变量 p 和 9g 的 任意 赋值 所 产生 的 公式 在 代数 上 与 等 价 。 

此 外 ， 还 必须 证 明 归 约 可 以 在 多 项 式 时 间 内 完成 。 从 % 构造 光 中 的 每 个 连接 词 至 多 引入 一 个 
变量 和 一 个 子 句 。 从 风 构 造 六 的 过 程 对 #8 中 的 每 一 个 子 句 则 至 多 在 中 引入 8 个 子 句 ， 这 是 因为 
上 中 的 每 个 子 句 至 多 有 3 个 变量 ， 因 此 每 个 子 句 的 真 值 表 至 多 有 2 二 8 行 。 从 构造 好 的 过 程 对 
中 的 每 个 子 句 至 多 在 六 中 引入 4 个 子 句 。 因 此 ， 所 产生 的 最 终 公 式 好 的 规模 是 关于 原始 公式 长 
度 的 多 项 式 。 因 此 ， 我 们 可 以 轻松 地 在 多 项 式 时 间 内 完成 每 一 步 构造 过 程 。 m 


练习 
34. 4-1 考虑 一 下 在 定理 34. 9 的 证 明 过 程 中 运用 直接 ( 非 多 项 式 时 间 ) 归 约 。 描 述 一 个 规模 为 n 的 
电路 ， 运 用 这 种 归 约 思想 将 其 转换 为 一 个 公式 时 ， 能 产生 一 个 规模 为 n 的 指数 的 公式 。 
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34.4-2 ” 写 出 将 定理 34. 10 中 的 方法 应 用 于 公式 (34. 3) 时 所 得 到 的 3-CNF 公式 。 

34.4-3 Jagger 教授 提出 ， 在 定理 34. 10 WUE, DUAR RRA eR, we 
能 证 明 SAT<<p3-CNF-SAT。 也 就 是 说 ， 这 位 教授 试图 取 布 尔 公式 %， 形 成 有 关 其 变量 

1085 的 真 值 表 ， 根 据 其 真 值 表 导 出 一 个 3-CNF 形式 的 、 等 价 于 一 $ 的 公式 ， 再 对 公式 取 反 ， 
并 运用 德 。 摩根 定律 ， 从 而 可 以 得 到 一 个 等 价 于 % 的 3-CNF 公式 。 证明: 这 一 策略 不 能 
产生 多 项 式 时 间 的 归 约 。 

34. 4-4 证 明 : 确定 某 一 布尔 公式 是 否 为 重 言 式 这 一 问题 对 co-NP 来 说 是 完全 的 。( 提 示 : WA 
3} 84, 3-7.) 

34.4-5 证 明 : 确定 析 取 范式 形式 的 布尔 公式 的 可 满足 性 这 一 问题 是 多 项 式 时 间 可 和 解 的 。 

34.4-6 ”假设 已 知 某 一 个 判定 公式 可 满足 性 的 多 项 式 时 间 算 法 。 请 说 明 如 何 利 用 这 一 算法 在 多 项 
式 时 间 内 找 出 可 满足 性 赋值 。 

34.4-7 设 2-CNF-SAT 是 CNF 形式 的 、 每 个 子 句 中 恰 有 两 个 文字 的 可 满足 公式 的 集合 ， 证 明 : 
2-CNF-SATEP。 尽 可 能 优化 你 的 算法 效率 。( 提 示 : 注意 xVy 与 一 zy 是 等 价 的 。 将 
2-CNF-SAT 归 约 为 一 个 在 有 向 图 上 高 效 可 解 的 问题 ,) 

34.5 ”NP 完全 问题 
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NP 完全 问题 产生 于 各 种 不 同 领域 : 布尔 逻辑 ， 图 论 ， 算法， 网 络 设计 ， 集合 与 划分 ， 存储 


与 检索 ， 排 序 与 调度 ， 数 学 程序 设计 ， 代 数 与 数 
论 ， 游 戏 与 难 解 问 题 ， 自 动机 与 语言 理论 ， 程 序 优 
化 ， 生 物 学 ， 化 学 ， 物 理 ， 等 等 。 在 本 节 中 ， 我 们 
将 运用 归 约 方法 ， 对 于 从 图 论 到 集合 划分 的 各 种 问 
题 进行 NP 完全 性 的 证 明 。 

图 34-13 给 出 了 在 本 节 和 34. 4 节 中 进行 的 NP 
完全 性 证 明 的 流程 结构 。 图 中 每 种 语言 都 含有 指向 
它 的 语言 ， 我 们 把 该 语言 进行 归 约 ， 从 而 证 明 其 所 
指向 语言 的 NP 完全 性 。 其 根 为 CIRCUIT-SAT， 
我 们 在 定理 34.7 中 已 经 证 明了 它 是 NP 完全 语言 。 


34.5.1 团 问题 


无 向 图 G 二 (V，E) 中 的 团 (clique) 是 一 个 顶点 
子 集 WESV， 其 中 每 一 对 顶点 之 间 都 由 已 中 的 一 条 
边 来 连接 。 换 句 话 说， 一 个 团 是 G 的 一 个 完全 子 
图 。 团 的 规模 是 指 它 所 包含 的 顶点 数 。 团 问题 是 关 
于 寻找 图 中 规模 最 大 的 团 的 最 优化 问题 。 作 为 判定 





图 34-13 





34. 4 节 和 34.5 节 中 NP 完全 性 证 
明 的 结构 ， 所 有 的 证 明 最 终 都 是 通 
过 对 CIRCUIT-SAT 的 NP 完全 性 
归 约 而 得 到 的 


问题 ， 我 们 仅仅 要 考虑 的 是 : 在 图 中 是 否 存 在 一 个 给 定 规模 为 & 的 团 ? 其 形式 定义 为 : 
CLIQUE={(G, k): G 是 一 个 包含 规模 为 & 的 团 的 图 》 
要 确定 具有 |V | 个 顶点 的 图 G 二 (V，E) 是 否 包 含 一 个 规模 为 的 团 ， 一 种 朴素 算法 是 列 出 V 


的 所 有 上 子 集 ， 并 对 其 中 的 每 一 个 进行 检查 ， 看 它 是 否 形成 一 个 团 。 该 算法 的 运行 时 间 是 
ofe YI). 如 果 避 为 常数 ， 那 么 该 算法 是 多 项 式 时 间 的 。 但 是 ， 在 一 般 情况 下 ,可 能 接近 于 
IV1/2， 这 样 一 来 ,算法 的 运行 时 间 就 是 超 多 项 式 时 间 。 事 实 上 ， 团 问题 的 有 效 算法 是 不 大 可 能 


存在 的 。 


定理 34. 11 团 问 题 是 NP 完全 的 。 
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证 明 为 了 证 明 CLIQUEE NP， 对 一 个 给 定 的 图 G=(V, E), AB PILAR V EV 作为 G 
的 一 个 证 书 。 对 于 任意 一 对 顶点 uw，vEV'， 通 过 检查 边 (u，wv) 是 否 属 于 ,就 可 以 在 多 项 式 时 
间 内 确定 “是否 是 团 。 

下 一 步 来 证 明 3-CNF-SAT<pCLIQUE， 以 此 来 说 明 团 问题 是 NP 难度 的 。 从 某 种 意义 来 说 ， 
我 们 能 证 明 这 一 结论 是 令 人 惊奇 的 ， 因 为 从 表面 上 看 ， 逻 辑 公式 与 图 几乎 没有 什么 联系 。 

该 归 约 算法 从 一 个 3-CNF-SAT 的 实例 开始 。 设 P=C, AC, Av AC, 是 3-CNF 形式 中 一 个 具 
有 上 个 子 句 的 布尔 公式 。 对 r=1l, 2, =, k, BATAC 中 恰好 有 3 个 不 同 的 文字 OL G M G. 
我 们 将 构造 一 个 图 G 使 得 # 是 可 满足 的 ， 当 且 仪 当 G 包 含 一 个 规 摸 为 & 的 团 。 

我 们 按照 以 下 要 求 构 造 图 G: 对 $$ 中 的 每 个 子 句 G, 二 (Li V&V 4)， 我 们 把 3 个 顶点 WwW、 芯 
Al uv; 组 成 的 三 元 组 放 入 V 中 。 如 果 下 列 两 个 条 件 同 时 满足 ， 就 用 一 条 边 连接 顶点 v7 和 vj;。 

。 v7? 和 w; 处 于 不 同 的 三 元 组 中 ， 即 rés. 

。 它们 的 相应 “文字 ”是 一 致 的 ， 即 于 不 是 二 的 非 。 
根据 $ 可 以 很 轻易 地 在 多 项 式 时间 内 计算 出 该 图 。 通 过 以 下 例子 来 说 明 这 一 构造 过 程 。 如 果 有 : 

$= (my Vw Vox) A Cx Vm Va) h(a V a V ay) 

则 G 就 是 图 34-14 所 示 的 图 。 


C\=x, Vax, V= 


C= Ve Vx; 





Čen Vr VG 








图 34-14 在 由 3-CNF-SAT 归 约 到 CLIQUE 的 过 程 中 ， 由 3-CNF 公式 4=C, AC, AC, 导出 的 
图 C， 其 中 G=: V> rV ar), C=C z Vaz: Vr), G= V TV z) 


该 公式 的 一 组 可 满足 赋值 为 2.=0, n=l, 1 为 0 或 者 1。 这 一 赋值 以 一 x, WEG, Wx, 
满足 C 和 Cs， 与 浅 阴影 项 点 所 构成 的 团 集 相对 应 。 

我 们 必须 证 明 从 % 到 C 的 转换 过 程 是 一 种 归 约 过 程 。 首 先 ， 假定 # 有 一 个 可 满足 性 赋值 。 那 
么 ， 每 个 子 句 C, 至 少 包含 一 个 文字 好， 将 此 文字 赋值 为 1， 并 且 把 每 个 这 样 的 文字 对 应 于 一 个 顶 
点 区 。 从 上 述 的 每 个 子 句 中 挑选 出 一 个 这 样 的 “ 真 ” 文 字 ， 就 得 到 & 个 顶点 组 成 的 集合  。 可 以 
断言 VY 是 一 个 团 。 对 于 任意 的 两 个 顶点 外，$EV'(r 关 ;)， 根据 给 定 的 可 满足 性 赋值 ， 两 个 顶点 
相应 的 文字 UF AL; 都 被 映射 为 1， 这 两 种 文字 不 可 能 是 互补 的 关系 。 因 此 ， 根据 G 的 构造 ， 
Wu, GEE, 

反之 , 假定 G 有 一 个 规模 为 的 团 V'。G 中 没有 连接 同一 个 三 元 组 中 的 顶点 的 边 ， 因 此 ， 信 
中 恰好 包含 每 个 三 元 组 的 一 个 顶点 。 我 们 可 以 把 每 个 满足 wzEV 的 文字 好 赋值 为 1， 并 且 不 必 担 心 
会 出 现 一 个 文字 与 其 补 同时 为 1 的 情况 ， 这 是 因为 在 G 中 ， 不 一 致 文字 之 间 不 存在 连 线 。 由 于 每 
个 子 句 都 是 可 满足 的 ， 因 此 % 也 是 可 满足 的 。( 不 与 团 之 中 顶点 相对 应 的 变量 可 以 随意 设置 。) 
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在 图 34-14 的 例子 中 ，$ 的 一 个 可 满足 性 赋值 为 zz 二 0，zs 二 1。 规 模 为 3 的 相应 团 由 对 应 于 
第 一 个 子 句 中 的 一 xz;、 第 二 个 子 句 中 的 xz 和 第 三 个 子 句 中 的 zs 的 顶点 所 组 成 。 由 于 该 团 不 包含 
对 应 于 zi Roa 的 顶点 ， 因 此 ， 在 这 个 可 满足 性 赋值 中 ， 可 以 将 xz 设置 为 0 或 1。 

注意 在 定理 34. 11 的 证 明 中 ， 我 们 将 3-CNF-SAT 的 任意 一 个 实例 归 约 成 了 具有 某 种 特定 结 
构 的 CLIQUE 的 实例 。 从 表面 上 看 来 ， 似 乎 是 我 们 仅 证 明了 CLIQUE 在 有 些 图 中 是 NP 难度 的 ， 
在 这 些 图 中 ， 顶 点 被 限制 为 以 三 元 组 形式 出 现 ， 且 同一 三 元 组 中 的 顶点 之 间 没 有 边 。 事 实 上 ,我 
们 的 确 仅 证 明了 CLIQUE 在 这 种 受 限 的 情况 下 才 是 NP 难度 的 , 但 是 ， 这 一 证 明 足 以 证 明 在 一 般 
的 图 中 ，CLIQUE 也 是 NP 难度 的 。 这 是 为 什么 呢 ? 如 果 有 一 个 能 在 一 般 的 图 上 解决 CLIQUE 
问题 的 多 项 式 时 间 算 法 ,那么 它 就 能 在 受 限 的 图 上 解决 CLIQUE 问题 。 

另 一 方面 ， 将 带 有 某 种 特殊 结构 的 3-CNF-SAT 的 实例 归 约 为 一 般 性 的 CLIQUE 的 实例 还 不 
够 。 为 什么 这 么 说 呢 ? 有 可 能 我 们 选择 来 进行 归 约 的 3-CNF-SAT 的 实例 比较 容易 ， 因 而 无 法 将 
— NP 难度 的 问题 归 约 为 CLIQUE, 

另外 ， 还 要 注意 一 下 3-CNF-SAT 的 实例 中 所 用 到 的 归 约 ， 而 不 仅 是 它 的 解决 方案 。 如 果 多 
项 式 时 间 的 归 约 的 前 提 是 已 经 知道 公式 % 是 否 是 可 满足 的 ， 则 会 导致 错误 ， 因 为 我 们 并 不 知道 如 
何在 多 项 式 时 间 内 判定 % 是 否 是 可 满足 的 。 


34.5.2 顶点 覆盖 问题 


无 向 图 G 二 (V，E) 的 项 点 覆盖 (vertex cover) 是 一 个 子 集 VCV， 满足 如 果 有 (ww，v) EE， 则 
uEV KvEV (或 两 者 同时 成 立 ) 。 也 就 是 说 ， 每 个 顶点 “覆盖 ”与 其 相关 联 的 边 ， 并 且 G 的 顶点 
覆盖 是 覆盖 EE 中 所 有 边 的 项 点 所 组 成 的 集合 。 顶 点 覆盖 的 规模 是 指 它 所 包含 的 项 点数。 例如 ， 
图 34-15(b) 中 有 一 个 规模 为 2 的 顶点 覆盖 {w，z}。 








(a) b) 


Al 34-15 把 CLIQUE 归 约 为 VERTEX-COVER。(a) 一 个 包含 团 V'=={u，v，xz，y} 的 无 向 图 
G 二 (V，E)。(b) 由 归 约 算法 产生 图 G。 此 图 中 包含 顶点 覆盖 V 一 V'=={w，z} 


顶点 覆盖 问题 是 指 在 一 个 给 定 的 图 中 ， 找 出 具有 最 小 规模 的 顶点 覆盖 。 把 这 一 最 优化 问题 
重新 表述 为 一 个 判定 问题 ， 即 确定 一 个 图 是 否 具有 一 个 给 定 规模 的 顶点 覆盖 。 作 为 一 种 语言 ， 
我 们 定义 

VERTEX-COVER=({(G, k): 图 G 有 一 个 规模 为 k 的 顶点 覆盖 》 

下 面 的 定理 证 明了 这 一 问题 是 一 个 NP 完全 的 。 

定理 34. 12 顶点 覆盖 问题 是 NP 完全 的 。 

证 明 首先 来 证 明 VERTEX-COVERE NP. 假定 已 知 一 个 图 G 一 (V，E) 和 整数 上， 我 们 选 
取 的 证 书 是 顶点 覆盖 VSV 自身 。 验 证 算法 可 证 实 |V'| ==&， 然 后 对 每 条 边 (u，v) EE， 检 查 是 
BA xEV RK veV'. 我 们 可 以 很 容易 在 多 项 式 时 间 内 验证 这 一 问题 。 

我 们 通过 证 明 CLIQUES, VERTEX-COVER 来 证 明 顶 点 覆盖 问题 是 NP 难度 的 。 这 一 归 约 
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过 程 是 以 “ 补 图 ”的 概念 为 基础 的 。 给 定 一 个 无 向 图 G 二 (V，E)， 定义 G 的 补 图 G==(V, E), 其 
Hh E=({(u, v): u, vEV, uxv, (u, v 儿 E}。 换 句 话 说 ， G 是 正好 包含 不 在 G 中 的 那些 边 的 
图 。 图 34-15 显示 出 了 一 个 图 与 其 补 图 ， 并 说 明了 从 CLIQUE 到 VERTEX-COVER 的 归 约 过 程 。 
归 约 算法 的 输入 是 团 问题 的 实例 (G，&)。 它 计算 出 补 图 G， 这 很 容易 在 多 项 式 时 间 内 完成 。 
归 约 算法 的 输出 是 顶点 覆盖 问题 的 实例 (G，|V| 一 &)。 为 了 完成 证 明 ， 下 面 来 说 明 该 变换 的 确 
是 一 个 归 约 过 程 : 图 G 具有 一 个 规模 为 的 团 ， 当 且 仅 当 图 G 有 一 个 规模 为 |V| 一 & 的 顶点 
覆盖 。 
假设 G 包 含 一 个 团 VCV， 其 中 |V'| =k RIKE: V-V 是 G 中 的 一 个 顶点 覆盖 。 设 
(u, VÆ E PRIER, WAU, V FE， 这 证 明了 或 v 中 至 少 有 一 个 不 属于 ， 这 是 由 于 
V' 中 每 一 对 顶点 间 都 至 少 有 一 条 玉 中 的 边 与 其 相连 。 等 价 地 ，v 或 中 至 少 有 一 个 属于 V 一 V ， 
这 意味 着 边 (x， 切 是 被 V 一 公所 覆盖 。 由 于 (x， 切 是 从 巨 中 任意 选取 的 边 ， 所 以 五 的 每 条 边 都 
被 V 一 V' 中 的 一 个 顶点 所 覆盖 。 因 此 ， 规 模 为 |V| 一 的 集合 V 一 V' 形 成 了 G 的 一 个 顶点 覆盖 。 
RZ, 假设 G 具 有 一 个 顶点 覆盖 VSCV， 其 中 |V'|= 二 1V| 一。 那么 ,对 所 有 uw，vEV， 如 
Riu, vw)EE， 则 wuEV' 或 EV' 或 两 者 同时 成 立 。 与 此 相对 ， 对 所 有 u, vEV, 如果 u&V' 且 
v€V', Wu, DEE, MHL, V-V 是 一 个 困 ， 其 规模 为 |V| 一 | 六 | =. a 
由 于 VERTEX-COVER 是 NP 完全 的 ， 所 以 我 们 并 不 期 望 能 找 出 一 种 多 项 式 时 间 的 算法 来 
寻找 最 小 规模 的 顶点 覆盖 。 然 而 ，35. 1 节 介 绍 了 一 种 多 项 式 时 间 的 “近似 算法 ”， 它 可 以 产生 项 
点 覆盖 问题 的 “近似 ” 解 。 该 算法 所 产生 的 顶点 覆盖 的 规模 至 多 为 最 小 规模 顶点 覆盖 的 2 倍 。 
因此 ， 我 们 不 应 该 因为 某 个 问题 是 NP 完全 的 而 放弃 希望 。 对 这 样 的 问题 ， 尽 管 寻找 其 最 优 
解 是 NP 完全 问题 ， 但 依然 可 能 设计 出 某 种 多 项 式 时 间 的 近似 算法 ， 来 获得 它 的 近似 最 优 解 。 第 
35 章 介绍 了 几 个 NP 完全 问题 的 近似 算法 。 


34. 5.3 ”哈密 顿 回路 问题 


现在 ， 我 们 再 回 过 头 来 讨论 34. 2 节 中 定义 的 哈密 顿 回路 问题 。 

定理 34.13 哈密 顿 回路 问题 是 NP 完全 问题 。 

WEAR RHH HAM-CYCLE 属于 NP。 已 知 一 个 图 G 二 (V，E)， 我 们 选取 的 证 书 是 形成 
哈密 顿 回 路 的 |V | 个 顶点 所 组 成 的 序列 。 验 证 算法 检查 到 这 一 序列 恰好 包含 v 中 每 个 顶点 一 次 
(但 第 一 个 顶点 会 在 末尾 重复 出 现 一 次 )， 并 且 它 们 在 G 中 形成 一 个 回路 。 也 就 是 说 ， 它 要 检查 
每 一 对 连续 顶点 及 首 、 尾 顶点 之 间 是 否 都 存在 着 一 条 边 。 我 们 可 以 在 多 项 式 时 间 内 验证 这 一 
证 书 。 

现在 ， 我 们 来 证 明 VERTEX-COVER<,HAM-CYCLE, JA ifiiiEB] HAM-CYCLE 是 NP 完全 
的 。 给 定 一 个 无 向 图 G 二 (V，E) 和 一 个 整数 k， 构 造 一 个 无 向 图 G =V, E), 使 得 它 包含 一 
个 哈密 顿 回 路 ， 当 且 仅 当 G 中 有 一 个 大 小 为 & 的 顶点 覆盖 。 

上 述 构造 过 程 需 应 用 到 附件 图 (widget)， 它 是 一 个 图 的 一 部 分 ， 往 往 加 上 了 某 些 特性 。 
图 34-16(a) 中 示 出 了 我 们 用 到 的 附件 图 。 对 于 每 条 边 (u，wv) EE， 我 们 所 构造 的 图 G 都 将 包含 这 
一 附件 图 的 一 份 副 本 ， 用 W,, 来 表示 。 对 W,, 中 的 每 个 顶点 ， 用 [u，wv， 站 或 [vu，u， (KRM, 
其 中 16， 因 此 ， 每 个 附件 图 Wi, 包含 12 个 顶点 。 如 图 34-16(a) 所 示 ， 附 件 图 机 .还 包含 14 

除 附件 图 的 内 部 结构 外 ， 我 们 还 通过 限制 附件 图 与 构造 出 来 的 图 G 其 余部 分 之 间 的 连接 ， 来 
强加 一 些 有 用 的 特性 。 特 别 地 ， 只 有 顶点 Lu，wv，1]、[u，v，6j]、[v，w，1j 和 [v，wu，6j 包 含 与 外 
界 相连 的 边 。G 中 的 任何 哈密 顿 回 路 都 必须 以 图 34-16(b) 一 (d) 中 所 示 三 种 方法 中 的 某 一 种 来 遍历 
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W, 中 的 边 。 如 果 回 路 由 顶点 [uw，wv，1j 进 入 ， 则 必定 由 顶点 Lu，wv，6j 退 出 。 且 它 或 者 访问 附件 图 
中 的 12 个 顶点 (图 34-16(c)), 或 者 访问 从 [xu，v，1] 到 [u，wv，6j 的 6 个 顶点 (图 34-16(c))。 在 后 一 
种 情况 中 ， 回 路 必须 重新 进入 附件 图 以 访问 顶点 [u，v，1j 到 [ux，v，6]。 类 似 地 ， 如 果 回 路 是 从 顶 
点 [u，v，1j 进 入 的 ， 则 必须 从 顶点 [u，v，6] 退 出 ， 且 它 或 者 访问 附件 图 中 的 所 有 12 个 顶点 
(图 34-16(d)), 或 者 访问 从 [v，u，1] 到 [v，u，6] 的 6 个 顶点 (图 34-16(c))。 不 存在 上 述 以 外 的 其 
他 路 径 能 访问 附件 图 中 所 有 12 个 顶点 。 特 别 地 ， 不 可 能 构造 出 两 个 “顶点 不 相交 ”路 径 ， 其 中 一 条 
连接 Lvw， Us E Us Gls 另 一 条 连接 了 [Lv， Us 1] 和 [zw， Us 6l; 使 得 两 条 路 径 的 并 包含 了 附件 
图 中 的 所 有 顶点 。 


[u,v,1] Q [v,u,1] 





(a) 


图 34-16 在 将 顶点 覆盖 问题 归 约 为 哈密 顿 回 路 的 过 程 中 所 用 到 的 附件 图 。 图 G 的 一 条 边 (u，v) 对 应 于 归 
约 过 程 所 产生 的 图 G 中 的 附件 W。,。(a) 附 件 图 ， 其 中 的 每 个 顶点 都 加 上 了 标记 。(b) 一 (d) 加 上 
了 阴影 的 路 径 是 通过 附件 图 且 包 含 所 有 项 点 的 仅 有 的 可 能 路 径 ， 假设 从 该 附件 图 到 G 的 其 余部 
分 的 唯一 连接 是 通过 顶点 Lu， Us Li Lu, Us 6]. Lv, Us 1] 和 [v， Uy 1j 完 成 的 


除了 附件 图 中 的 那些 顶点 外 ，VY 中 唯一 的 其 他 顶点 为 选择 器 顶点 (selector vertex)s，s,，…， 
so RIAMH C 中 选择 器 顶点 关联 的 边 来 选择 G' 中 那些 能 实现 个 顶点 覆盖 的 顶点 。 

除了 附件 图 中 的 边 之 外 ，E' 中 还 有 另外 两 类 边 ， 如 图 34-17 所 示 。 首 先 ， 对 于 每 个 顶点 EV, 
都 加 入 一 些 边 来 连接 一 对 一 对 的 附件 图 ， 从 而 形成 一 条 路 径 ， 它 包含 了 所 有 对 应 于 G 中 与 关联 
的 边 的 附件 图 。 对 于 与 每 个 顶点 w€EV 相 邻 的 所 有 项 点, 将 其 任意 地 排序 为 u, uP, e, 
user) ) ， 其 中 degreel(w) 是 与 相 邻 的 顶点 的 数目 。 通 过 将 边 (Cuu 6], [usut ,1]:1 <i < 
degree(u) —1)} 加 入 EF 中 ， 即 可 在 G' 中 构造 出 一 条 穿越 所 有 附件 图 的 路 径 ， 这 些 附件 图 与 那些 
关联 于 顶点 w 上 的 边 相 对 应 。 例 如 ， 在 图 34-17 中 ， 我 们 将 与 记 相 邻 的 顶点 排序 为 z，y，z， 这 
样 图 34-17(b) 中 的 图 G 就 包含 了 边 ([w， Ts 6], [w, Js 1]) 和 ([w， Ys 6], [w, Zs IDs 对 
于 每 个 顶点 vEV，G 中 的 这 些 边 形成 了 一 条 包含 一 系列 附件 图 的 路 径 ， 这 些 附 件 图 都 与 G 中 关 
联 于 顶点 u 上 的 边 对 应 。 

这 些 边 给 我 们 的 直觉 就 是 ， 如 果 选 择 了 G 的 顶点 覆盖 中 的 某 一 顶点 wEV， 就 可 以 在 G 中 构 
造 出 一 条 从 [u，w”，1j 到 [u，ue2  ，6]] 的 路 径 ， 它 “有 覆盖 ”了 所 有 与 关联 于 顶点 u 的 边 对 应 的 
附件 图 。 也 就 是 说 ， 对 于 这 些 附件 图 中 的 每 一 个 (如 WW.,w2 )， 该 路 径 或 者 包含 所 有 的 12 个 顶点 
(如 果 妈 在 项 点 覆盖 中 ,但 zx 不 在 顶点 覆盖 中 ) ， 或 者 只 是 6 个 顶点 [v，x2 ，1]，[x，xe2 2], 
Lu, uw, 3], =e, [u, u®, 61 u Mu? 都 在 顶点 覆盖 中 ) 。 

EFE' 中 的 最 后 一 类 边 将 这 些 路 径 中 的 第 一 个 顶点 Lu，w? ，1] 及 最 后 一 个 顶点 [u，u 人 ee) ，6]] 
与 每 一 个 选择 器 顶点 连接 起 来 。 也 就 是 说 ， 包 含 了 以 下 的 边 : 

(yu sl DEV Le pee) U {Cy lew", meV lpr) 

接着 ， 我 们 要 证 明 G 的 规模 是 G 的 规模 的 多 项 式 ， 因 而 可 以 在 G 规模 的 多 项 式 时 间 内 构造 
出 G 。G 的 顶点 由 附件 图 中 的 顶点 及 选择 器 顶点 所 构成 。 每 一 个 附件 图 包含 12 个 顶点 ， 兼 过 
|V | 个 选择 器 顶点 ， 总 计 : 
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(a) 


























图 34-17 ”顶点 覆盖 问题 的 一 个 实例 归 约 为 哈密 顿 回 路 问题 的 一 个 实例 的 过 程 。(a) 一 个 无 向 图 G， 
它 有 一 个 规模 为 2 的 顶点 覆盖 ， 由 图 中 浅 阴 影 的 顶点 wH y 组 成 。(b) 归 约 过 程 所 产生 
的 无 向 图 G ， 其 中 顶点 覆盖 所 对 应 的 哈密 顿 回路 用 阴影 标识 。 顶 点 覆盖 {w，y}) 对 应 于 出 
现在 哈密 顿 回路 中 的 边 (51，[w, x, IDA, Cy, xz, 1]) 


|V | =12|E| +k<12|E|+|V| 
个 顶点 。G 中 的 边 包 括 附件 图 中 的 边 、 连 接 不 同 附件 图 的 边 和 连接 选择 器 顶点 与 附件 图 的 边 。 每 
一 个 附件 图 中 包含 14 条 边 ， 所 有 附件 图 加 起 来 有 14 | 五 | 条 边 ， 对 于 每 个 顶点 vxEV， 图 G 有 
degree(u) —1 条 附件 图 间 的 边 。 于 是 ， 对 V 中 所 有 的 顶点 求 和 ， 则 附件 图 之 间 共 有 

Dy (degree(u) — 1) =2|E|— |V| 


条 边 。 最 后 ， 每 一 对 附件 图 之 间 有 两 条 边 ， 每 一 对 边 都 由 一 个 选择 器 顶点 和 中 的 一 个 顶点 所 
构成 ， 共 有 2&|V| 条 这 样 的 边 。 因 此 ，G 中 总 边 数 为 : 
|E' |= (14/E|)+@|E| —|Vl)+ 2k| V|) 
= 16| E| + (2k—1)|V| <16|E| + @|V| 一 DVI 

现在 来 证 明 从 图 G 到 图 G' 的 变换 是 一 个 归 约 ， 即 必须 证 明 G 中 有 一 个 规模 为 & 的 顶点 覆盖 ， 当 
且 仅 当 G 中 有 一 个 哈密 顿 回路 。 

假设 G=(V，E) 中 有 一 个 规模 为 & 的 顶点 覆盖 V* CV. RV ={w, w, *, uw). WE 
34-17 所 示 ， 通 过 为 每 个 顶点 w CV 包含 以 下 边 S， 就 可 以 在 G' 中 形成 一 条 哈密 顿 回 路 。 包 含 边 
(uws w, 6], [us w, 1): 1<i<degree(u;)—1}, 它们 连接 了 所 有 与 关联 于 u: 的 边 对 
应 的 附件 图 。 此 外 ， 还 要 包含 如 图 34-16(b) 一 (d) 所 示 的 附件 图 中 的 边 ， 具 体 取决 于 那 条 边 是 否 


日” 从 技术 上 来 说 ,我 们 是 根据 项 点 定义 边 而 不 是 根据 边 来 定义 回路 ( 见 B 4 节 )。 出 于 清晰 性 的 考虑 ， 此 处 故意 “ 误 
用 ”这 一 定义 而 根据 边 来 定义 哈密 顿 回路 。 
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只 要 仔细 观察 图 34-17， 就 可 以 验证 这 些 边 确实 形成 了 一 个 回路 。 此 回路 从 s 开始， 访问 与 所 有 
关联 于 wu 的 边 对 应 的 附件 图 ， 再 访问 s， 访 问 与 所 有 关联 于 w 的 边 对 应 的 附件 图 ， 等 等 ， 直 到 
它 返 回 s 时 为 止 。 每 个 附件 图 都 被 回路 访问 了 一 次 或 两 次 ， 具体 取决 于 V" 中 的 一 个 还 是 两 个 项 
点 覆盖 了 其 对 应 的 边 。 由 于 V'* 是 图 G 的 一 个 顶点 覆盖 ，E 中 的 每 条 边 都 与 V" 中 的 某 个 顶点 关 
联 ， 因 此 回路 访问 G 的 每 个 附件 图 中 的 每 个 顶点 。 由 于 该 回路 还 要 访问 每 个 选择 器 顶点 ， 因 此 ， 
该 回路 为 哈密 顿 回 路 。 
反之 , 假设 G =(V'，E') 中 包含 了 一 个 哈密 顿 回路 CCE. RIMARRA 

Vi = we 1) E GISSA k (34. 4) 
是 G 的 一 个 顶点 覆盖 。 为 了 探究 其 原因 ， 我 们 可 以 把 C 划分 为 一 些 从 某 个 选择 器 顶点 s: 开始 的 
最 大 路 径 ， 对 于 某 个 zxEV， 它 们 遍历 一 条 边 (#，[Lz，zx? ，1])， 并 终止 于 某 个 选择 器 顶点 sj 
而 不 会 经 过 任何 其 他 的 选择 器 顶点 。 我 们 称 每 一 条 这 样 的 路 径 为 “覆盖 路 径 >。 根 据 G 的 构造 方 
式 ， 每 一 条 覆盖 路 径 都 必须 从 菜 个 顶点 s; 开始 ， 对 某 个 顶点 wEV POAC, [us u, 1D), AÑ 
MASE PREF u 的 边 对 应 的 附件 图 ， 然 后 终止 于 某 个 选择 器 顶点 s;。 我 们 称 这 一 覆盖 路 径 为 
Ps， 根据 式 (34.4)， 将 放 入 V" 。 对 于 某 个 顶点 vEV，p。 所 访问 的 每 个 附件 图 都 一 定 是 Wi 或 
Wao MF ps 所 访问 的 每 个 附件 图 ， 其 顶点 都 会 被 一 个 或 两 个 覆盖 路 径 所 访问 。 如 果 这 些 顶 点 被 
一 条 覆盖 路 径 所 访问 ， 那么 边 (u，v) EE 在 G 中 就 由 顶点 所 覆盖 。 如 果 有 两 条 覆盖 路 径 访问 了 
该 附件 图 ， 那 么 男 一 条 和 覆盖 路 径 必定 为 p,， 这 就 暗示 着 EV”, AA u, v) EE 被 顶点 u 和 w 
所 覆盖 。 因 为 每 一 个 附件 图 中 的 每 一 个 顶点 都 要 被 某 条 覆盖 路 径 所 访问 ， 所 以 不 难 发 现 ， 记 中 的 
每 一 条 边 都 由 V" 中 的 某 个 顶点 所 覆盖 。 = 


34.5.4 旅行 商 问题 
旅行 商 问题 与 哈密 顿 回路 问题 有 着 密切 的 联系 。 在 该 问题 中 ， 一 个 售货员 必须 访问 ”个 城 
市 。 如 果 把 该 问题 模型 化 为 一 个 具有 个 顶点 的 完全 图 ， 
就 可 以 说 这 个 售货员 希望 进行 一 次 巡回 旅行 ， 或 经 过 哈密 顿 
回路 ， 恰 好 访问 每 个 城市 一 次 ， 并 最 终 回 到 出 发 城市 。 这 个 
售货员 从 城市 i 到 城市 ; 的 旅行 费用 为 一 个 整数 c(i， 门 ， 旅 
行 所 需 的 全 部 费用 是 他 旅行 经 过 的 各 边 费用 之 和 ， 而 售货员 
希望 使 整个 旅行 费用 最 低 。 例 如 ， 在 图 34-18 中 ， 费 用 最 低 
的 旅行 路 线 是 (wu，w，v，z，t)， 其 费用 为 7， 与 旅行 商 问 题 图 34-18 ri ee 
‘5 spi. pat gee Che ae 示 
对 应 的 判定 问题 的 形式 语言 是 : a 
TSP={((G, c; k): G 一 (V，E) 是 一 个 完全 图 , cE 


VXV 一 Z 上 的 一 个 函数 ,k& E Z,G 中 包含 一 个 最 大 花费 为 的 旅行 回路 } 
下 面 的 定理 说 明 不 太 可 能 存在 一 种 关于 旅行 商 问题 的 快速 算法 。 

定理 34. 14 ”旅行 商 问题 是 NP 完全 的 。 

证 明 首先 来 说 明 TSP 属于 NP。 给 定 该 问题 的 一 个 实例 ， 用 回路 中 个 顶点 所 组 成 的 序列 
作为 证 书 。 验 证 算法 检查 该 序列 是 否 恰好 包含 每 个 顶点 一 次 ， 并 且 对 这 些 边 的 花费 进行 求 和 后 ， 
检查 和 是 否 至 多 为 &。 这 一 过 程 是 可 以 在 多 项 式 时 间 内 完成 的 。 

为 了 证 明 TSP 是 NP 难度 的 ， 我 们 先 来 证 明 HAM-CYCLE<pTSP。 设 G=(V, E)# HAM- 
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CYCLE 的 一 个 实例 。 构 造 TSP 的 实例 如 下 。 首 先 建立 一 个 完全 图 G' =, ED, HPE=(G, 
j): is GEV, Aj}, CLRABM cH: 
0 车 (i,j) EE 
1 #0 EE 
(注意 ， 由 于 G 是 无 向 图 ， 所 以 它 没有 自 环 路 ， 因 而 对 所 有 顶点 vEV, MA cw, =) FÆ 
(G', c ORE TSP 的 一 个 实例 ， 它 可 以 轻易 地 在 多 项 式 时 间 内 产生 。 

现在 ， 我 们 来 说 明 图 G 中 具有 一 个 哈密 顿 回路 ， 当 且 仅 当 图 G 中 有 一 个 费用 至 多 为 0 的 回 
路 。 假 定 图 G 中 有 一 个 哈密 顿 回路 h，h 中 的 每 条 边 都 属于 玉 ， 因 此 在 G 中 的 费用 为 0。 因此， h 
是 G' 中 费用 为 0 的 回路 。 反 之 ,假定 图 G' 中 有 一 个 费用 至 多 为 0 的 回路 h'。 由 于 中 边 的 费用 
只 能 是 0 或 1， 故 回路 的 费用 就 是 0， 且 回路 上 每 条 边 的 费用 必 为 0。 因 此 ,hh' 仅 包含 巨 中 的 
边 。 综 上 ,我 们 可 以 得 出 结论 ，h' 是 图 G 中 的 一 个 哈密 顿 回路 。 E 


34.5.5 子 集 和 问题 


下 面 我 们 来 考虑 一 个 算术 的 NP 完全 问题 ， 即 子 集 和 问题 (subset-sum problem) 。 在 该 问题 
中 ， 给 定 一 个 正 整数 的 有 限 集 S 和 一 个 整数 目标 上 之 0， 试 问 是 否 存在 一 个 子 集 S'S， 其 元 素 和 
Hi, Ai, 如果 S— (1, 2. Ts 14y 49, 98, 343, 686; 2409, 2793, 16 808, 17 206, 117 
705, 117993), H t=138 457, WH S'={1, 2, 7, 98, 343, 686, 2409, 17206, 117 705} 
就 是 该 问题 的 一 个 解 。 
和 通常 一 样 ， 我 们 把 该 问题 定义 为 一 种 语言 : 
SUBSET-SUM={(S, t): 存在 一 个 子 集 SGS， 使 得 上 一 》)s} 


与 任何 算术 问题 一 样 ， 重 要 的 是 记 住 在 标准 编码 中 ， 假 定 输 入 的 整数 都 是 以 二 进 制 形式 编 
码 的 。 在 这 个 假设 下 ， 可 以 证 明 对 于 子 集 和 问题 ， 不 太 可 能 存在 一 种 快速 的 算法 。 
EH 34.15 子 集 和 问题 是 NP 完全 的 。 
证 明 为 了 说 明 SUBSET-SUM 属于 NP， 对 该 问题 的 实例 (S，t)， 设 子 集 SEWEB. RII 
使 用 验证 算法 可 以 在 多 项 式 时 间 内 检查 是 否 有 + 一 24s 。 
现在 来 证 明 3-CNF-SAT<bSUBSET-SUM。 给 定 变 量 tis t, s £, 上 的 一 个 3-CNF 公式 
$， 它 由 子 句 C1，C; ，…，CG; 构成 ， 每 个 子 句 恰好 包含 3 个 不 同 的 文字 ， 归 约 算法 构造 出 子 集 和 
问题 的 一 个 实例 (S，z) 使 得 $ 是 可 满足 的 ， 当 且 仅 当 存 在 S 的 一 个 子 集 ， 其 元 素 和 恰 为 z。 不 失 
一 般 性 ， 下 面 对 #$ 做 两 个 简化 性 的 假设 。 首 先 ，$ 的 任 一 子 句 都 不 会 既 包 含 某 个 变量 ， 又 包含 该 
变量 的 非 ， 因 为 这 样 的 子 句 对 变量 的 任何 赋值 来 说 恒 成 立 。 其 次 ， 每 一 个 变量 至 少 在 一 个 子 句 中 
出 现 一 次 ， 香 则 ， 对 没有 出 现在 任何 子 句 中 的 变量 赋 任 意 值 都 是 没有 影响 的 。 
对 每 个 变量 二， 归 约 算法 都 要 在 S 中 生成 两 个 数 ; 对 每 个 子 句 C;， 也 要 在 S 中 生成 两 个 数 。 
所 生成 的 数 都 是 十 进 制 的 ， 且 每 个 数 都 包含 n 十 个 数位 ， 每 个 数位 对 应 于 一 个 变量 或 一 个 子 句 。 
十 进 制 (或 其 他 进 制 ) 有 着 我 们 所 需要 的 、 可 以 避免 从 低位 向 高 位 进位 的 性 质 。 
如 图 34-19 所 示 ， 我 们 构造 集合 S 和 目标 上 如 下 : 对 于 每 一 个 数位 ， 都 用 一 个 变量 或 一 个 子 
句 来 标记 。 最 低 有 效 & 位 用 子 句 标记 ， 最 高 有 效 ”位 用 变量 标记 。 
。 目标 i 在 每 个 用 变量 标记 的 数位 上 都 有 个 1， 在 每 个 用 子 句 标记 的 数位 上 都 有 个 4。 
。 对 于 每 个 变量 x;， 集 合 包含 两 个 整数 v; 和 zu 。 每 个 Mo, 在 xz; 所 标记 的 数位 上 都 是 1， 
其 他 变量 位 上 都 是 0。 如 果子 句 C; 中 包含 文字 T, WA v PRC, 所 标记 的 数位 包含 一 
Al MRC 中 包含 文字 一 x;， 那 么 v; PRC, 所 标记 的 数位 包含 一 个 1。 在 wv 和 w; 中， 
所 有 其 他 由 子 句 标记 的 数位 都 是 0。 
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在 集合 S 中 ， 所 有 v 和 wv! 的 值 都 是 唯一 的 。 这 是 为 什么 呢 ? 例 如， 对 于 / 隆 i， 在 最 
高 有 效 的 对 个 数位 上 ， 没 有 也 或 区 的 值 会 与 和 wv 相等。 此外， 根据 上 面 所 做 的 简化 性 
假设 ， 在 最 低 有 效 上 位 上 也 不 存在 w 和 zi 的 值 相等 。 如 果 v, 和 w; 相等 ， 那 么 zx; 和 一 
将 不 得 不 恰好 出 现 于 同一 子 句 集 SM My O O GG G 
中 。 但 是 我 们 又 假设 任何 一 个 子 
句 中 都 不 能 同时 包含 和 一 Zi， 
MA x; 和 一 zx; 其 中 之 一 出 现在 某 
一 子 句 中 ， 所 以 必定 存在 某 一 子 
AC, EA u flv; 是 不 同 的 。 

对 于 每 个 子 句 C;， 集合 S 包含 两 
个 整数 Sj Alls; » 除了 由 C; 标记 
的 数位 外 ，s; Als; 的 所 有 数位 上 
都 是 0。 对 于 s, ÆG 的 数位 上 — 
为 1， 而 对 于 s ÆG 的 数位 上 & 
为 2。 这 些 整 数 都 是 “松弛 变量 ”， 
可 以 用 其 获得 每 个 子 句 所 标记 的 J , cares 
数位 ， 从 而 将 它们 的 值 加 到 目标 1 ，” 
值 4 中 。 

只 要 简单 地 观察 一 下 图 34-19， 就 会 














发 现 所 有 s Ms, 的 值 在 集合 S 中 都 是 唯 
一 的 。 

注意 在 任意 数位 上 ， 数 位 和 的 最 大 
值 为 6， 这 个 和 出 现在 由 子 句 所 标记 的 数 
位 上 (来 自立 和 zz 的 3 个 1， 加 上 来 自 5 
Als, 的 值 1 和 2)。 因 此 ， 按 照 十 进 制 来 
解释 这 些 数 ， 就 不 会 出 现 由 低位 向 高 位 
进位 的 情况 2 。 

以 上 的 归 约 过 程 可 以 在 多 项 式 时 间 
内 完成 。 集 合 S 包含 了 2n 十 2 个 值 ， 其 
中 每 一 个 值 都 有 n 十 个 数位 ， 产 生 每 一 
个 数位 的 时 间 都 是 ntk MAG. 目标 


从 3-CNF-SAT 到 SUBSET-SUM 的 归 约 。3- 
CNF 的 公式 为 $=CAC 人 Cs 人 Ce， 其 中 
G= ViN t) G= 0C a Vaa V 
az); G= Ca Vana Va) G= V 
m \ x3). $ 的 一 个 可 满足 性 赋值 为 (zi 二 0， 
Zz 二 0，Zs 二 1)。 归 约 过 程 所 产生 的 集合 S 包 
含 了 一 些 十 进 制 数 ; 按照 从 上 往 下 的 顺序 ， 
S= {1001001, 1000110, 100001, 101110, 
10011, 11100, 1000, 2000, 100, 200, 10, 
20, 1, 2). Bit X 1114444, 子 集 S'SS 
在 图 中 用 浅 阴 影 表 示 ， 它 包含 了 vi. v 和 
v3， 对 应 于 可 满足 性 赋值 。 它 还 包含 了 松弛 变 
Bio. sis so. sss Alsi, DEH G 到 
C, 所 标记 的 数位 上 达到 目标 值 4 


t 有 nn 十 & 个 数位 ， 其 中 的 每 一 个 数位 都 可 以 由 归 约 过 程 在 常量 时 间 内 产生 。 


现在 ， 我 们 来 证 明 3-CNF 公式 % 是 可 满足 的 ， 当 上 且 仅 当 存在 一 个 子 集 SSS， 其 元 素 之 和 为 

1098 to 首先 ， 假设 风 有 一 个 可 满足 性 赋值 。 对 i=l 25 se ny 如 果 在 此 赋值 中 存在 n=l 就 将 Ui 
包含 在 集合 S 中。 否则， 就 将 u 包含 在 集合 S 中 。 换 名 话说， 我 们 是 把 在 可 满足 性 赋值 中 ， 与 
值 为 1 的 文字 对 应 的 v; Av: 值 包含 在 S 中 。 在 对 所 有 的 ;包含 了 或 wi (两 者 取 其 一 ) 之 后 ， 并 
且 将 所 有 由 s 和 s'; 中 的 变量 所 标记 的 数位 置 0 后 ， 我 们 可 以 看 出 ， 对 于 每 个 由 变量 标记 的 数位 ， 

S 中 元 素 之 和 必 为 1， 这 与 目标 上 中 的 那些 数位 正好 是 匹配 的 。 由 于 每 个 子 句 都 是 可 满足 的 ， 故 

子 句 中 必 有 茶 个 文字 的 值 为 1。 于 是 ， 由 一 个 子 句 所 标记 的 每 个 数位 都 至 少 有 一 个 1， 这 一 数据 

可 以 在 S' 元 素 的 和 值 中 ， 作 为 v 或 v; 的 值 。 事 实 上 ， 在 每 个 子 名 中， 可 能 有 1、2 或 3 个 文字 的 





O 事实 上 ,任何 一 个 满足 5 宇 7 的 进 制 2 都 是 可 以 的 。 这 一 节 开 头 给 出 的 实例 是 如 图 34-19 所 示 的 集合 S 和 目标 i， 
它们 是 按照 七 进 制 来 解释 的 ， 且 S 是 按照 排序 顺序 列 出 的 。 
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值 为 1， 因 此 ， 根 据 S' 中 所 包含 的 wv 或 v'; 值 的 情况 ， 每 个 由 子 句 所 标记 的 数位 和 为 1、2 或 3。 
例如 ， 在 图 34-19 中 ， 在 某 一 可 满足 性 赋值 中 ， 文 字 一 zx1、 一 xz。 和 zs 的 值 为 1。 子 名 CG 和 CG 都 
恰 包 含 这 三 个 文字 中 的 一 个 ， 因 此 ，vi1、vs 和 vs 共同 为 C 和 C 中 数位 的 和 值 贡 献 了 一 个 1。 
FAC, 包含 这 些 文字 中 的 两 个 ， 因 而 ，v1、vs 和 vw; 共同 为 C 中 数位 的 和 值 贡 献 了 一 个 2。 子 
AG 包含 所 有 这 三 个 文字 ， 因 而 ，vi1、vs 和 vs 共同 为 CG 中 数位 的 和 值 贡 献 了 一 个 3。 在 每 个 
由 子 句 C; 所 标记 的 数位 中 ， 通 过 将 松弛 变量 {s; ，s; } 的 一 个 非 空子 集 包 含 进 S'， 即 可 达到 目标 值 
4, ÆR 34-19 F, SAET ss sis sh. ss 和 s4， 由 于 我 们 已 经 在 和 值 的 所 有 数位 中 匹配 了 
目标 值 ， 且 不 会 发 生 进位 ， 因 此 ，S' 中 元 素 的 和 值 为 i。 

接 下 来 ,假设 有 一 个 子 集 S' 忆 S$， 其 元 素 之 和 为 :。 对 每 一 个 i 二 1，2，…，n， 子 集 S 必定 
恰好 包含 u Alu! 两 者 中 的 一 个 ， 否 则 ， 变 量 所 标记 的 数位 和 就 不 会 为 1。 如 果 v. ES ， 就 将 zx; 
21. BW, uSs’, RK r 置 0。 我 们 断言 : 对 j 二 1，2，…，k， 每 个 子 句 CG; 可 以 通过 此 赋值 
得 到 满足 。 为 了 证 明 这 一 断言 ， 注 意 到 由 于 松弛 变量 s Als’ 合 起 来 的 贡献 至 多 为 3， 因 此 为 了 
在 Ci 标记 的 数位 中 达到 和 值 4， 子 集 S' 必 须 至 少 包 含 vu 或 v; 值 中 的 一 个 ， 使 得 C; 在 标记 的 数 
位 上 有 个 1。 如 果 S' 包 含 一 个 vw， BEC 位 置 上 有 个 1， 则 文字 z; 会 出 现在 子 句 Ci P. MuE 
SH, RIEK c 置 1， 因 此 ， 子 句 Ci 是 可 满足 的 。 如 果 S' 包 含 一 个 vi 且 它 在 该 位 置 上 有 个 1， 
则 文字 一 zz; 会 出 现在 子 句 C; 中 。 当 w';€E S' 时 ,我 们 已 将 zx; HO, Alt, FOC 再 次 被 证 明 是 可 
满足 的 。 于 是 ,，#$ 的 所 有 子 句 都 是 可 满足 的 ， 这 样 就 完成 了 整个 证 明 。 a 


练习 

34.5-1 子 图 同 构 问 题 取 两 个 无 向 图 G AG, HZ G 是 否 与 C 的 一 个 子 图 同 构 这 一 问题 。 
WEAR: 子 图 同 构 问题 是 NP 完全 的 。 

34. 5-2 ”给 定 一 个 mXn 的 整数 矩阵 A 和 一 个 整 型 的 m AED, 0-1 整数 规划 问题 即 研究 是 否 有 
一 个 整 型 的 n 维 向 量 zx， 其 元 素 取 自 集合 {0，1)}， 满足 Az 委 2。 证 明 : 0-1 整数 规划 问 
题 是 NP 完全 的 。( 提 示 : 由 3-CNF-SAT 问题 进行 归 约 。) 

34. 5-3 ”整数 线性 规划 问题 与 练习 34. 5-2 中 给 出 的 0-1 整数 规划 十 分 相似 ， 区 别 仅 在 于 向 量 z 的 
值 可 以 取 任何 整数 ， 而 不 仅 是 0 或 1。 假定 0-1 整数 规划 问题 是 NP 难度 的 ， 证明: 整 
数 线性 规划 问题 是 NP 完全 的 。 

34. 5-4 WEH: 如 果 目 标 值 1 表示 成 一 元 形式 ， 试 说 明 如 何在 多 项 式 时 间 内 解决 子 集 和 问题 。 

34. 5-5 ”集合 划分 问题 的 输入 为 一 个 数字 集合 S。 问 题 是 : 这 些 数字 是 否 能 被 划分 成 两 个 集合 A 
和 A 一 S 一 A， 使 得 dye = 242 。 证 明 : 集合 划分 问题 是 NP 完全 的 。 


34.5-6 证 明 : 哈密 顿 路 径 问 题 是 NP 完全 的 。 

34. 5-7 ”最 长 简单 回路 问题 是 在 一 个 图 中 ， 找 出 一 个 具有 最 大 长 度 的 简单 回路 (无 重复 的 顶点 )。 
证 明 : 这 个 问题 是 NP 完全 的 。 

34.5-8 ”在 半 3-CNF 可 满足 性 中 ， 给 定 一 个 3-CNF 形式 的 公式 % CAR n 个 变量 和 mm 个 子 
A, KP mm 是 偶数 。 我 们 希望 确定 是 否 存在 对 $ 中 变量 的 一 个 真 值 赋值 ， 使 得 #$ 中 
恰 有 一 半 的 子 句 为 0， 同 时 恰 有 男 一 半 的 子 句 为 1。 证 明 : 半 3-CNF 可 满足 性 问题 
是 NP 完全 的 。 


34-1 R) 图 G 一 (V， 瑟 ) 的 独立 集 是 子 集 VSV， 使 得 已 中 的 每 条 边 至 多 与 六 中 的 一 个 


顶点 相关 联 。 独 立 集 问题 是 要 找 出 G 中 具有 最 大 规模 的 独立 集 。 
a. 给 出 与 独立 集 问题 相关 的 判定 问题 的 形式 化 描述 ， 并 证 明 它 是 NP 完全 的 。( 提 示 : 根 


1101 


648 


1102 


34-2 


34-3 


第 七 部 分 ”算法 问题 选编 


据 团 问 题 进行 归 约 。) 

b 假设 给 定 一 个 “黑箱 ” 子 程序 ， 用 于 解决 (a) 中 定义 的 判定 问题 。 试 写 出 一 个 算法 ， 以 找 
出 最 大 规模 的 独立 集 。 所 给 出 的 算法 的 运行 时 间 应 该 是 关于 |V| 和 |E| 的 多 项 式 ， 其 中 
查询 黑箱 的 工作 被 看 做 是 一 步 操 作 。 
尽管 独立 集 判 定 问题 是 NP 完全 的 ， 但 在 特殊 情况 下 ， 该 问题 是 多 项 式 时 间 可 解 的 。 

c 当 G 中 的 每 个 顶点 的 度数 均 为 2 时 ， 请 给 出 一 个 有 效 的 算法 来 求解 独立 集 问 题 。 分 析 该 
算法 的 运行 时 间 ， 并 证 明 算 法 的 正确 性 。 

d. 当 CG 为 二 分 图 时 ， 试 给 出 一 个 有 效 的 算法 以 求解 独立 集 问题 。 分 析 算 法 的 运行 时 间 ， 
并 证 明 算 法 的 正确 性 。( 提 示 : 利用 26. 3 节 中 的 结论 .) 

(Bonnie 和 Clyde) Bonnie 和 Clyde 刚刚 抢 动 了 一 家 银行 。 他 们 抢 动 到 一 袋 钱 ， 并 打算 将 

钱 分 光 。 对 于 下 面 的 每 一 种 场景 ， 都 给 出 一 个 多 项 式 时 间 算 法 ,或 者 证 明 该 问题 是 NP 完 

全 的 。 每 一 种 情况 下 的 输入 是 关于 袋子 里 n 件 东西 的 一 份 清单 ， 以 及 每 一 件 东 西 的 价值 。 

a. 袋子 里 共有 枚 硬币 , 但 只 有 两 个 不 同 的 面值 : 一 些 面值 x 美元 ,一 些 面值 y 美元 。 
Bonnie 和 Clyde 希望 平分 掉 这 笔 钱 。 

b. 袋子 里 共有 n 枚 硬币 ， 它 们 有 着 任意 数量 的 不 同 面值 ， 但 每 一 种 面值 都 是 2 的 非 负 整数 
次 寡 ， 即 可 能 的 面值 为 1 美元 、2 美元 、4 美元 等 。 他 俩 希望 平分 掉 这 笔 钱 。 

c. 袋子 里 共有 n 张 支票 ， 十 分 巧合 的 是 ， 这 些 支 票 恰 好 是 支付 给 “Bonnie 或 Clyde” 的 。 他 
俩 希望 平分 掉 这 些 支 票 ， 从 而 可 以 分 得 同样 数目 的 钱 。 

d 5), RTEKA n 张 支票 ， 但 这 一 次 ， 他 俩 愿意 接受 这 样 的 一 种 支票 分 配方 案 ， 
两 人 所 分 得 的 钱 数 差 距 不 大 于 100 美元 。 

(图 的 着 色 ) 地 图 制造 商 想 要 使 用 尽 可 能 少 的 颜色 在 一 张 地 图 上 把 不 同 的 国家 着 色 ， 前 提 

是 相 邻 的 两 国家 不 使 用 同一 种 颜色 。 我 们 构造 如 下 的 模型 : 对 于 无 向 图 G=(V, E), 图 

中 的 每 个 顶点 代表 一 个 城市 ， 相 邻 的 两 个 点 所 代表 的 城市 也 是 相 邻 的 。 如 此 ， 一 个 无 向 图 

G 一 (V，E) 的 着色 就 是 一 个 函数 c: V 一 {1，2，…，k}， 使 得 对 每 条 边 (u，v) EE， 有 

clw) 关 c(v)。 换 句 话 说 ， 数 1，2，…， 上 表示 上 种 颜色 ， 并 且 相 邻 顶点 必须 染 上 不 同 的 颜 

色 。 图 的 着 色 问 题 就 是 确定 要 对 某 个 给 定 图 着 色 所 必需 的 最 少 的 颜色 种 类 。 

a 写 出 一 个 有 效 的 算法 以 判定 一 个 图 的 2 着 色 ( 如 果 存 在 ) 。 

b 把 图 的 着 色 问 题 描 述 为 一 个 判定 问题 。 证 明 : 该 判定 问题 在 多 项 式 时 间 内 可 解 ， 当 且 
仅 当 图 的 着 色 问 题 在 多 项 式 时 间 内 可 解 。 

ce 设 语言 3-COLOR 是 能 够 进行 三 着 色 的 图 的 集合 。 证 明 : WR 3-COLOR 是 NP 完全 的 ， 
则 (b) 中 的 判定 问题 是 NP 完全 的 。 

为 了 证 明 3-COLOR 具有 NP 完全 性 ， 我 们 利用 3-CNF-SAT 来 进行 归 约 。 给 定 一 个 由 

m 个 子 句 组 成 的 关于 n 个 变量 xz; ，zz，…，z 的 公式 $5， 构造 图 G 一 (V，E) 如 下 。 对 每 个 

变量 和 每 个 变量 的 “ 非 ”， 集合 V 分 别 包 含 一 个 顶点 。 对 每 个 子 句 ,，V 包含 5 个 顶点 ， 另 

dh, V 中 还 有 三 个 特殊 的 顶点 : TRUE, FALSE 和 RED。 图 的 边 分 为 两 种 类 型 ， 与 子 句 

无 关 的 “文字 ” 边 和 依赖 于 子 句 的 “ 子 句 ” 边 。 对 i 二 1，2，…，n， 文字 边 形成 一 个 由 特殊 顶 

点 构成 的 三 角形 ， 并 且 还 形成 了 一 个 由 zx;、 一 z; 和 RED 构成 的 三 角形 。 

d 论证 在 对 包含 “文字 ” 边 的 图 的 任意 一 个 3 着 色 c 中 ,一 个 变量 和 它 的 “ 非 ” 中 恰好 有 一 个 
被 着 色 为 cCTRUE) ， 另 一 个 被 着 色 为 c(FALSE)。 论 证 对 于 $$ 的 任何 真 值 赋值 ， 对 仅 
包含 文字 边 的 图 都 存在 一 种 3 着 色 。 

图 34-20 所 示 的 附件 图 用 于 实现 对 应 于 子 句 (zV yV z) 的 条 件 。 每 个 子 句 都 要 求 图 中 
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涂 黑 的 5 个 顶点 的 一 个 副本 ， 且 此 副本 唯一 。 如 图 所 示 ， 它 们 把 子 句 中 的 文字 与 特殊 顶点 

TRUE 相连 。 

e 证 明 : 如 果 xz、y Ale 中 每 个 顶点 均 着 色 为 cL(TRUE) 或 c(FALSE)， 那 么 该 附件 图 是 3 
FEK, HNA, y Mz 中 至 少 有 一 个 被 着 色 为 cCTRUE) 。 

f 证明: 3 着 色 问 题 是 NP 完全 问题 。 








图 34-20 思考 题 34-3 中 用 到 的 对 应 于 子 句 (zV yV z) 的 附件 图 


34-4 〈 带 收益 和 完工 期 限 的 调度 ) ”假设 有 一 台 机 器 和 nn 项 任务 a;，a;，…，a,。 每 项 任务 aj 在 
机 器 上 都 需要 处 理 时 间 t;、 利 润 p; 和 完工 期 限 4;。 这 台 机 器 一 次 只 能 处 理 一 项 任务 ,而 
任务 a; 必须 不 间断 地 运行 tj; 个 连续 时 间 单 位 。 如 果 能 赶 在 完工 期 限 必 之 前 完成 任务 cj， 
就 能 获取 利润 p;， 但 是 ， 如 果 是 在 到 期 之 后 完成 任务 ， 就 得 不 到 任何 利润 。 作 为 一 个 最 优 
化 问题 ， 给 定 ”项 任务 的 处 理 时 间 、 利 润 和 完工 期 限 ， 我 们 希望 找 出 一 种 调度 方案 既 能 完 
成 所 有 的 任务 ， 又 能 获取 最 大 的 利润 。 

a. 将 这 个 问题 表述 为 一 个 判定 问题 。 

b. 证 明 : 此 判定 问题 是 NP 完全 的 。 

c 假定 所 有 的 处 理 时 间 都 是 从 1 一 ?之 间 的 整数 ， 给 出 此 判定 问题 的 一 个 多 项 式 时 间 算 法 。 
(提示 : 采用 动态 规划 。) 

d. 假定 所 有 的 处 理 时 间 都 是 1~n 之 间 的 整数 ， 给 出 此 最 优化 问题 的 一 个 多 项 式 时 间 算 法 。 


本 章 注 记 

Garey 和 Johnson 撰写 的 书 [129j 中 为 学 习 NP 完全 性 提供 了 很 好 的 指南 ， 书 中 详细 地 讨论 了 
这 一 理论 ， 并 列 出 了 一 个 目录 ， 其 中 包括 许多 自 1979 年 以 来 已 知 的 NP 完全 问题 。 本 章 中 定理 
34. 13 的 证 明 就 是 参考 该 书 ，34. 5 节 开 头 给 出 的 NP 完全 问题 领域 列表 也 是 取 自 该 书 。Johnson 
在 1981 年 到 1992 年 之 间 ， 在 Journal of Algorithms 上 撰写 了 一 系列 ( 共 23 期 ) 专 栏 文章 ， 报 告 
NP 完全 性 方面 的 最 新 研究 进展 。Hopcroft、Motwani 和 UllmanL177]、Lewis 和 Papadimitriou 
[236], Papadimitriou[ 270] 以 及 SipserL317] 在 复杂 性 理论 这 一 背景 中 ， 很 好 地 处 理 了 NP 完全 问 
Æi. Aho, Hopcroft, Ullman[5], Dasgupta, Papadimitriou 和 Vazirani[82] 也 涉及 了 NP 完全 问 
题 和 一 些 归 约 问 题 。 

P 类 是 在 1964 年 由 Cobham[ 72], 1965 年 由 EdmondsL100] 独 立地 提出 的 ， 后 者 还 提出 了 
NP 类 ， 并 推测 有 PANP. NP 完全 性 概念 是 在 1971 年 由 Cook[75j] 提 出 的 ， 他 给 出 了 公式 可 满足 
性 问题 和 3-CNF 可 满足 性 问题 的 第 一 个 NP 完全 性 证 明 。LevinL234] 独 立地 提出 了 这 一 概念 ， 并 
给 出 了 ”“ 铺 瓷砖 问题 ”的 NP 完全 性 证 明 。KarpL199 在 1972 年 提出 了 归 约 方法 ， 并 总 结 了 各 种 
NP 完全 问题 。 在 Karp 的 论文 中 ， 给 出 了 对 团 问题 、 顶 点 覆盖 问题 、 哈 密 顿 回路 问题 的 NP 完全 
性 的 原创 性 证 明 。 自 此 以 后 ， 许 多 问题 继而 被 研究 人 员 证 明 是 NP 完全 的 。 在 1995 年 庆祝 Karp 
60 岁 生日 的 聚会 的 谈话 中 ，Papadimitriou 在 发 言 中 提 到 , “每 年 ， 大约 有 6 000 篇 论文 在 标题 、 
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摘要 或 关键 词 中 有 “NP 完全 "这 一 字眼 。 这 一 数字 比 有 关 “编译 器 ”、 数据库、“ 专 家”、“ “神经 
网 络 ?或 “操作 系统 ?这些 术语 中 每 一 个 的 论文 数量 都 要 多 。?” 

近来 ， 复 杂 性 理论 方面 的 最 新 研究 成 果 为 计算 近似 解 的 复杂 性 问题 带 来 了 希望 。 这 一 方面 
的 工作 利用 “概率 意义 下 可 检验 的 证 明 ” 这 一 概念 ， 给 出 了 NP 的 新 定义 。 这 一 新 的 定义 意味 着 对 
于 诸如 团 、 项 点 覆盖 、 旅 行商 等 带 有 三 角 不 等 式 的 问题 ， 还 有 许多 其 他 的 问题 ， 计 算 有 效 的 近似 
解决 方案 是 NP 难度 的 ， 因 而 并 不 比 计算 最 优 解 更 容易 。 有 关 这 一 领域 的 介绍 可 以 参见 Arora 的 
论文 [20]; Arora 和 Lund 在 Hochbaum[ 172] 中 的 一 章 ; AroraL21] 扎 写 的 一 篇 综述 性 文章 ;一 本 

由 Mayr, Prömel 和 Steger 编辑 的 书 L246 ]; 以 及 Johnson 的 一 篇 综述 性 文章 [191]。 
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许多 具有 实际 意义 的 问题 都 是 NP 完全 问题 。 我 们 不 知道 如 何在 多 项 式 时 间 内 求 得 最 优 解 。 
但 是 ， 这 些 问 题 通 常 十 分 重要 ， 我 们 不 能 因此 而 放弃 对 它们 的 求解 。 即 使 一 个 问题 是 NP 完全 
的 ， 也 有 其 解决 方法 。 解 决 NP 完全 问题 至 少 有 三 种 方法 : 1) 如 果实 际 输入 数据 规模 较 小 ， 则 用 
指数 级 运行 时 间 的 算法 就 能 很 好 地 解决 问题 ; 2) 对 于 一 些 能 在 多 项 式 时 间 内 解决 的 特殊 情况 ， 可 
以 把 它们 单独 列 出 来 求解 ; 3) 可 以 寻找 一 些 能 够 在 多 项 式 时 间 内 得 到 近似 最 优 解 (near-optimal 
solution) 的 方法 (最 坏 情况 或 平均 情况 )。 在 实际 应 用 中 ， 近 似 最 优 解 一 般 都 能 满足 要 求 。 返 回 近 
似 最 优 解 的 算法 就 称 为 近似 算法 (approximation algorithm)。 本 章 主要 介绍 几 个 解决 NP 完全 问题 
的 多 项 式 时 间 近 似 算 法 。 

近似 算法 的 性 能 比 

假定 我 们 在 求解 一 个 最 优化 问题 ， 该 问题 的 每 个 可 能 解 都 有 正 的 代价 ， 我 们 希望 找 出 一 个 
近似 最 优 解 。 根 据 所 要 解决 的 问题 ， 最 优 解 可 以 定义 成 具有 最 大 可 能 代价 的 解 或 具有 最 小 可 能 
代价 的 解 。 也 就 是 说 ， 该 问题 可 能 是 最 大 化 问题 ， 也 可 能 是 最 小 化 问题 。 

如 果 对 规模 为 n 的 任意 输入 ， 近 似 算法 所 产生 的 近似 解 的 代价 C 与 最 优 解 的 代价 C* 只 差 一 
AF oln): 





max( E) < pln) (35.1) 


则 称 该 近似 算法 有 近似 比 oCz) 。 如 果 一 个 算法 的 近似 比 达到 p(n)， 则 称 该 算法 为 M i WARE. 
近似 比 和 o(2 近 似 算法 的 定义 对 求 最 大 化 和 最 小 化 问题 都 适用 。 对 于 一 个 最 大 化 的 问题 ，C 与 
C "满足 0 二 C 委 C” ， 比 值 C* /C 表示 最 优 解 代价 大 于 近似 解 代 价 的 倍数 。 类 似 地 ， 对 于 一 个 最 小 
化 的 问题 ，C CWE OKC <C, HMA C/C "表示 近似 解 的 代价 大 于 最 优 解 的 代价 的 倍数 。 因 
为 我 们 假定 所 有 解 的 代价 都 是 正 的 ， 故 前 面 定 义 的 比值 都 是 良 定 义 的 。 一 个 近似 算法 的 近似 比 
不 会 小 于 1， 因 为 C/C* <1 蕴涵 着 C /C>>1。 于 是 ， 一 个 1 近似 算法 产生 的 解 是 最 优 解 ， 而 一 
个 近似 比较 大 的 近似 算法 可 能 会 返回 和 最 优 解 差 很 多 的 解 。 

对 于 很 多 问题 ， 已 经 设计 出 具有 较 小 的 固定 近似 比 的 多 项 式 时 间 近 似 算 法 。 然 而 ， 对 于 另 一 
些 问 题 ， 在 其 已 知 的 最 佳 多 项 式 时 间 近 似 算法 中 ， 近 似 比 是 输入 规模 的 函数 ， 随 着 n 的 变化 而 
变化 。35. 3 节 讨 论 的 集合 覆盖 问题 就 属于 这 类 问题 。 

一 些 NP 完全 问题 可 以 采用 特定 的 多 项 式 时 间 近 似 算法 求解 ， 这 些 算法 通过 消耗 更 多 的 计算 
时 间 ， 可 以 得 到 不 断 缩小 的 近似 比 。 也 就 是 说 ， 可 以 用 更 多 的 计算 时 间 换 取 更 小 的 近似 比 。35. 5 
节 讨 论 的 子 集 和 问题 就 属于 这 类 问题 。 这 类 问题 非常 重要 ， 值 得 专门 研究 。 

一 个 最 优化 问题 的 近似 模式 (approximation scheme) 就 是 这 样 一 种 近似 算法 ， 它 的 输入 除了 
该 问题 的 实例 外 ， 还 有 一 个 值 。 之 0， 使 得 对 任何 固定 的 s， 该 模式 是 一 个 (1 十 e) 近 似 算 法 。 对 一 
个 近似 模式 来 说 ， 如 果 对 任何 固定 的 se 之 0， 该 模式 都 以 其 输入 实例 规模 ”的 多 项 式 时 间 运 行 ， 则 
称 此 模式 为 多 项 式 时 间 近 似 模 式 。 

随 着 s 的 减 小 ， 多 项 式 时 间 近 似 模式 的 运行 时 间 可 能 会 迅速 增长 。 例 如 ， 一 个 多 项 式 时 间 
近似 模式 的 运行 时 间 复 杂 度 可 能 达到 O(nw“)。 在 理想 情况 下 ， 如 果 e 按 一 个 常数 因子 减 小 ， 为 


日 、 当 近似 比 独立 于 nn 时 ,我们 将 使 用 “近似 比 PM o 近似 算法 ”等 术语 ， 以 表示 近似 比 与 无关。 
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了 获得 预期 的 近似 效果 ， 所 增加 的 运行 时 间 不 应 超过 一 个 常数 因子 (尽管 这 两 个 常数 因子 不 一 
定 相 同 ) 。 

对 一 个 近似 模式 来 说 ， 如 果 其 运行 时 间 表 达 式 既 为 1/e 的 多 项 式 ， 又 为 输入 实例 规模 n 的 多 
项 式 ， 则 称 其 为 完全 多 项 式 时 间 近 似 模 式 。 例 如 ， 近 似 模式 的 运行 时 间 可 能 是 O((1/e) 天)。 对 
于 这 样 的 模式 ，e 的 任意 常数 倍 减少 可 以 引起 运行 时 间 相应 常数 倍 的 增加 。 

本 章 概要 

本 章 的 前 4 节 介绍 一 些 解决 NP 完全 问题 的 多 项 式 时 间 近 似 算法 的 例子 ,第 5 节 给 出 一 个 完 
全 多 项 式 时 间 近 似 模式 。35. 1 节 以 对 顶点 覆盖 问题 的 研究 开始 。 顶 点 覆盖 问题 是 一 个 NP 完全 的 
最 小 化 问题 ， 其 近似 算法 的 近似 比 为 2。35. 2 节 研 究 了 旅行 商 问题 的 特例 ， 其 代价 函数 要 求 满 足 
三 角 不 等 式 ， 给 出 了 一 个 近似 比 为 2 的 近似 算法 。 这 一 节 还 证 明了 如 果 代价 函数 不 满足 三 角 不 等 
式 ， 则 对 任意 常数 o 这 1， 不 存在 p 近 似 算法 ， 除 非 P=NP. 35.3 节 说 明 对 集合 覆盖 问题 ， 如 何 
使 用 贪心 方法 设计 一 个 有 效 的 近似 算法 来 获得 一 个 覆盖 ， 其 代价 在 最 差 情况 下 比 最 优 代价 大 对 
数 倍 。35. 4 节 给 出 另外 两 个 近似 算法 。 首 先 研 究 3-CNF 可 满足 性 问题 的 最 优化 形式 ， 并 给 出 一 
个 简单 的 随机 化 算法 ， 它 给 出 的 解 具 有 预期 的 近似 比 8/7。 接 着 ,分 析 顶 点 覆盖 问题 的 一 个 带 权 
值 的 变形 ， 并 说 明 如 何 利用 线性 规划 方法 设计 一 个 2 近似 算法 。 最 后 ，35. 5 节 给 出 子 集 和 问题 
的 一 个 完全 多 项 式 时 间 的 近似 模式 。 


35.1 顶点 覆盖 问题 


在 34. 5. 2 节 中 ， 我们 定义 了 顶点 覆盖 问题 ,并 且 证 明了 它 是 NP 完全 的 。 无 向 图 G==(V， E) 
的 一 个 顶点 覆盖 是 一 个 子 集 VCGV， 使 得 如 果 (x， 切 是 G 的 一 条 边 ， 则 ucv, 或 者 vEV'( 也 可 能 
两 者 都 成 立 ) 。 一 个 顶点 覆盖 的 规模 是 其 中 所 包含 的 顶点 数 。 

顶点 覆盖 问题 的 目标 是 在 一 个 给 定 的 无 向 图 中 ， 找 出 一 个 具有 最 小 规模 的 顶点 覆盖 。 我 们 
称 这 样 的 一 个 顶点 覆盖 为 最 优 项 点 覆盖 。 顶 点 覆盖 问题 是 一 个 NP 完全 判定 问题 的 最 优化 形式 。 

虽然 在 一 个 图 G 中 寻找 最 优 顶 点 覆盖 比较 困难 ， 但 找 出 近似 最 优 的 顶点 覆盖 还 是 相对 容易 
的 。 下 面 给 出 的 近似 算法 以 一 个 无 向 图 C 为 输入 ， 返 回 一 个 其 规模 保证 不 超过 最 优 项 点 覆盖 规 
模 2 倍 的 顶点 覆盖 。 

APPROX-VERTEX-COVER(G) 

1 C= 

2 E'=G.E 

3 while’ +Ø 

4 let(u,v)be an arbitrary edge of E' 

5 C=CU {u,v} 
6 remove from E’ every edge incident on either u or v 
7 


return C 


图 35-1 用 一 个 具体 图 演示 了 APPROX-VERTEX-COVER 的 操作 过 程 。 变 量 C 包含 了 正在 构 
造 的 顶点 覆盖 。 第 1 行将 C 初 始 化 为 空 集 。 第 2 行将 已 置 为 图 G 的 边 集 ELG] 的 一 个 副本 。 第 
3 一 6 行 中 的 循环 重复 地 从 E' 中 任 选 出 一 条 边 (u，v)， 将 某 端 点 和 w NAC, Jed 有 也 中 所 有 
被 或 v 覆盖 的 边 ， 直 至 已 为 空 。 最 后 ， 第 7 行 返 回 顶 点 覆盖 C。 以 邻接 表 来 表示 已 ， 这 个 算法 
的 运行 时 间 为 O(V 十 E)。 

定理 35. 1 APPROX-VERTEX-COVER 是 一 个 多 项 式 时 间 的 2 近似 算法 。 

证 明 ”前 面 我 们 已 经 证 明了 APPROX-VERTEX-COVER 的 运行 时 间 为 多 项 式 。 

因为 APPROX-VERTEX-COVER 算法 会 一 直 循环 计算 ， 直 到 ELG] 中 的 每 条 边 都 被 顶点 集 
合 C 中 的 某 个 顶点 覆盖 为 止 ， 所 以 由 APPROX-VERTEX-COVER 返回 的 C 是 一 个 顶点 覆盖 。 
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图 35-1 APPROX-VERTEX-COVER 的 操作 过 程 : (a) 具 有 7 个 顶点 和 8 条 边 的 输入 图 G。(b) 以 粗 
阴影 线 标记 的 边 (5，c) 是 被 APPROX-VERTEX-COVER 所 选择 的 第 一 条 边 。 加 了 浅 阴影 的 
顶点 6 和 c 被 加 入 集合 C， 集 合 C 包含 了 正 被 构造 的 顶点 覆盖 。 以 虚线 示 出 的 边 (a，65)、 
(c，e) 和 (c，4qd) 被 删除 ， 因 为 现在 它们 被 C 中 的 某 个 顶点 所 覆盖 。(c) 边 (e， 了 ) 被 选中 ; 项 
点 e 和 了 被 加 到 C 中 。(d) 边 (d，g) 被 选中 ,顶点 d 和 g 被 加 到 C 中 。(e) 集 合 C 是 由 
APPROX-VERTEX-COVER 产生 的 近似 最 优 顶 点 覆盖 ， 它 包含 6 顶点 b、c、d、e、 f go 
Of) 这 个 问题 的 最 优 顶 点 覆盖 仅 包含 三 个 顶点 : 6、d File 


为 了 说 明 APPROX-VERTEX-COVER 返回 顶点 覆盖 的 规模 至 多 为 最 优 履 盖 的 2 倍 ， 设 A 为 
APPROX-VERTEX-COVER 算法 中 第 4 行 选 出 的 边 集 合 。 为 了 覆盖 A 中 的 边 ， 任 意 一 个 顶点 覆 
盖 ( 特 别 是 最 优 覆 盖 C* ) 都 必须 至 少 包 含 A 中 每 条 边 的 一 个 端点 。 如 果 一 条 边 在 第 4 行 中 被 选 
中 ， 那 么 在 第 6 行 就 会 从 E 中 删除 所 有 与 其 端点 关联 的 边 。 因 此 ，A 中 不 存在 两 条 边 具 有 共同 
的 端点 ， 从 而 A 中 不 会 存在 两 条 边 由 C ”中 的 同一 顶点 所 履 盖 。 于 是 ， 最 优 顶 点 覆盖 的 规模 下 界 
如 下 : 

le | Ze [A] (35. 2) 
算法 第 4 行 的 每 一 次 执行 都 会 挑选 出 一 条 边 ， 其 两 个 端点 都 不 在 C 中 ， 因 此 ， 所 返回 顶点 覆盖 的 
规模 上 界 ( 实 际 上 是 一 个 上 界 ) 为 : 
|C| =2|A| (35. 3) 
将 式 (35. 2) ASK (35. 3) 结 合 起 来 ， 有 : 
|C| =2|A| <2|C* | 
因此 定理 成 立 。 m 

我 们 再 来 回顾 一 下 上 述 证 明 过 程 。 起 初 ， 我 们 可 能 会 好 奇 ， 在 不 知道 最 优 顶 点 覆盖 的 规模 到 
底 是 多 少 的 情况 下 ， 如 何 才 能 证 明 APPROX-VERTEX-COVER 算法 所 返回 顶点 覆盖 的 规模 至 多 
为 最 优 顶 点 覆盖 规模 的 2 倍 。 为 此 ， 我 们 巧妙 地 利用 了 最 优 顶 点 覆盖 规模 的 一 个 下 界 ， 从 而 使 证 
明 过 程 不 牵涉 最 优 顶 点 覆盖 的 实际 规模 。 正 如 练习 35. 1-2 要 求 读者 证 明 的 ， 在 APPROX- 
VERTEX-COVER 第 4 行 中 挑选 出 来 的 边 集 A 实际 上 是 图 G 的 一 个 极 大 匹配 (所 谓 极 大 匹配 是 指 
这 样 的 一 种 匹配 ， 它 不 是 任何 其 他 匹配 的 真子 集 )。 正 如 定理 35. 1 的 证 明 过 程 所 述 ， 一 个 极 大 匹 
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配 的 规模 是 最 优 顶 点 覆盖 规模 的 下 界 。APPROX-VERTEX-COVER 算法 会 返回 一 个 顶点 覆盖 ， 
其 规模 至 多 为 最 大 匹配 A 的 规模 的 2 倍 。 通 过 将 返回 结果 的 规模 与 最 优 解 的 下 界 进 行 比 较 ， 我 
们 得 到 了 近似 比 。 这 种 方法 还 会 在 后 面 几 节 中 用 到 。 


练习 

35. 1-1 给 出 一 个 图 的 例子 ,使 得 APPROX-VERTEX-COVER 对 该 图 总 是 产生 次 优 解 。 

35.1-2 EHH: APPROX-VERTEX-COVER 第 4 行 挑选 出 来 的 边 集 是 图 G 的 一 个 极 大 匹配 。 

*35. 1-3 Bündchen 教授 提出 了 以 下 的 启发 式 方法 来 解决 顶点 覆盖 问题 : 重复 选择 度数 最 高 的 顶 
点 ， 并 去 掉 其 所 有 邻接 边 。 试 举例 证 明 Bündchen 教授 的 启发 式 方法 达 不 到 近似 比 2。 
(提示 : 可 以 考虑 一 个 二 分 图 ， 其 中 左 图 中 顶点 的 度数 一 样 ， 而 右 图 中 顶点 的 度数 
不 一 样 。) 

35.1-4 ”给 出 一 个 有 效 的 贪心 算法 ,使 其 能 够 在 线性 时 间 内 找 出 一 棵 树 的 最 优 顶 点 覆盖 。 

35.1-5 通过 定理 34. 12 的 证 明 ， 我 们 知道 了 顶点 覆盖 问题 和 NP 完全 的 最 大 团 问题 在 某 种 意义 
上 来 说 是 互补 的 ， 即 最 优 项 点 覆盖 是 补 图 中 某 个 最 大 规模 团 的 补 。 这 种 关系 是 否 意味 着 
存在 一 个 多 项 式 时 间 的 近似 算法 ， 它 对 最 大 团 问 题 有 着 固定 的 近似 比 ? 请 给 出 回答 ， 并 
予以 证 明 。 


35.2 旅行 商 问题 
34.5.4 节 介 绍 的 旅行 商 问题 中 ,输入 是 一 个 完全 无 向 图 G 二 (VE)， 其 中 每 条 边 (u,，v) EE 
都 有 一 个 非 负 的 整数 代价 c(u，v)， 我 们 希望 找 出 G 的 一 条 具有 最 小 代价 的 哈密 顿 回 路 。 现 在 我 们 
把 前 面 所 用 的 记号 表示 略 作 扩充 ， 设 c(A) 表 示 子 集 ACE 中 所 有 边 的 总 代价 : 
c(A) = D) cluso) 


WEA 


在 很 多 实际 情况 中 ， 从 一 个 地 方 u 直接 到 男 一 个 地 方 w 花费 的 代价 总 是 最 小 的 。 如 果 一 条 
路 径 经 过 了 某 个 中 转 站 ， 则 它 不 可 能 具有 比 直接 到 达 更 小 的 代价 。 换 句 话 说 ， 去 掉 途 中 一 个 中 转 
站 绝 不 会 使 代价 增加 。 将 这 种 情况 加 以 形式 化 ， 即 如 果 对 所 有 的 顶点 u，v，wEV， 有 : 

clusw) Sc(u,v) +c(v,w) 
就 称 代价 函数 c 满足 三 角 不 等 式 。 

三 角 不 等 式 是 个 很 自然 的 不 等 式 ， 许 多 应 用 都 满足 三 角 不 等 式 。 例 如 ， 如 果 图 的 顶点 为 平面 
上 的 点 ， 并 且 在 两 个 项 点 间 旅 行 的 代价 为 它们 之 间 的 欧 几 里 得 距离 ( 即 两 点 间 的 线段 距离 )， 那 么 
这 种 情况 就 满足 三 角 不 等 式 。 除 了 欧 几 里 得 距离 外 ， 还 有 许多 其 他 的 代价 函数 能 满足 三 角 不 
等 式 。 

如 练习 35-22 所 示 ， 即 使 代价 函数 满足 三 角 不 等 式 ， 也 不 能 改变 旅行 商 问 题 的 NP 完全 性 。 
因此 ， 不 能 寄 希 望 于 找到 一 个 准确 解决 旅行 商 问题 的 多 项 式 时 间 算 法 。 相 反 ， 我 们 应 该 寻找 一 些 
好 的 近似 算法 。 

35. 2. 1 节 将 讨论 一 个 2 近似 算法 ， 用 于 解决 符合 三 角 不 等 式 的 旅行 商 问 题 。35. 2. 2 节 将 证 
明 如 果 旅 行商 问题 不 符合 三 角 不 等 式 ， 则 不 存在 具有 固定 近似 比 的 多 项 式 时 间 近 似 算法 ， 除 非 
P=NP, 


35.2.1 满足 三 角 不 等 式 的 旅行 商 问题 


利用 前 一 小 节 的 方法 ， 我 们 首先 要 计算 出 一 个 结构 ( 即 最 小 生成 树 )， 其 权 值 是 最 优 旅行 商 路 
线 长 度 的 下 界 。 接 着 ， 要 利用 这 一 最 小 生成 树 来 生成 一 条 遍历 线路 ， 其 代价 不 大 于 最 小 生成 树 权 
值 的 2 倍 ， 只 要 代价 函数 满足 三 角 不 等 式 即 可 。 下 面 的 算法 实现 了 这 一 过 程 ， 该 算法 将 23. 2 节 
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中 的 最 小 生成 树 算法 MST-PRIM 作为 子 程序 加 以 调用 。 输 入 G 是 一 个 完全 无 向 图 。 代 价 函 数 c 
满足 三 角 不 等 式 。 
APPROX-TSP-TOUR(G,c) 
1 select a verte rEG.V to be a “root” vertex 
2 compute a minimum spanning tree T for G from root r 
using MST-PRIM(G,c,r) 
3 let H be a list of vertices, ordered according to when they are first visited 
in a preorder tree walk of T 


4 return the hamiltonian cycle H 


如 12. 1 节 所 述 ， 先 序 遍 历 会 递归 地 访问 树 中 的 每 个 顶点 ， 在 第 一 次 遇 到 某 个 顶点 时 (在 访问 
其 孩子 之 前 ) 就 输出 该 顶点 。 

图 35-2 说 明了 APPROX-TSP-TOUR 的 操作 过 程 。 352《a) 给 出 了 一 个 完全 无 向 图 。 
图 35-2(b) 给 出 了 一 棵 由 MST-PRIM 计算 出 来 的 最 小 生成 树 T, 其 以 顶点 a 为 根 结 点 。 图 35-2(c) 
给 出 了 对 工 进行 先 序 遍历 时 ， 各 顶点 的 访问 顺序 。 图 35-2(d) 给 出 了 由 APPROX-TSP-TOUR 返回 
的 旅行 路 线 。 图 35-2(e) 给 出 了 一 个 最 优 的 旅行 路 线 ， 它 比 图 35-2(d) 中 的 旅行 路 线 要 短 约 23%。 
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图 35-2 APPROX-TSP-TOUR 的 操作 过 程 。(a) 给 定 一 个 完全 无 向 图 ， 其 顶点 位 于 整数 网 格 线 的 交叉 
点 处 。 例 如 ， 顶 点 f 位 于 顶点 h 右边 一 个 单位 、 上 边 两 个 单位 处 。 此 处 采用 普通 的 欧 几 里 得 
距离 作为 两 点 间 的 代价 函数 。(b) 在 这 些 顶点 的 基础 上 ， 利 用 MST-PRIM 计算 得 到 的 最 小 生 
成 树 T。 顶 点 a 为 根 顶点 。 这 里 只 显示 出 了 位 于 工 中 的 边 。 各 顶点 的 标记 方式 使 得 它们 恰好 
可 以 按 字典 顺序 ， 由 MST-PRIM 加 入 到 主 树 中 。(c) 从 顶点 a 开始 对 了 进行 遍历 。T 的 一 个 
完整 遍历 可 按 a、65、c、5b、h、b、a、d、e、f、e、g、e、d、& 的 顺序 访问 各 顶点 。 在 对 T 
进行 先 序 遍 历时 ， 只 在 第 一 次 遇 到 一 个 顶点 时 ， 才 将 该 顶点 列 出 ， 从 而 得 到 访问 顺序 a, b, 
c、h、d、e、f、g。(d) 按 先 序 遍历 顺序 访问 各 顶点 时 ， 所 得 到 的 顶点 访问 顺序 ， 即 由 
APPROX-TSP-TOUR 返回 的 旅行 路 线 五 。 其 总 代价 约 为 19. 074。(e) 原 完全 无 向 图 的 一 个 最 
优 旅 行路 线 五 * ， 其 总 代价 约 为 14. 715 


根据 练习 23. 2-2， 即 使 是 采用 MST-PRIM 的 简单 实现 ，APPROX-TSP-TOUR 的 运行 时 间 
EE OV). REREH: 如 果 旅 行商 问题 某 一 实例 的 代价 函数 满足 三 角 不 等 式 ， 则 
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APPROX-TSP-TOUR 所 返回 的 旅行 路 线 的 代价 不 大 于 最 优 旅行 路 线 代 价 的 2 倍 。 

定理 35.2 APPROX-TSP-TOUR 是 一 个 用 于 解决 满足 三 角 不 等 式 的 旅行 商 问题 的 多 项 式 时 
间 2 近似 算法 。 

证 明 ”前面 已 经 证 明了 APPROX-TSP-TOUR 的 运行 时 间 为 多 项 式 。 

设 H 表示 在 给 定 顶点 集合 上 的 一 个 最 优 旅 行路 线 。 我 们 通过 删除 一 个 旅行 路 线 中 的 任 一 条 
边 而 得 到 生成 树 ， 并 且 每 条 边 的 代价 都 是 非 负 的 。 因 此 ， 由 APPROX-TSP-TOUR 第 2 行 得 到 的 
最 小 生成 树 T 的 权 值 是 最 优 旅行 路 线 代 价 的 一 个 下 界 : 

aT <A") (35. 4) 
对 工 进行 完全 遍历 时 ， 在 初次 访问 一 个 顶点 时 输出 该 顶点 ， 并 且 在 访问 一 棵 子 树 返 回 后 输出 该 
顶点 。 我 们 称 这 个 遍历 为 WW。 对 例子 中 的 树 进行 完全 人 遍历， 得 到 次 序 
ubscybhsbyaydore, fe Eyerd sd 

因为 该 完全 遍历 恰 经 过 了 械 的 每 条 边 两 次 ， 所 以 有 (可 以 将 代价 c 的 定义 加 以 自然 的 扩展 ， 用 以 
处 理 边 集 的 情况 ): 





eW) = 2c(T) (35:5) 
由 式 (35. 4) 和 式 (35. 5) 得 

c(W) < 2c(H" ) (35. 6) 
即 W 的 代价 在 最 优 旅 行路 线 代 价 的 2 售 之 内 。 

但 是 ，W 一 般 来 说 不 是 一 个 旅行 路 线 ， 因 为 它 对 于 某 些 顶点 的 访问 次 数 超过 一 次 。 然 而 ， 
根据 三 角 不 等 式 ， 如 果 从 WW 中 去 掉 一 次 对 任意 项 点 的 访问 ,代价 并 不 会 增加 。( 如 果 在 对 顶点 u 
和 ww 的 访问 之 间 ， 从 W 中 去 掉 顶 点 v， 所 得 的 旅行 路 线 顺 序 就 指示 了 直接 从 ww Bw. REA 
这 个 操作 ， 可 以 从 WW 中 将 对 每 个 顶点 除 第 一 次 访问 之 外 的 其 他 各 次 访问 去 掉 。 在 我 们 的 例子 中 ， 
这 样 的 一 个 操作 过 程 即 可 得 旅行 次 序 : 

äsbicshsdses fsg 
这 个 次 序 与 对 树 工 进 行 先 序 遍历 所 得 的 次 序 是 一 样 的 。 设 H 为 对 应 先 序 遍历 的 回路 。 它 是 个 哈 
密 顿 回路 ， 因 为 每 个 顶点 仅 被 访问 一 次 ， 并 且 它 实际 上 是 由 APPROX-TSP-TPUR 计算 出 来 的 回 
路 。 因 为 五 是 通过 从 完全 遍历 W 中 删除 了 某 些 顶点 后 得 到 的 ， 所 以 有 : 

c(H) < c(W) (35. 7) 
将 不 等 式 (35. 6) 和 不 等 式 (35. 7) 结 合 起 来 ， 则 有 (AKH), MSEROA EATER. oO 

尽管 定理 35-2 给 出 了 很 好 的 近似 比 ， 但 在 实践 中 ，APPROX-TSP-TOUR 通常 并 不 是 解决 旅 
行商 问题 的 最 佳 选择 。 有 些 近似 算法 的 实际 性 能 要 比 APPROX-TSP-TOUR 算法 好 得 多 (具体 可 
见 本 章 末 的 参考 文献 ) 。 


35. 2.2 一 般 旅行 商 问题 

如 果 去 掉 关 于 代价 函数 c 满足 三 角 不 等 式 的 假设 ， 则 不 可 能 在 多 项 式 时 间 内 找到 一 个 好 的 近 
似 旅行 路 线 ， 除 非 P=NP. 

定理 35. 3 如果 P 天 NP， 则 对 任何 常数 o 这 1， 一 般 旅 行商 问题 不 存在 具有 近似 比 为 p 的 多 
项 式 时 间 近 似 算法 。 

证 明 采用 反 证 法 证 明 。 假 设 对 某 个 数 op 宇 1， 存 在 一 个 近似 比 为 p 的 多 项 式 时 间 近 似 算法 A. 
不 失 一 般 性 ， 假 定 op 是 一 个 整数 (必要 的 话 ， 可 以 对 其 向 上 取 整 ) 。 我 们 来 说 明 如 何在 多 项 式 时 间 内 
用 A 来 解决 哈密 顿 回路 问题 (其 定义 见 34. 2 节 ) 的 各 种 实例 。 根 据 定理 34. 13， 哈 密 顿 回路 是 NP 完 
全 问题 ， 因 而 根据 定理 34.4， 如 果 能 够 在 多 项 式 时 间 内 解决 这 个 问题 ， 必 须 满足 P=NP. 

设 G 一 (V，E) 为 哈密 顿 回路 问题 的 一 个 实例 。 我 们 希望 利用 假定 的 近似 算法 A 来 确定 G 是 
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否 包含 一 个 哈密 顿 回路 。 可 将 G 转 化 为 如 下 的 一 个 旅行 商 问题 的 实例 。 设 G = WV, EDAVE 
的 完全 图 ， 也 就 是 说 ， 
E' = {(u,v):u,v€ VB uA 

再 对 五 中 的 每 条 边 按 如 下 方法 赋 以 一 个 整数 代价 : 
1 wE(u,v) CE 
olV| 十 1 其 他 
G'A 的 表示 可 以 在 关于 |V| 和 | 五 | 多 项 式 时 间 内 由 CC 构造 出 来 。 

现在 来 考虑 旅行 商 问 题 (G'，c)。 如 果 原 图 G 中 存在 一 条 哈密 顿 回路 瓦 ， 则 代价 函数 < 对 五 
的 每 条 边 赋 以 代价 1， 从 而 (G  ，c) 中 包含 了 一 个 代价 为 |V| 的 旅行 路 线 。 另 外 ， 如 果 G 中 不 包 
含 一 条 哈密 顿 回 路 ， 那 么 G' 的 任意 一 个 旅行 路 线 必定 要 用 到 不 在 EE 中 的 某 条 边 。 但 是 ,任意 一 
个 用 到 不 在 五 中 边 的 旅行 路 线 的 代价 至 少 为 

@IVI+D+CdVl—D =plVI+I1VI >lV 

因为 不 在 G 中 的 边 的 代价 很 大 ， 故 G 中 哈密 顿 回 路 的 旅行 路 线 代 价 ( 为 |V| ) 与 任何 其 他 旅行 路 
线 的 代价 (至 少 为 p|V| 十 |V|) 之 间 相差 至 少 为 p|V|。 

现在 ,假定 我 们 应 用 近似 算法 A 来 解决 旅行 商 问题 (G'，c)。 因 为 A 能 保证 其 返回 旅行 路 线 
的 代价 不 超过 一 个 最 优 旅行 路 线 代 价 的 o 倍 ， 如 果 G 包含 一 条 哈密 顿 回 路 ， 则 A 必定 会 返回 满 
足 上 述 要 求 的 旅行 路 线 。 但是， 如 果 G 不 包含 哈密 顿 回路 ， 则 A 就 会 返回 一 个 代价 大 于 po|V| 的 
旅行 路 线 。 所 以 ， 可 以 用 算法 A 在 多 项 式 时 间 内 解决 哈密 顿 回路 问题 。 m 

定理 35. 3 的 证 明 过 程 展 示 了 一 种 通用 技术 ， 这 种 技术 可 以 用 来 证 明 某 一 问题 无 法 被 很 好 地 
近似 。 假 设 给 定 一 个 NP 难度 的 问题 X， 我 们 可 以 在 多 项 式 时 间 内 构造 出 一 个 最 小 化 问题 了 ， 使 
得 和 的 “yes” 实 例 对 应 于 值 至 多 为 &( 对 于 某 个 妨 的 并 实例 ， 而 X 的 “no” 实 例 对 应 于 值 大 于 pk 的 
Y 实例 。 那 么 ,我 们 就 证 明了 除非 有 P= 二 NP， 否 则 ， 问 题 了 不 存在 多 项 式 时 间 的 p 近似 算法 。 


练习 


35.2-1 假设 一 个 完全 无 向 图 G 二 (V，E) 至 少 含有 三 个 顶点， 其 代价 函数 c 满 足 三 角 不 等 式 。 证 
明 : 对 所 有 的 u，vEV， 有 clu, V0. 

35.2-2 说 明 如 何 才 能 在 多 项 式 时 间 内 ， 将 旅行 商 问题 的 一 个 实例 转换 为 男 一 个 代价 函数 满足 三 
角 不 等 式 的 实例 。 两 个 实例 必须 有 相同 的 最 优 旅行 路 线 。 请 解释 为 什么 这 种 多 项 式 时 间 
的 转换 与 定理 35. 3 并 不 矛盾 ， 假 设 PANP. 

35.2-3 ”考虑 下 述 用 于 构造 近似 旅行 商旅 行路 线 (代价 函数 满足 三 角 不 等 式 ) 的 最 近 点 启发 式 : 从 
只 包含 任意 选择 的 某 一 顶点 的 平凡 回路 开始 ， 在 每 一 步 中 ， 找 出 一 个 顶点 w， 它 不 在 回 
路 中 ,但 到 回路 上 任何 顶点 之 间 的 距离 最 短 。 假 设 回 路 上 距离 u 最 近 的 顶点 为 w， 则 将 
插入 到 vw 之 后 ， 从 而 对 回路 加 以 扩展 。 重 复 这 一 过 程 ， 直 到 所 有 顶点 都 在 回路 上 为 止 。 
WH: 这 一 启发 式 方法 返回 的 旅行 路 线 总 代价 不 超过 最 优 旅 行路 线 代价 的 2 倍 。 

35.24 在 瓶颈 旅行 商 问题 中 ， 目 标 是 找 出 这 样 的 一 条 哈密 顿 回路 ， 使 得 回路 中 代价 最 大 的 边 的 
代价 相对 于 其 他 回路 来 说 最 小 。 假 设 代价 函数 满足 三 角 不 等 式 ， 证 明 : 这 个 问题 存在 一 
个 近似 比 为 3 的 多 项 式 时 间 近 似 算法 。( 提 示 : 如 思考 题 23-3 中 讨论 的 那样 ， 可 以 采用 
递归 证 明 的 方法 ， 通 过 完全 遍历 瓶颈 生成 树 及 跳 过 某 些 顶点 ， 可 以 恰好 访问 树 中 的 每 个 
顶点 一 次 ， 但 连续 跳 过 的 中 间 顶 点 不 会 多 于 两 个 。 证 明 在 瓶颈 生成 树 中 ， 最 大 的 边 代价 
不 超过 瓶颈 哈密 顿 回路 中 最 大 的 边 代 价 。) 

35.2-5 ”假设 与 旅行 商 问题 一 个 实例 对 应 的 顶点 是 平面 上 的 点 ， 且 代价 cu, vA u lv 之 间 
的 欧 几 里 得 距离 。 证 明 : 一 条 最 优 旅 行路 线 不 会 自我 交叉 。 


c(u,v) = 
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35.3 ”集合 覆盖 问题 

集合 覆盖 问题 是 一 个 最 优化 问题 ， 它 是 许多 资源 分 配 问题 的 模型 ， 其 相应 的 判定 问题 是 NP 
完全 的 顶点 覆盖 问题 的 推广 ， 因 而 也 是 NP 难 问题 。 然 而 ， 用 于 解决 项 点 覆盖 的 近似 算法 并 不 适 
合 解决 集合 覆盖 问题 ， 需 要 尝试 其 他 方法 。 我 们 要 讨论 一 种 简单 的 具有 对 数 近似 比 的 贪心 启发 
式 方法 ， 即 随 着 实例 规模 的 逐渐 增 大 ， 相 对 于 一 个 最 优 解 的 规模 来 说 ， 近 似 解 的 规模 可 能 相应 增 
大 。 但 是 ， 由 于 对 数 函 数 增长 很 慢 ， 这 个 近似 算 
法 仍然 可 以 产生 很 有 用 的 结果 。 

集合 覆盖 问题 的 一 个 实例 (X，y 了 ) 由 一 个 有 穷 
集 X 和 一 个 X 的 子 集 族 F 构 成 ， 且 X 的 每 一 个 元 
素 至 少 属于 下 中 的 一 个 子 集 : 


X= u Ss 
我 们 说 一 个 子 集 Se 覆盖 了 它 的 元 素 。 这 个 问 是 
是 要 找到 一 个 最 小 规模 子 集 CCF， ELM RE itt 




















图 35-3 ”集合 覆盖 问题 的 一 个 实例 (X,，F)， 


X 的 所 有 成 员 : 其 中 和 包含 12 个 黑 点 , F= lS, 
x= S (35. 8) Sz, Sas Sis Sss Ss}. — ix) Fl 

ae RENANE (S, Sze Seda 其 

我 们 说 任何 满足 等 式 (35. 8) MCB X. A 35-3 规模 为 3， 通 过 按 序 选 择 集合 S. 
说 明了 集合 覆盖 问题 。 忆 的 规模 是 指 为 它 所 包含 的 5. ks & BSS. Sh &. S&S, 
集合 数 ， 而 不 是 这 些 集合 中 的 元 素数 ， 因 为 每 个 贪心 算法 产生 了 一 个 规模 为 4 的 覆盖 


覆盖 X 的 子 集 忆 必定 包含 所 有 |X | 个 元 素 。 在 
图 35-3 中 ， 最 小 集合 覆盖 的 规模 为 3。 

集合 覆盖 问题 是 对 许多 常见 的 组 合 问题 的 一 种 抽象 。 考 虑 一 个 简单 的 例子 : 假设 X 表示 解决 某 
一 问题 所 需要 的 技巧 集合 ， 另 外 ， 有 一 个 给 定 的 参与 解决 该 问题 的 人 员 集合 。 我 们 和 希望 组 成 一 个 人 数 
尽 可 能 少 的 委员 会 ， 使 得 对 X 中 每 种 必需 的 技巧 ， 委 员 会 中 都 至 少 有 一 位 成 员 掌握 该 技巧 。 在 集合 

盖 问 题 的 判定 版 本 中 ， 我 们 想 知道 一 个 集合 覆盖 的 规模 是 否 至 多 为 &， 其 中 & 是 在 该 问题 实例 中 规 
定 的 另 一 个 参数 。 集 合 覆 盖 问 题 的 判定 版 本 是 NP 完全 的 ， 练 习 35. 3-2 要 求 读者 证 明 这 一 点 。 

一 个 贪心 近似 算法 

该 贪心 方法 在 每 一 次 循环 中 ， 都 会 选择 出 能 覆盖 最 多 尚未 被 覆盖 元 素 的 集合 S。 

GREEDY-SET-COVER(X, F) 

1 U=X 

2 C=O 

3 while UG 

4 select an SEF that maximizes | SMU | 

5 U=U-Ss 

6 ‘e=eU{s} 

7 return © 


在 图 35-3 的 例子 中 ，GREEDY-SET-COVER FHRA Si. Si. Ss» URS; 或 S 中 的 任 
意 一 个 加 入 到 © 中 。 

这 个 算法 的 工作 过 程 如 下 : 在 每 个 阶段 ,集合 U 包含 余下 的 未 被 覆盖 的 元 素 构成 的 集合 ; 
集合 C 包 含 正在 被 构造 的 覆盖 。 第 4 行 是 贪心 决策 步骤 ， 即 选 出 一 个 子 集 S， 使 它 能 覆盖 尽 可 能 
多 的 未 被 覆盖 的 元 素 ( 如 果 有 两 个 子 集 覆 盖 了 同样 多 元 素 ， 可 以 任意 选择 其 中 之 一 )。 在 S 被 选 
出 后 ,第 5 行将 其 所 含 元 素 从 U 中 去 掉 ， 第 6 行将 SMAC. SRKAILN, RACHA-TH 
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盖 X 的 多 的 子 族 。 

很 容易 实现 算法 GREEDY-SET-COVER, 使 其 以 |X| 和 | 多 | 的 多 项 式 时 间 运行 。 因 为 第 
3 一 6 行 间 循环 的 迭代 次 数 至 多 为 min( | X| ，| 色 | )， 而 且 可 以 将 循环 体 实现 以 时 间 OC! X| | F |) 
运行 ， 故 存在 一 个 运行 时 间 为 OC|X| | 到 | min(|X| ，| 多 |)) 的 实现 。 练 习 35. 3-3 要 求 读者 给 出 
一 个 线性 时 间 的 算法 。 

算法 分 析 

下 面 来 证 明 上 述 贪心 算法 可 以 返回 一 个 比 最 优 集合 覆盖 大 不 了 很 多 的 集合 覆盖 。 为 方便 起 


W, ERAH, 我们 用 五 (4) 来 表示 第 4 级 调和 数 Hs = 2 1/i ( 见 A. 1 节 )。 作 为 一 个 边界 条 


fk; EX H(O)=0. 
定理 35.4 GREEDY-SET-COVER 是 一 个 多 项 式 时 间 的 p(n) 近 似 算 法 ， 其中: 
p(n) = H(max{|S|:S E€ ¥}) 

证 明 我们 已 经 证 明了 GREEDY-SET-COVER 以 多 项 式 时 间 运 行 。 

为 了 证 明 GREEDY-SET-COVER 是 一 个 p(n) 近 似 算法 ， 对 每 一 个 由 该 算法 选 出 的 集合 赋予 
代价 1， 并 将 这 一 代价 平均 分 配给 被 初次 覆盖 的 元 素 ， 再 利用 这 些 代 价 导出 一 个 最 优 和 集合 覆盖 
C 的 规模 和 由 该 算法 返回 的 集合 覆盖 好 的 规模 之 间 的 关系 。 设 S: 表示 由 GREEDY-SET-COVER 
所 选 出 的 第 i 个 子 集 ; 在 将 S 加 入 CC 中 时 要 产生 代价 1。 将 这 个 选择 S 时 产生 的 代价 平均 分 配给 
首次 被 S; 覆盖 的 元 素 。 对 zxEX， 设 cx 表示 分 配给 元 素 z 的 代价 。 对 每 一 个 元 素 只 分 配 一 次 代 
价 ， 即 仅 当 它 被 首次 覆盖 时 分 配 代价 。 如 果 首次 被 S; 覆盖 ， 那 么 





Cr 


av al 
[S = C&S; U S, U ai U Sa) | 
在 算法 的 每 一 步 中 ， 要 分 配 1 个 单位 的 代价 ， 因 此 ， 


lel = die. (35. 9) 
由 于 每 一 个 EX 都 至 少 在 最 优 玩 盖 2 中 的 一 个 集合 内 ， 因 此 ， 
Dy Duta Dyes (35. 10) 
将 式 (35. 9) ASK (35. 10) 组 合 起 来 ， i: > xa 
E e dies (35.11) 
余下 的 证 明 关键 在 于 下 面 的 不 等 式 ， 我 们 稍 后 将 对 它 进行 证 明 。 对 属于 族 F 的 任何 集合 S， 
Dues < H(|S|) (35. 12) 


根据 不 等 式 (35. 11) 和 (35. 12) ， 可 得 
lel < HASI < |€ | -< HGmax{| S| :S E F}) 
set” 


因而 定理 成 立 。 
下 面 来 证 明 不 等 式 (35. 12)。 对 任意 的 集合 SCF AM I=1, 2, =, |C], 设 
u = |S—(S, US, UU S)| 
AS, Spy Sys S 被 该 算法 选 出 之 后 ，S 中 余下 的 未 被 覆盖 的 元 素 个 数 。 定 义 w 二 1S| 为 5S 
中 元 素 ( 开 始 时 它们 都 未 被 覆盖 ) 的 个 数 。 设 为 满足 ui 二 0 的 最 小 下 标 ， 使 得 S 的 每 个 元 素 至 少 
EREA So ，S ，…，S; 中 的 一 个 所 覆盖 ， 并 且 S 中 的 某 个 元 素 未 被 S1 US: U…U Si_1 所 覆盖 。 
这 样 ， 对 i=l, 2, ory Ry U;-1 =U; » B. SPH ui- u 个 元 素 首 次 被 S; 所 覆盖 。 于 是 有 


k 


= SNe he Sees ea eee 
2c: = 2,4 —™) "Tess U- USD 


zES i=1 
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注意 到 

|S:— (S US, Us U SD | 之 |S= (5 US Le U S) | = Ui 
这 是 因为 对 S: 的 贪心 选择 保证 了 S 不 可 能 比 S; 覆盖 更 多 的 新 的 元 素 ( 否 则 ， 选 出 的 就 会 是 S， 而 
不 是 S:)。 由 此 可 得 


下 面 的 公式 给 出 这 个 量 的 界 : 
tse 


zES 


4 Aj Lun) 


IN 


= ihe ills iM ty) 
< 
ll 
fe 
S 


— 
ate 
| 
一 .| 一 
NS 


(Hu) = H(u;)) 


1 


= Him) — Heu) (根据 裂 项 相 消 和 ) 
= H(u) — H(0) 
= H(w) (因为 HO) = 0) 
= H(|S|) 
从 而 完成 了 对 不 等 式 (35. 12) 的 证 明 。 
推论 35.5 GREEDY-SET-COVER 是 一 个 多 项 式 时 间 的 (ljn| 和 | 十 1) 近 似 算 法 。 E 
证 明 利用 不 等 式 (A. 14) 和 定理 35. 4 即 可 证 明 。 E 
在 某 些 应 用 中 ，max{|S| : SEF} 是 一 个 较 小 的 常数 。 在 这 种 情况 下 ， 由 GREEDY-SET- 
COVER 返回 的 解 至 多 比 最 优 解 大 一 个 很 小 的 常数 倍 。 例 如 ， 对 一 个 顶点 度 至 多 为 3 的 图 来 说 ， 
当 利用 这 种 启发 式 方法 获取 其 近似 顶点 覆盖 时 ， 这 种 方法 就 有 应 用 价值 。 在 这 种 情况 下 ， 由 
GREEDY-SET-COVER 找 出 的 近似 解 不 大 于 一 个 最 优 解 的 吾 (3) = 11/6 倍 ， 这 个 近似 比 
APPROX-VERTEX-COVER 的 略 好 一 些 。 


练习 

35.3-1 将 以 下 每 一 个 单词 都 看 做 字母 集合 : (arid, dash, drain, heard, lost, nose, shun, 
slate，snare，thread}。 当 出 现 有 两 个 集合 可 供 选 择 的 情况 时 ， 如 果 倾 向 于 优先 选择 在 
词典 中 先 出 现 的 单词 ， 则 GREEDY-SET-COVFR 会 产生 怎样 的 集合 覆盖 。 

35.3-2 通过 由 顶点 覆盖 问题 对 其 进行 归 约 ， 证明: 集合 覆盖 问题 的 判定 版 本 是 NP 完全 的 。 

35.3-3 说明 如 何 实现 GREEDY-SET-COVER， 使 其 运行 时 间 为 o( 3; Isl). 

35.3-4 下 面 给 出 的 是 定理 35. 4 的 较 弱 形式 ,证 明 其 正确 性 : 

le| < |€* |max{|S|:S EF} 

35.3-5 GREEDY-SET-COVER 可 以 返回 许多 不 同 的 解 ， 具 体 取 决 于 在 第 4 行 中 如 何 打破 “ 平 
局 ”。 给 出 过 程 BAD-SET-COVER-INSTANCE(n)， 用 于 返回 集合 覆盖 问题 的 一 个 nn 元 
素 实 例 ， 在 该 过 程 中 ， 通 过 选择 第 4 行 中 打破 平局 的 方法 ，GREEDY-SET-COVER 可 
以 返回 不 同 数量 的 解 ， 为 n 的 指数 。 
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35.4 随机 化 和 线性 规划 

本 节 主要 研究 两 种 在 设计 近似 算法 时 非常 有 用 的 技术 ， 随机 化 和 线性 规划 。 我 们 要 给 出 
3-CNF 可 满足 性 问题 最 优化 版 本 的 一 个 随机 化 算法 ， 还 要 利用 线性 规划 ， 为 顶点 覆盖 问题 的 一 个 
带 权 版 本 设计 近似 算法 。 本 节 只 是 简单 地 介绍 了 这 两 种 极为 有 用 的 技术 ,“ 本 章 注 记 ” 中 给 出 了 有 
关 这 两 个 领域 的 进一步 参考 文献 。 

解决 MAX-3-CNF 可 满足 性 问题 的 一 个 随机 化 近似 算法 

正如 可 以 计算 出 准确 解 的 随机 算法 一 样 ， 一 些 随机 化 算法 也 可 用 于 计算 近似 解 。 如 果 某 一 
问题 的 随机 化 算法 满足 对 任何 规模 为 ”的 输入 ， 该 随机 化 算法 所 产生 的 解 的 期 望 代价 C 在 最 优 解 
的 代价 C 的 一 个 因子 ol) 2: 


C 
max( <<) <p(n) (35. 13) 


则 称 该 随机 算法 具有 近似 比 oln). 

能 达到 近似 比 p(n 的 随机 化 算法 也 称 为 随机 化 的 p(n) 近 似 算法 。 随 机 化 的 近似 算法 类 似 于 
确定 型 的 算法 ， 只 是 其 近似 比 为 一 个 期 望 值 。 

如 在 34. 4 节 中 定义 的 那样 ，3-CNF 可 满足 性 问题 的 一 个 特定 实例 可 能 是 可 满足 的 ， 也 可 能 
不 是 。 为 了 使 其 可 满足 ， 必 须 找到 一 种 对 变量 的 赋值 ， 使 得 每 个 子 句 的 计算 结果 都 为 1。 如 果 某 
个 实例 是 不 可 满足 的 ， 我 们 希望 计算 一 下 它 离 “可 满足 ?还 差 多 少 ， 也 就 是 说 ， 我 们 希望 找 出 变量 
的 一 种 赋值 ， 使 得 有 尽 可 能 多 的 子 句 得 到 满足 。 这 种 最 大 化 问题 称 为 MAX-3-CNF 可 满足 性 问 
题 。MAX-3-CNF 可 满足 性 问题 的 输入 与 3-CNF 可 满足 性 问题 的 输入 是 一 样 的 ， 目 标 是 返回 变量 
的 一 种 赋值 ， 它 最 大 化 计算 结果 为 1 的 子 句 的 数量 。 下 面 来 证 明 以 1/2 的 概率 随机 将 每 个 变量 设 
置 为 1， 以 1/2 概率 随机 将 每 个 变量 设置 为 0， 即 可 得 到 随机 化 的 8/7 近似 算法 。 根 据 34. 4 节 中 
3-CNF 可 满足 性 的 定义 ， 要 求 每 个 子 句 都 恰 包 含 3 个 不 同 的 文字 。 进 一 步 假 设 所 有 的 子 句 都 不 会 
既 包含 一 个 变量 ， 又 包含 其 否定 形式 。( 练 习 35. 4-1 要 求 读 者 去 掉 这 个 假设 。) 

定理 35. 6 给 定 MAX-3-CNF 可 满足 性 问题 的 一 个 实例 ， 它 有 nn 个 变量 XI，Zzs，…，Z， 和 
m 个 子 句 ， 以 1/2 概率 独立 地 将 每 个 变量 设置 为 1 并 以 1/2 概率 独立 地 将 每 个 变量 设置 为 0 的 随 
机 化 近似 算法 是 一 个 随机 化 的 8/7 近似 算法 。 

证 明 假设 我 们 已 经 以 1/2 概率 独立 地 将 每 个 变量 设置 为 1， 以 1/2 概率 独立 地 将 每 个 变量 
设置 为 0。 对 i 二 1，2，…，m， 定 义 指示 器 随机 变量 

了 ;二 1( 子 名 i 被 满足 ) 
因此 ， 只 要 第 i 个 子 句 的 变量 中 至 少 有 一 个 已 被 置 为 1， 就 有 YY; 二 1。 由 于 在 同一 个 子 句 中 , 任 
何 一 个 文字 的 出 现 次 数 都 不 会 多 于 一 次 ， 又 由 于 我 们 已 经 假设 同一 子 句 中 不 会 同时 出 现 一 个 变 
量 及 其 否定 形式 ， 故 每 个 子 句 中 三 个 文字 的 设置 都 是 互相 独立 的 。 对 于 一 个 子 句 来 说 ， 只 有 当 它 
的 三 个 文字 都 被 置 为 0 时 ， 才 不 会 被 满足 ， 因 此 ，Pr{ 子 句 i 不 被 满足 } 二 (1/2); 二 1/8。 于 是 ，Pr 
{ 子 句 i 被 满足 } 二 1 一 1/8 二 7/8。 根 据 引 理 5.1，E[LY;] 二 7/8。 设 了 为 得 到 满足 的 子 句 的 总 数 ， 
则 有 Y=Y; TY t Yas 于 是 ， 有 : 


E[Y]= E| > Y, | 
= SEY] (根据 期 望 的 线性 性 ) 


= 7/8 = 7m/8 
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显然 ，m 是 得 到 满足 的 子 句 数量 的 上 界 ， 因 而 ， 近 似 比 至 多 为 m/(7m/8)=8/7. i] 
利用 线性 规划 来 近似 求解 带 权 项 点 履 盖 问题 
在 最 小 权 值 项 点 覆盖 问题 中 ， 给 定 一 个 无 向 图 G 一 (V，E)， 其 中 每 个 顶点 vEY 都 有 一 个 正 


的 权 值 wv)。 对 任意 顶点 覆盖 V'CV， 定 义 该 顶点 覆盖 的 权 为 w(V") 二 2w). 目标 是 找 出 一 


个 具有 最 小 权 值 的 顶点 覆盖 。 

对 于 这 个 问题 ， 不 能 直接 采用 面向 无 权 顶 点 覆盖 的 算法 ， 也 不 能 采用 随机 化 的 解决 方案 ， 因 
为 这 两 种 方法 给 出 的 解 可 能 远 非 最 优 。 但是， 对 于 最 小 权 值 项 点 覆盖 ， 我 们 将 利用 线性 规划 技 
术 ， 计 算出 其 权 值 的 一 个 下 界 。 然 后 ， 对 计算 出 来 的 结果 进行 “伟人 ”， 并 利用 得 到 的 结果 来 获得 
顶点 覆盖 。 

假设 对 每 个 顶点 vEV， 都 安排 一 个 变量 x(w) 与 之 关联 ， 并 且 ， 要 求 对 每 个 vEV， 有 x(v) 等 
于 0 或 1。 将 v 加 入 顶点 覆盖 ， 当 且 仅 当 zx(v) 二 1。 那 么 , 我们 可 以 写 出 这 样 一 条 约束 : 对 于 任意 
Wu, v), wu 和 wv 之 中 至 少 有 一 个 必须 在 顶点 覆盖 中 ， 即 z(w) 十 zx(v) 之 1。 这 样 一 来 ， 就 引出 下 述 
用 于 寻找 最 小 权 值 顶点 覆盖 的 0-1 整数 规划 : 


minimize > wv) zr(v) (35. 14) 
vEV 
条 件 是 
xlu) + rlo) > l1,lu,) EE (35. 15) 
xlv) E {0,1} ,vEV (35. 16) 


在 特殊 情况 下 ， 所 有 权重 w(w) 等 于 1， 这 个 公式 是 NP 难 的 项 点 覆盖 问题 的 最 优化 版 本 。 假 
RRHH rw) E10，1) 这 一 限制 ， 并 代 之 以 0 和 x(z) 达 1， 就 可 以 得 到 如 下 线性 规划 ， 称 为 线性 
规划 松弛 : 


minimize DJw(lvw) zr(v) (35. 17) 
veEV 
约束 是 
clu) +r) >1 ,其 中 (u,v) EE (35. 18) 
av) <1 ,其 中 v€EV (35. 19) 
ao) 20 ,其 中 v€EV (35. 20) 


式 (35. 14) ~ (35. 16) 中 0-1 整数 规划 的 任意 可 行 解 也 是 式 (35. 17) ~ (35. 20) 中 线性 规划 的 一 个 可 
行 解 。 于 是 ， 线 性 规划 的 最 优 解 是 0-1 整数 规划 最 优 解 的 下 界 ， 从 而 也 是 最 小 权 值 顶点 覆盖 问题 
最 优 解 的 下 界 。 
下 面 的 过 程 利用 上 述 线性 规划 松弛 的 解 ， 来 构造 最 小 权 值 顶点 覆盖 问题 的 一 个 近似 解 。 
APPROX-MIN-WEIGHT-VC(G, w) 
1 C= 
2 compute z,an optimal solution to the linear program in lines(35. 17) — (35. 20) 
3 for each v&V 
4 if x(v)>1/2 
5 C=CU {v} 
6 


return C 


APPROX-MIN-WEIGHT-VC 的 工作 过 程 如 下 。 第 1 行将 顶点 覆盖 初始 化 为 空 。 第 2 行 形成 
式 (35. 17) ~ (35. 20) 中 的 线性 规划 ， 然 后 求解 这 一 线性 规划 。 最 优 解 要 给 每 个 顶点 v 赋 一 个 相关 
的 值 z(v)， 其 中 0x(v) 志 1。 在 第 3~5 行 中 ， 利 用 这 一 值 来 确定 该 选择 哪些 顶点 加 入 顶点 覆盖 
C 中 。 如 果 z(v) 写 1/2， 则 将 v 加 入 C 中 ; 否则， 不 将 其 加 入 。 实 际 上 ， 我 们 对 线性 规划 的 解 中 
将 每 个 带 小 数 的 变量 “四 售 五 人 ?成 0 或 1， 从 而 求 得 式 (35. 14) ~ (35. 16) 中 0-1 整数 规划 的 解 。 
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最 后 ， 第 6 行 返回 顶点 覆盖 C 

定理 35.7 算法 APPROX-MIN-WEIGHT-VC 是 求解 最 小 权 值 顶点 履 盖 问题 的 一 个 多 项 式 
时 间 的 2 近似 算法 。 

证 明 ”因为 在 第 2 行 中 ， 调 用 了 一 个 多 项 式 时 间 算 法 来 求解 线性 规划 ， 并 且 第 3 一 5 行 中 的 
for 循环 以 多 项 式 时 间 运 行 ， 因 而 APPROX-MIN-WEIGHT-VC 是 一 个 多 项 式 时 间 的 算法 。 

下 面 来 证 明 APPROX-MIN-WEIGHT-VC 是 一 个 2 近似 算法 。 设 C* 是 最 小 权 值 顶点 覆盖 问 
题 的 一 个 最 优 解 ， 并 设 z* 为 式 (35. 17) ~ (35. 20) 中 线性 规划 的 一 个 最 优 解 。 由 于 最 优 的 顶点 覆 
盖 也 是 该 线性 规划 的 可 行 解 ， 因 此 ，z* 必定 是 wC ) 的 一 个 下 界 ， 即 

z < wC) (35. 21) 

接 下 来 ， 我 们 断言 : 通过 对 变量 x(v) 的 小 数 部 分 进行 合 人 和信， 可 以 得 到 一 个 顶点 覆盖 C, WE 
ww(C) 委 2z* 。 为 了 证 明 C 是 一 个 顶点 覆盖 ， 考 虑 任意 边 (u，w) EE。 根 据 约束 (35. 18)，z(《w) 十 
ZX(v) 宇 1， 这 意味 着 在 x(w) 和 zx(v) 中 ， 至 少 有 一 个 其 值 至 少 为 1/2。 因 此 ，w 和 w 中 至 少 有 一 个 将 
被 加 入 到 顶点 覆盖 中 ， 因 而 每 一 条 边 都 将 被 覆盖 。 

下 面 考虑 覆盖 的 权 值 ， 有 : 


z= Swi DY wwwx) > wo) + > 
vEV vEViz(v) 1/2 vEV:2(v) 1/2 
= Swe «b= + Vee) = tw (35. 22) 
vEC 2 2 vEC 2 
将 不 等 式 (35. 21) 和 (35. 22) 结 合 起 来 ， 有 : 
w(C) < 22" < 2w(C* ) 
因此 APPROX-MIN-WEIGHT-VC 是 一 个 2 近似 算法 。 a 


练习 

35.4-1 WH: 即使 允许 一 个 子 句 既 包含 变量 又 包含 其 否定 形式 ， 将 每 个 变量 随机 地 以 概率 1/2 
设置 为 1 和 以 概率 1/2 设置 为 0， 它 仍然 是 一 个 随机 化 的 8/7 近似 算法 。 

35.4-2 MAX-CNF 可 满足 性 问题 与 MAX-3-CNF 可 满足 性 问题 类 似 ， 只 是 它 并 不 要 求 每 个 子 句 
都 恰 包 含 3 个 文字 。 对 MAX-CNF 可 满足 性 问题 ， 给 出 它 的 一 个 随机 化 的 2 近似 算法 。 

35.4-3 在 MAXCUT 问题 中 ， 给 定 一 个 无 权 无 向 图 G 一 (V，E)。 如 在 第 23 章 中 一 样 ， 定 义 一 
个 割 (S，V 一 S)， 并 定义 一 个 割 的 权 为 通过 该 割 的 边 数 。 问 题 的 目标 是 找 出 一 个 具有 最 
大 权 值 的 割 。 假 设 对 每 个 顶点 v， 随 机 且 独 立地 将 v 以 概率 1/2 EA SH, UREZ 1/2 
置 人 V 一 S 中 。 证明: 这 个 算法 是 一 个 随机 化 的 2 近似 算法 。 

35.4-4 WH: 式 (35.19) 中 的 约束 是 多 余 的 ， 意 即 ， 如 果 将 它们 从 式 (35.17) 一 (35. 20) 间 的 线 
性 规划 中 去 掉 ， 所 得 到 线性 规划 的 任何 最 优 解 必定 满足 对 每 个 vEV，z(zZ 委 1。 


35.5 子 集 和 问题 


子 集 和 问题 的 一 个 实例 是 一 个 对 (S，z)， 其 中 S 是 一 个 正 整 数 的 集合 {zx1，zs，…，z,}, t 
是 一 个 正 整 数 。 这 个 判定 问题 是 判定 是 否 存 在 S 的 一 个 子 集 ， 使 得 其 中 的 数 加 起 来 恰 为 目标 值 
t。 这 个 问题 是 NP 完全 的 ( 见 34. 5. 5 节 )。 

与 此 判定 问题 相 联系 的 最 优化 问题 常常 出 现 于 实际 应 用 中 。 在 这 种 最 优化 问题 中 ， 和 希望 找 
到 {zi，zxs，…，zx,} 的 一 个 子 集 ， 使 其 中 元 素 相 加 之 和 尽 可 能 的 大 ， 但 不 能 大 于 t。 例 如 ， 假设 
我 们 有 一 辆 能 装 不 多 于 上 磅 重 的 货 的 卡车 ， 并 有 ?个 不 同 的 盒子 要 装运 ， 其 中 第 i 个 的 重量 为 zz， 
磅 。 我 们 希望 在 不 超过 重量 极限 的 前 提 下 ， 将 货 尽 可 能 地 装 满 卡车 。 

在 这 一 节 里 ， 我 们 先 给 出 解决 这 个 最 优化 问题 的 一 个 指数 时 间 算 法 ， 然 后 说 明 如 何 来 修改 
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算法 ， 使 之 成 为 一 个 完全 多 项 式 时 间 的 近似 模式 。( 一 个 完全 多 项 式 时 间 近 似 模式 的 运行 时 间 为 
1/e， 也 是 输入 规模 的 多 项 式 。) 

一 个 指数 时 间 的 准确 算法 

假设 对 S 的 每 个 子 集 S， 都 计算 出 S' 中 所 有 元 素 的 和 。 接 着 ,在 所 有 元 素 和 不 超过 i 的 子 集中 ， 
选择 其 和 最 接近 i 的 子 集 。 显 然 ， 这 一 算法 将 返回 最 优 解 ， 但 它 可 能 需要 指数 级 的 时 间 。 为 了 实现 这 
个 算法 ， 可 以 采用 一 种 迭代 过 程 : 在 第 BERR, HE, m, o a MATRA, ARE 
础 是 {wt ，zs，…，Zzi_1) 的 所 有 子 集 的 和 。 在 这 个 计算 过 程 中 ， 一 旦 某 个 特定 子 集 S 的 和 超过 了 t， 就 
没有 必要 再 对 它 进行 处 理 ， 因 为 S 的 超 集 不 会 成 为 最 优 解 。 下 面 给 出 这 一 策略 的 实现 。 

过 程 EXACT-SUBSET-SUM 的 输入 为 一 个 集合 S 二 {zx1，zs，…，x} 和 一 个 目标 值 :， 其 伪 
代码 接 下 来 给 出 。 这 个 过 程 以 迭代 的 方式 计算 列表 L;， 其 中 列 出 了 {zl，zs，…，Zzi} 的 所 有 子 集 
的 和 ， 这 些 和 值 都 不 超过 目标 值 *， 接 着 ， 它 返回 L, 中 的 最 大 值 。 

设 工 是 一 个 由 正 整 数 构成 的 列表 ，z 是 一 个 正 整 数 ， 我 们 用 工 十 z 来 表示 通过 对 工 中 每 个 元 素 
增加 oc THA BONE. PIG, MIR L= (1, 2, 3, 5, 9), M L+2=(3, 4, 5, 7, 11). RN 
对 集合 也 应 用 这 个 记号 ， 因 而 

Sta= ({sta:s E€ S} 

我 们 还 用 到 了 一 个 辅助 过 程 MERGE-LISTS(GL，L')， 返 回 对 其 两 个 已 排序 的 输入 列表 工 和 
工 合并 及 删除 重复 值 后 所 产生 的 排序 列表 。 像 在 归并 排序 中 用 到 的 MERGE 过 程 一 样 ( 见 2.3.1 
45), MERGE-LISTS 的 运行 时 间 为 O(| 工 | 十 | 工 | )( 这 里 省 略 MERGE-LISTS 的 伪 代 码 )。 

EXACT-SUBSET-SUM(S, 1) 

1 n=|S| 

2 Lo=<0> 

3 for i=1 ton 
4 L;=MERGE-LISTS(L,; 1,L; 1 二 Tz;) 

5 remove from L; every element that is greater than ¢ 
6 


return the largest element in L,, 


为 了 搞 清楚 EXACT-SUBSET-SUM 的 工作 过 程 ， 设 已 表示 通过 选择 { 石 ， 字 ，…， 荆 } 的 任意 一 
个 (可 能 为 空 的 ) 子 集 并 对 其 成 员 求 和 而 获得 的 所 有 值 的 集合 。 例 如 ， 如 果 S 二 {1，4，5}， 则 
P, = {051} 
Py = (0.1.4.5} 
P, = {0,1,4,556.9,510} 
给 定 等 式 
P= Py U Pra He) (35. 23) 
可 以 通过 对 i 的 归纳 ( 见 练习 35. 5-1) 来 证 明 表 工 ; 是 一 个 包含 P; 中 的 所 有 值 不 大 于 t 的 元 素 的 有 
FR. AX L 的 长 度 可 达到 2°, 一般 来 说 EXACT-SUBSET-SUM 是 一 个 指数 时 间 的 算法 。 FEL 
为 |S | 的 多 项 式 或 S 中 的 所 有 成 员 均 有 |S | 的 一 个 多 项 式 限界 的 特殊 情况 下 ，EXACT-SUBSET- 
SUM 是 一 个 多 项 式 时 间 算 法 。 
一 个 完全 多 项 式 时 间 近 似 模 式 
对 子 集 和 问题 ， 我 们 可 以 通过 在 每 个 列表 Li 被 创建 后 ， 对 它 进行 “修整 "， 来 导出 一 个 完全 
多 项 式 时 间 的 近似 模式 。 具 体 的 思想 是 ， 如 果 工 中 的 两 个 值 比 较 接 近 ， 那 么 ， 出 于 寻找 近似 解 
的 目的 ， 不 需要 同时 保存 这 两 个 数 。 更 准确 地 说 ， 我 们 采用 一 个 修整 参数 58(0 二 6 二 1)， 按 6 来 修 
整 一 个 列表 工 是 以 这 样 一 种 方式 从 工 中 去 除 尽 可 能 多 的 元 素 : 如 果 工 为 修整 工 后 的 结果 ， 则 对 
从 工 中 去 除 的 每 个 元 素 y， 都 存在 一 个 仍 在 工 中 的 、 近 似 y 的 元 素 z， 使 得 : 
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Tip S25 (35. 24) 


在 新 表 工 ' 中 可 以 用 这 样 的 一 个 z 来 “代表 ”y。 每 个 y 都 由 一 个 满足 不 等 式 (35. 24) 的 = 来 代表 。 例 
如 ， 如 果 6 一 0.1， 且 
L= (10,11,12,15,20,21,22,23,24529) 
则 可 以 通过 修整 工 得 到 
L’ = 410,12,15 , 20,2329) 
其 中 被 删除 的 值 11 由 10 来 代表 ， 被 删除 的 值 21 和 22 由 20 代表 ， 被 删除 的 值 24 由 23 代表 。 由 
于 表 的 修整 版 本 中 的 元 素 都 是 原 表 的 元 素 ， 因 此 对 一 个 表 加 以 修整 后 ， 可 以 大 大 减少 表 中 的 元 
素 ， 同 时 还 可 以 在 表 中 为 每 个 从 中 删除 的 元 素 保 留 一 个 与 其 很 接近 的 ( 且 略 小 一 些 的 ) 代 表 值 。 
下 面 给 出 的 过 程 在 给 定 工 和 8 的 情况 下 ， 在 时 间 8Cm) 内 修整 一 个 输入 表 LS des ots 
Ju， 假定 工 已 排 成 单调 递增 序 。 该 过 程 的 输出 是 一 个 修整 过 的 有 序 表 。 
TRIM(L ,6) 
let m be the length of L 
L'=(y) 
last= yı 
for i=2 to m 
if y;>last. (1+6) //y;=last because L is sorted 
append y; onto the end of L' 
last= y; 


onan whd 


return L’ 


该 过 程 按照 单调 递增 次 序 扫描 工 中 的 元 素 ， 对 于 其 中 每 个 元 素 ， 若 它 是 工 的 第 一 个 元 素 ， 或 者 
它 不 能 由 最 近 被 放 和 人 工 ' 中 的 数 来 代表 ， 则 它 被 加 入 返回 的 列表 工 ' 中 。 
给 定 过 程 TRIM 后 ， 可 以 按照 如 下 方法 构造 近似 模式 。 这 个 过 程 的 输入 为 包含 个 整数 的 集 
合 S 二 {zi1，zs，…，Zza}( 以 任意 次 序 放置 )、 目 标 整 数 1 和 “近似 参数 ”e， 其 中 
Oe lL (35. 25) 
它 返 回 一 个 值 >， 该 值 在 最 优 解 的 1 十 e 倍 内 。 


APPROX-SUBSET-SUM(S,t,e) 
1 a= | S | 

2 Lo=(0) 

3 for i=1 ton 

4 L;=MERGE-LISTS(L,-; »L;-1 +.2;) 

5 L;=TRIM(L; ,e/2n) 

6 remove from L; every element that is greater than ż 
7 let z* be the largest value in Lẹ, 

8 


return z* 


第 2 行将 表 Lo 初始 化 为 仅 包 含 元 素 0 的 表 。 第 3 一 6 行 中 for 循环 计算 有 序 表 L, L, 是 包含 集合 
P: 的 一 个 适当 修整 版 本 (去 掉 了 所 有 大 于 上 的 元 素 ) 。 因 为 L 是 从 L;_ 1 构造 出 来 的 ， 故 必须 保证 
重复 的 修整 不 会 引入 太 多 的 复合 不 精确 性 。 下 面 将 看 到 APPROX-SUBSET-SUM 返回 一 个 正确 
的 近似 (如 果 存 在 ) 。 
考虑 一 个 例子 ， 假 设 有 实例 
S = (104,102,201,101) 

H t=308, e=0.40, (BR 8 H e/8=0. 05, APPROX-SUBSET-SUM 在 所 指示 的 各 行 上 计算 
出 如 下 值 : 
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2047, lg=O? 

Ags, L-0 104) 

547. L,=(0, 104) 

第 6 行 ; L,=(0, 104) 

第 4 行 ; 到 一 (0，102，104，206》 

54. Ly—= lü, 102; 206) 

第 6 行 : L,=(0, 102, 206) 

第 4 行 ; 1 二 (0; 102, 201, 206, 303, 407) 

547: L,= (0, 102, 201, 303, 407) 

第 6 行 : Ly—(0, 102, 201, 303) 

$8447, L,=(0, 101, 102, 201, 203, 302, 303, 404) 

第 5 行 : Ly=Ws 101, 201, 302, 404) 

第 1 行 5 L,— ©, 101, 201, 302) 
该 算法 返回 z* =302 作为 答案 ， 它 在 最 优 答案 307=1044+102+101 的 es 一 40%% 之 内 。 实 际 上 ， 它 
是 在 其 2% 之 内 。 

定理 35.8 APPROX-SUBSET-SUM 是 子 集 和 问题 的 一 个 完全 多 项 式 时 间 近 似 模式 。 

证 明 第 5 行 修整 L; HAL 中 去 除 每 个 大 于 的 元 素 ， 该 操作 保持 了 二 的 每 个 元 素 同 时 也 是 RR 
的 成 员 这 一 性 质 。 所 以 ， 在 第 8 行 返 同 的 值 z" 确实 是 S 的 某 个 子 集 的 元 素 之 和 。 设 y* CP, 表示 子 集 
和 问题 的 一 个 最 优 解 。 那 么 ， 由 第 6 行 可 知 ，z* <y 。 根 据 不 等 式 (35. 1)， 我 们 需要 证 明 y* /xz* 二 1 十 e。 
此 外 ， 还 必须 证 明 这 个 算法 的 运行 时 间 既 是 1/e 的 多 项 式 ， 又 是 输入 规模 的 多 项 式 。 

通过 对 i 进行 归纳 ， 可 以 证 明 对 P: 中 每 个 至 多 为 t 的 元 素 y， 存 在 一 个 zEL， 使 得 





Mee aes ~ 
I eF —— 


( 见 练习 35. 5-2.) ASR (35. 26) Xf y* CP, 必然 成 立 ， 因 而 存在 zEL,， 使 得 


Š * 
ÚF iny PSI 


从 而 有 
~ <(1+e)" (35. 27) 
因为 存在 xzE 工 , 能 满足 不 等 式 (35.27)， 故 该 不 等 式 对 x 必定 成 立 ， 其 中 xz* 是 L, 中 的 最 大 
值 ， 即 
we i 
r ie) (35. 28) 
接 下 来 还 要 证 明 y* /z* 二 1 十 e。 首 先 来 证 明 (1 十 e/2n)" 志 1 十 e。 根 据 式 (3. 14), Ai lim(++e/2n)" = 
e/?。 练 习 35. 5-3 要 求 读者 证 明 
2(1+£)">0 (35. 29) 
函数 (1 十 e/2n)" 在 接近 极限 es 的 过 程 中 ， 随 的 增长 而 单调 递增 ,， 于 是 有 : 
(aee 
<1lt+e/2+(e/2)? (根据 不 等 式 (3. 13)) 
<1+e (根据 不 等 式 (35. 25)) (35. 30) 
将 不 等 式 (35. 28) 和 不 等 式 (35. 30) 结 合 起 来 ， 就 完成 了 对 近似 比 的 分 析 。 
为 了 证 明 APPROX-SUBSET-SUM 是 一 个 完全 多 项 式 时 间 近 似 模 式 ， 我 们 要 导出 一 个 关于 
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L 的 长 度 的 界 。 在 修整 后 ，L; 中 连续 的 元 素 x 和 xz VARR z /z 之 1 十 e/2n。 也 就 是 说 ， 它 们 之 
间 相差 的 倍数 必 至 少 为 1 十 e/2n。 所 以 ， 每 个 列表 都 包含 了 值 0%，， 有 可 能 还 包含 了 值 1， 
以 及 Llogiiwatj 个 其 他 的 值 。 每 个 列表 工 ; 中 的 元 素数 至 多 为 


cia Int 
log az 十 2 一 In(1 十 以 2 


< +/ g (根据 不 等 式 (3. 17)) 


< Sant +2 (根据 不 等 式 (35. 25)) 


这 个 界 是 输入 规模 的 多 项 式 。 此 处 的 输入 规模 即 表示 上 所 需 的 位 数 lg#， 再 加 上 表示 集合 S 所 需 
的 位 数 ， 而 后 者 既是 n 的 多 项 式 ， 也 是 1/e 的 多 项 式 。 因 为 APPROX-SUBSET-SUM 的 运行 时 间 
WL 长 度 的 多 项 式 ， 所 以 APPROX-SUBSET-SUM 是 一 个 完全 多 项 式 时 间 的 近似 模式 。 a 


练习 

35.5-1 证 明 等 式 (35. 23) 。 然 后 ， 证 明 在 执行 了 EXACT-SUBSET-SUM 的 第 5 行 之 后 ，L; 是 一 
个 包含 了 P: 中 所 有 不 大 于 上 上 的 元 素 的 有 序 表 。 

35.5-2 通过 对 i 进行 归纳 ， 证 明 不 等 式 (35. 26) 。 

35.5-3 证明 不 等 式 (35. 29) 。 

35.5-4 设 上 为 给 定 输入 列表 的 某 个 子 集 之 和 ， 如 何 修 改 本 节 给 出 的 近似 模式 来 找 出 不 小 于 上 最 
小 值 的 良好 近似 ? 

35.5-5 ”修改 APPROX-SUBSET-SUM 过 程 ， 使 其 能 够 返回 S 的 一 个 各 元 素 之 和 为 z’ WER. 


35-1 (RAM) 有 一 组 2 个 物体 ， 其 中 第 ;个 物体 的 大 小 是 %:， 其 满足 0<s<1。 我 们 希望 
把 所 有 物体 都 装 人 最 少 的 箱子 中 ， 这 些 箱子 为 单位 尺寸 大 小 ， 即 每 个 箱子 能 容纳 所 有 物体 
的 尺寸 之 和 不 大 于 1. 
a. 证 明 : 确定 最 少 所 需 箱子 个 数 的 问题 是 NP 难 的 。( 提 示 : 对 子 集 和 问题 进行 归 约 。) 
首先 适合 (first-fit) 启 发 式 策略 依次 考察 每 个 物体 ， 将 其 放 入 能 容纳 它 的 第 一 个 箱子 。 设 


与 一 

证 明 : 所 需 箱 子 的 最 优 个 数 至 少 为 | S]。 

证 明 : 首先 适合 启发 式 策略 至 多 使 一 个 箱子 不 到 半 满 。 

证 明 : 由 首先 适合 启发 式 策 略 得 到 的 结果 用 到 的 箱子 数 绝 不 会 大 于 | 2S |。 

证 明 : 首先 适合 启发 式 策略 具有 近似 比 2。 

. 给 出 首先 适合 启发 式 策略 的 一 个 有 效 实现 ， 并 分 析 其 运行 时 间 。 

35-2 (最 大 团 规模 的 近似 ) G=V, DA-TAMA. MER & 之 1， 定 义 G” 为 无 向 图 (V” ， 
E®), EH VOV 中 顶点 的 所 有 有 序 & 元 组 构成 的 集合 ， 对 于 V 中 的 两 个 顶点 (vi， 
Urs 08) 与 (wi，ws，*…，w)， 如 果 对 每 个 i(1i<k)， 在 无 向 图 G 中， 顶点 vi SH 
点 w; BRE v= w, WCC, vzs ts v), (wos w, s WBE”. 
a. 证 明 : G? 中 最 大 团 的 规模 等 于 G 中 最 大 团 规模 的 & KE. 
b. WH: 如 果 有 一 个 寻找 最 大 规模 团 的 近似 算法 ， 其 近似 比 为 常数 ， 则 该 问题 存在 一 个 

完全 多 项 式 时 间 的 近似 模式 。 
35-3 〈 带 权 集 合 履 盖 问 题 ) 我 们 将 集合 覆盖 问题 加 以 一 般 化 ， 使 得 族 多 中 的 每 个 集合 S 都 有 一 


? eos 
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个 权 值 w:， 而 一 个 覆盖 忆 的 权 则 为 Zw 。 我 们 希望 确定 一 个 具有 最 小 权 值 的 覆盖 。 


(35. 3 节 处 理 了 对 所 有 的 i，w; 二 1 的 情况 。) 

证 明 贪心 集合 覆盖 启发 式 可 以 以 很 自然 的 方式 加 以 推广 ， 对 带 权 集合 覆盖 问题 的 任何 实例 
提供 一 个 近似 解 。 证 明 该 启发 式 有 一 个 近似 比 HAD, HH 4 为 任意 集合 S 的 最 大 规模 。 

(最 大 匹配 ) ”在 一 个 无 向 图 G 中 ， 所 谓 匹 配 ， 是 指 这 样 的 一 组 边 ， 其 中 任意 两 条 边 都 不 和 

同一 项 点 关联 。 在 26. 3 节 中 ， 我 们 看 到 了 如 何在 一 个 二 分 图 中 寻找 最 大 匹配 。 在 本 题 中 ， 

我 们 要 来 考察 一 般 无 向 图 ( 即 不必 是 二 分 图 的 无 向 图 ) 中 的 匹配 问题 。 

a. 极 大 匹配 (maximal matching) 是 指 不 是 任何 其 他 匹配 的 真子 集 的 匹配 。 通 过 给 出 一 个 无 
向 图 G 和 G 中 的 一 个 极 大 匹配 M( 它 不 是 一 个 最 大 匹配 )， 来 证 明 极 大 匹配 未 必 是 最 大 
匹配 。( 提 示 : 存在 只 包含 4 个 顶点 的 图 ,) 

b. 考虑 一 个 无 向 图 G 二 (V，E)。 给 出 一 个 O(E) 时 间 的 贪心 算法 ， 用 于 寻找 G 中 的 极 
大 匹配 。 

在 这 个 问题 中 ， 我 们 主要 关注 寻找 最 大 匹配 的 多 项 式 时 间 近 似 算法 。 目 前 ， 这 方面 已 

知 的 最 大 匹配 最 快 算法 需要 超 线 性 (但 是 多 项 式 ) 时 间 ， 这 里 的 近似 算法 以 线性 时 间 运 行 。 

读者 需要 证 明 (b) 中 用 于 寻找 极 大 匹配 的 线性 贪心 算法 是 有 关 最 大 匹配 的 一 个 2 近似 算法 。 

c WH: G 的 一 个 最 大 匹配 的 规模 是 G 中 任何 顶点 覆盖 规模 的 下 界 。 

d. 考虑 G 一 (V，E) 中 的 一 个 极 大 匹配 M。 设 

T={vEV: M 中 的 茶 条 边 与 v AK) 
对 于 G 中 不 在 集合 T 之 外 的 顶点 对 应 的 生成 子 图 ， 能 够 得 出 何 种 结论 ? 

e 根据 (d) 得 出 这 样 的 结论 : 2| M| 是 G 的 顶点 覆盖 的 规模 。 

f. 利用 (c) 和 (e)， 证 明 (b) 中 的 贪心 算法 是 有 关 最 大 匹配 的 一 个 2 近似 算法 。 

(并 行 机 调度 ) 在 并 行 机 调度 问题 (parallel machine scheduling) 中 ， 已 知 ”项 作业 Jis Jo» +> 

Ja LPR J. 都 与 一 个 非 负 的 处 理 时 间 pi 关联 。 另 外 ， 还 已 知 有 m 台 完 全 相同 

的 机 器 M: ，M ，…，JM,。 调 度 规 定 每 一 项 作业 J, 在 哪 一 台 机 器 上 运行 ， 以 及 在 哪 一 个 

时 间 段 运行 。 每 一 项 作业 J, 必须 在 一 台 机 器 M; 上 运行 连续 的 pi 个 时 间 单 位 ， 并 且 在 该 

时 间 段 里 ， 其 他 作业 都 不 能 在 M 上 运行 。 设 C 表示 作业 J 的 完成 时 间 ， 即 作业 J, 完成 

处 理 的 时 间 。 给 定 一 个 调度 后 ， 定 义 Cw 一 max C; 为 该 调度 的 跨度 (makespan) 。 问 题 的 目 

标 是 找 出 一 个 调度 ， 使 其 跨度 最 小 。 
例如 ， 假设 有 两 台 机 器 M MM, RA 4 ELI. Jo. Ja. Jo HA DL =2, p= 

12，ps 一 4，p, 王 5。 那 么 ,一 种 可 能 的 调度 方案 就 是 在 机 器 Ml 上 ， 先 运行 作业 J, FATT 

作业 Je 在 机 器 M, sees 先 运行 作业 Ja» 再 运行 作业 J;。 在 这 个 调度 中 ，G = 二 2， G=14, 

G=9, C=5, C= 14. 一 种 最 优 调度 方案 是 仅 在 机 器 M 上 运行 J ， 并 且 在 机 器 M, 上 

运行 作业 Si. Js 和 J。 在 这 个 调度 中 ,CG 二 2, G=12, G=6, G=11, Cw 一 12。 

给 定 一 个 并 行 机 调度 问题 ， 用 Cs 表示 一 个 最 优 调度 的 跨度 。 

a 证 明 : 最 优 跨 度 至 少 与 最 大 处 理 时 间 一 样 大 ， 即 

Crax 之 MAX Pr 


b. 证 明 : 最 优 跨度 至 少 与 平均 的 机 器 负载 一 样 大 ， 即 


假设 我 们 利用 以 下 贪心 算法 来 解决 并 行 机 调度 问题 :每 当 一 台 机 器 空闲 下 来 ， 就 将 任 
何 尚未 被 调度 的 作业 调度 到 该 机 器 上 。 
< 编写 伪 代 码 来 实现 这 一 贪心 算法 。 你 给 出 的 算法 的 有 怎样 的 运行 时 间 ? 
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d. 对 贪心 算法 所 返回 的 调度 ， 证 明 : 

Coax < IER + max p; 
并 得 出 结论 : 此 算法 是 一 个 多 项 式 时 间 的 2 近似 算法 。 
(近似 最 大 生成 树 ) 设 G=(V，E) 是 一 个 无 向 图 ， 其 中 的 每 条 边 (u，wv) EE 具有 不 同 的 权 
值 w(u，v)。 对 每 个 顶点 vEV，, 设 max(v) 二 arg max {w(u, v)}) 是 与 顶点 v 相 关联 的 最 大 
权 值 边 。 设 So={max(v): vEV)} 表 示 与 各 个 顶点 相关 联 的 最 大 权 值 边 的 集合 ，Tc 表示 图 
G 的 最 大 权 值 生成 树 。 对 任意 的 边 集 E' CE EX wE) = >) wu). 


(WEE 

a. 给 出 一 个 至 少 包含 4 个 顶点 的 图 ， 使 其 满足 Se 一 Te。 

b. 给 出 一 个 至 少 包含 4 个 顶点 的 图 ， 使 其 满足 Se 和 Tec。 

c 证 明 : 对 任意 的 图 G，ScSTce。 

d. 证 明 : 对 任意 的 图 G, w( Tg )SwS,¢)/2. 

e 给 出 一 个 O(V 十 E) 时 间 算法 ， 用 于 计算 2 近似 的 最 大 生成 树 。 

(0-1 背包 问题 的 近似 算法 ) 回顾 16. 2 节 的 背包 问题 。 有 7 件 物 品 ， 其 中 第 i 个 物品 价值 

vi 元 ， 重 己 磅 。 给 出 一 个 能 最 多 装 W 磅 物品 的 背包 。 假定 w 至 多 为 W 磅 ， 且 物品 按照 价 

格 递 减 的 顺序 进行 标号 : vy SUES SU o 

在 0-1 背包 问题 中 ， 我 们 希望 找到 一 个 物品 的 子 集 ， 使 这 个 子 集中 的 物品 在 总 重量 不 
超过 W 的 情况 下 ， 其 总 价值 最 大 。 可 分 背包 问题 和 0-1 背包 问题 类 似 ， 但 是 可 分 背包 问 
题 允 许 取 每 个 物品 的 一 部 分 ， 而 0-1 背包 问题 要 求 对 一 个 物体 ， 要 人 么 全 取 ， 要 么 不 取 。 如 
果 取 物品 ;的 一 部 分 zi，0 委 zi 入 1， 则 背包 将 增 重 ziw;， 总 价值 增加 ziv;。 我 们 的 目标 是 
找到 一 个 解决 0-1 背包 问题 的 多 项 式 时 间 的 2 近似 算法 。 

为 了 设计 一 个 多 项 式 时 间 算 法 ， 可 以 考虑 0-1 背包 问题 的 限制 实例 。 给 定 一 个 0-1 背 
包 问 题 的 实例 I， 对 7 二 1，2，3,，…，n， 通 过 去 掉 物 品 1，2，…，7 一 1， 并 要 求解 包含 
物品 六 物品 7 既 在 可 分 背包 问题 ， 又 在 0-1 背包 问题 中 )， 来 构造 限制 实例 I;。 在 实例 工 
中 ， 没 有 物品 被 移 除 。 对 于 实例 I ， 设 P; 表 示 0-1 背包 问题 的 最 优 解 ，Q 表 示 可 分 背包 问 
题 的 最 优 解 。 

a. 证 明 : 0-1 背包 问题 中 实例 了 的 最 优 解 一 定 是 集合 {Pp ，p:，…，p,}) 中 的 一 个 元 素 。 
b. 证 明 : 通过 将 物品 7 加 入 到 背包 ， 然 后 使 用 贪心 算法 (在 该 算法 的 每 一 步 里 ， 在 集合 

{J+1, j+2, =, n PEF vi/wi 值 最 大 的 物品 ， 在 背包 总 重量 不 超过 W 的 前 提 下 ， 

尽 可 能 多 地 装 该 物品 ) 可 以 找到 实例 石 对 应 可 分 背包 问题 的 一 个 最 优 解 Q, 。 

c 证 明 : 通过 将 至 多 一 个 物品 的 一 部 分 装 入 背包， 可 以 构建 实例 五 对 应 可 分 背包 问题 的 最 
优 解 Q;。 也 就 是 说 ， 除 了 一 个 可 能 被 部 分 装 进 背 包 里 的 物品 外 ， 其 他 物品 要 么 全 部 被 
装 进 背 包 ， 要 人 么 不 被 装 进 背 包 。 

. 给 定 一 个 实例 五 对 应 可 分 背包 问题 的 最 优 解 Q ， 通 过 从 Q 中 删除 任意 的 部 分 装载 的 物品 来 
HE R;. te wxS) 表 示 在 一 个 解 S 中 物品 的 总 价值 。 证 明 v(R) 宇 v(Q)/2 宇 v(P;)/2。 

e 给 出 一 个 能 够 从 集合 (Ri ，R; ，…，R,) 返 回 一 个 最 大 值 解 的 多 项 式 时 间 算 法 。 证 明 你 
的 算法 对 于 0-1 背包 问题 是 一 个 多 项 式 时 间 的 2 近似 算法 。 


= 


本 章 注 记 


有 些 解 决 问题 的 方法 给 出 的 未 必 是 准确 解 ， 人 们 知道 这 些 方法 已 有 数 千 年 的 时 间 了 (例如 ， 


对 x 的 值 进行 近似 的 方法 )， 但是， 近似 算法 却 是 一 个 非常 新 的 概念 。Hochbaum[172] 认 为 ， 是 
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Garey, Graham 和 Ullman[128]， 还 有 Johnson[190] 形 式 化 了 多 项 式 时 间 近 似 算法 这 一 概念 。 通 
常 认为 ， 第 一 个 这 样 的 算法 是 由 GrahamL149] 给 出 的 。 

自从 这 项 早期 工作 以 来 ， 人 们 针对 这 类 问题 ， 提 出 了 数 以 千 计 的 近似 算法 ， 这 一 领域 中 也 出 
现 了 大 量 的 文献 。Ausiello 等 人 [26]、Hochbaum[172] 和 VaziraniL345] 等 人 编写 的 教材 是 比较 新 
的 ， 它 们 专门 讨论 了 近似 算法 方面 的 问题 ，ShmoysL315]、Klein 和 Young[ 207] 的 综述 也 涉及 了 
这 方面 的 内 容 。 其 他 几 本 教材 ， 如 Garey 和 Johnson[129], Papadimit riou 和 SteiglitzL271]， 也 
涉及 了 许多 有 关 近 似 算法 方面 的 内 容 。Lawler、Lenstra、Rinnooy Kan 和 ShmoysL225 ] 都 详尽 地 
讨论 了 旅行 商 问 题 的 近似 算法 。 

根据 Papadimitriou 和 Steiglitz 的 介绍 ，APPROX-VERTEX-COVER 算法 是 由 F. Gavril 和 
M. Yannakakis 提出 的 。 顶 点 覆盖 问题 得 到 了 广泛 研究 (Hochbaum[ 172] 列 出 了 这 一 问题 的 16 种 
不 同 的 近似 算法 ), 但 所 有 这 些 算法 的 近似 比 都 至 少 是 2 一 0(1)。 

算法 APPROX-TSP-TOUR 出 现在 Rosenkrantz, Stearns 和 Lewis 等 共同 撰写 的 论文 L298] 
里 。Christofides 改进 了 这 一 算法 ， 给 出 了 一 个 满足 三 角 不 等 式 版 本 旅行 商 问题 的 3/2 近似 算法 。 
AroraL22] 和 Mirchelll257 ] 证 明了 如 果 各 个 点 位 于 欧 几 里 得 平面 上 ， 就 存在 一 个 多 项 式 时 间 的 近 
似 模 式 。 定 理 35. 3 源 自 于 Sahni 和 GanzalezL 301]. 

对 解决 集合 覆盖 问题 的 贪心 启发 式 策略 的 分 析 源 自 于 Chvatal[ 68j] 发 表 的 证 明 中 一 个 更 为 一 
般 的 结果 ; 本 章 中 给 出 的 基本 结果 源 自 于 Johnson[190] 和 Lovász[238]. 

算法 APPROX-SUBSET-SUM 及 其 分 析 大 致 源 自 于 Ibarra 和 Kim[187] 给 出 的 背包 问题 及 子 
集 和 问题 的 有 关 近 似 算法 。 

思考 题 35-7 是 一 个 由 Bienstock 和 McCloskyL45] 提 出 的 近似 背包 问题 的 一 个 更 一 般 结果 的 组 
合 版 本 。 

MAX-3-CNF 可 满足 性 问题 的 随机 化 算法 来 自 Johnson[190] 的 工作 。 带 权 顶 点 覆盖 算法 是 由 
Hochbaum[ 171j] 提 出 的 。35.4 节 中 仅仅 是 初步 展示 了 随机 化 和 线性 规划 技术 在 设计 近似 算法 方 
面 的 强大 作用 。 这 两 种 思想 的 结合 产生 了 一 种 称 为 “随机 化 舍 入 ”(randomized rounding) 的 技术 。 
当 利 用 这 种 技术 来 解决 某 一 问题 时 ， 该 问题 首先 被 建 模 为 一 个 整数 线性 规划 。 接 着 ,求解 其 经 过 
松弛 的 线性 规划 问题 ， 所 得 到 解 中 的 各 个 变量 被 解释 为 概率 。 这 些 概率 随即 被 用 来 帮助 导出 原 
问题 的 解 。 这 一 技术 首先 由 Raghavan 和 Thompson[290j] 使 用 ,之 后 即 被 人 们 大 量 使 用 。 
(Motwani, Naor 和 Raghavan| 261] 给 出 了 一 个 综述 ,) 在 近似 算法 方面 ,还 有 其 他 几 种 比较 突出 
的 新 思想 与 方法 ， 如 主 对 偶 (Cprimal dual) F% (Goemans 和 Williamson[ 135] 给 出 了 有 关 这 一 技术 
的 综述 ) 、 寻 找 用 于 分 治 算法 的 稀疏 割 集 1229]、 半 和 定型 程序 设计 [1344] 的 使 用 等 。 

第 34 章 的 “本 章 注 记 ”中 提 到 过 ， 在 概率 可 检验 证 明 方面 的 最 新 成 果 导 出 了 许多 问题 可 近似 性 
的 下 界 ， 也 包括 本 章 中 讨论 的 几 个 问题 ， 除 了 第 34 章 中 列 出 的 参考 文献 外 ，Arora 和 LundL23] 也 
对 概率 可 检验 证 明 与 近似 各 种 问题 的 困难 性 的 关系 做 了 很 好 的 分 析 。 
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在 分 析 算 法 时 ， 我 们 常常 需要 依赖 于 许多 数学 工具 。 这 些 工具 中 ， 有 
些 和 高 中 代数 一 样 简单 ， 而 有 些 对 读者 来 说 则 可 能 是 陌生 的 。 在 本 书 第 一 
部 分 中 ， 已 经 介绍 了 使 用 渐 近 记号 和 解决 递归 问题 的 方法 。 本 附录 是 分 析 
算法 所 需 的 若干 概念 和 方法 的 一 个 纲要 。 正 如 本 书 第 一 部 分 中 的 引言 所 提 
到 的 ， 在 阅读 本 书 之 前 ， 读 者 可 能 已 经 了 解 了 该 附录 中 大 部 分 材料 (虽然 
书 中 所 使 用 的 一 些 特 定 的 符号 表示 可 能 和 读者 在 其 他 地 方 所 见 过 的 不 一 
样 )。 因 此 ， 读 者 可 将 附录 当做 参考 资料 来 使 用 。 不 过 ， 和 书 中 其 他 部 分 
一 样 ， 为 了 令 读者 可 以 提高 这 些 方 面 的 能 力 ， 附 录 部 分 仍 提供 了 一 些 练习 
题 和 思考 题 。 

附录 A 提供 了 计算 和 式 与 求 其 界 的 方法 。 这 些 方法 在 算法 分 析 中 常 
常会 用 到 。 虽 然 这 些 公式 在 几乎 任意 一 本 微 积分 教材 中 都 能 找 得 到 ， 但 是 
将 它们 汇总 在 一 处 可 以 更 便于 读者 使 用 。 

附录 B 包 含 了 关于 集合 论 、 关 系 、 函 数 、 图 和 树 的 基本 定义 和 符号 ， 
同时 也 给 出 了 这 些 数学 对 象 的 一 些 基 本 性 质 。 

附录 C 首先 介绍 了 计数 的 基本 原理 : 排列 、 组 合 和 其 他 一 些 相 关内 
容 。 其 余部 分 介绍 了 概率 论 中 的 一 些 基 本 定义 与 性 质 。 本 书 中 绝 大 部 分 算 
法 在 分 析 过 程 中 并 不 要 求 概 率 知 识 ， 所 以 读者 可 以 在 初次 阅读 时 略 过 这 些 
章节 ， 其 至 无 需 泛 读 。 附 录 C 的 组 织 结构 使 它 非常 适合 作为 参考 资料 使 
用 ， 当 读者 遇 到 想 要 深入 理 解 的 概率 分 析 时 ， 再 进行 阅读 即 可 。 

附录 DD 定义 了 和 矩阵、 矩阵 上 的 运算 和 一 些 和 矩阵 的 基本 性 质 。 如 果 读 
者 学 习 过 线性 代数 课程 ， 很 可 能 已 经 见 过 此 处 大 部 分 材料 了 ， 但 是 附录 D 
对 于 查找 一 些 符号 和 定义 仍 很 有 帮助 。 
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Introduction to Algorithms，Third Edition 
Yn, 
求 M 


当 一 个 算法 包含 循环 控制 结构 时 ， 例 如 while 或 者 for 循环 ， 我 们 可 以 将 算法 的 运行 时 间 表 
示 为 每 一 次 执行 循环 体 所 花 时 间 之 和 。 例 如 ， 在 2. 2 节 中 ,插入 排序 的 第 7 次 迭代 在 最 坏 情 况 下 
所 花 时 间 与 7 成 正比 。 通 过 累加 每 次 迭代 所 用 时 间 ， 可 以 获得 其 和 (或 称 级 数 ) 
2 
在 对 此 式 求 和 后 ， 我 们 得 到 了 这 个 算法 在 最 坏 情况 下 的 运行 时 间 界 是 @(w*)。 这 个 例子 阐释 了 读 
者 为 什么 应 知晓 如 何 求 和 及 其 界 。 
A.1 节 列 出 了 求 和 的 几 个 基本 公式 ,但 没有 提供 证 明 。A. 2 节 提 供 了 几 个 用 于 求 和 式 界 的 实 


用 技巧 。 同 时 为 便于 阐释 算法 ，A. 2 节 给 出 了 A 1 节 中 部 分 公式 的 证 明 。 读 者 可 以 很 容易 在 任 
何 一 本 微 积分 教材 中 找到 其 他 大 部 分 公式 的 证 明 。 


A. 1 求 和 公式 及 其 性 质 
给 定 一 个 数列 ma ，a;，…，a,， 其 中 是 非 负 整数 ， 可 以 将 有 限 和 ai 十 a 十 … 十 a, 写作 





Qk 
车 =0， 则 定义 该 和 式 的 值 为 0。 有 限 级 数 的 值 总 是 良 定 的 ， 并 且 可 以 按 任意 顺序 对 级 数 中 的 项 
求 和 。 
给 定 一 个 无 限 数 列 a), ，a;，…， 可 以 将 其 无 限 和 a, +a, ++ BE 
Sa 
Bp 


im) Ak 


a e 


当 其 极限 不 存在 时 ， 访 级 数 发 散 EZ HI. FEA REEE RA 
顺序 。 而 对 于 绝对 收 伍 级 数 ( 若 对 于 级 数 > os ， 有 级 数 D) | a | 也 收敛， 则 称 其 为 绝对 收 剑 级 


数 )， 则 可 以 改变 其 项 的 求 和 顺序 。 
线性 性 质 
对 于 任意 实数 c 和 任意 有 限 序列 aj， Azs °y Cn All bis bzs "e3 Ons A 


> (ca, +b) — ca 十 Ma, 
线性 性 质 对 于 无 限 收敛 级 数 同样 适用 。 
线性 性 质 可 以 用 来 对 项 中 包含 渐 近 记号 的 和 式 求 和 。 例 如 ， 
DOC fA) = @( >) fH) 


FAF, AAK @ 符号 作用 于 变量 &， 而 右边 的 8 则 作用 于 ”。 这 种 处 理 方法 同样 适用 于 无 限 收 
BBR 

等 差 级 数 

和 式 
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DIk= 1424-040 
是 一 个 等 差 级 数 ， 其 值 为 





“= Fnin+1) (A. 1) 
= OQ?) (A. 2) 
平方 和 与 立方 和 
平方 和 与 立方 和 的 求 和 公式 如 下 : 
zs n(n 二 1)(2n 二 1) 
due Se re (A. 3) 
wea eat (A. 4) 
几何 级 数 
对 于 实数 Al, MA 
Sig! =] +r tert" 
是 一 个 几何 级 数 ( 或 称 指数 级 数 ) ， 其 值 为 
kes ie nt gr =| 
Que = esl (A. 5) 
当 和 是 无 限 的 且 |z| 雪 1 时 ， 有 无 限 递减 几何 级 数 
Er (A. 6) 
调和 级 数 
对 于 正 整 数 n， 第 n MAMRE 
H, =1+4 +441 +t = 六 4 = Inn 十 O01) (A.7) 
n pe k 


(A. 2 节 将 给 出 一 个 相关 界 的 证 明 。) 

级 数 积分 与 微分 

通过 对 上 面 的 公式 进行 积分 或 微分 ， 可 以 得 到 其 他 新 的 公式 。 例 如 ， 通 过 对 无 限 递减 几何 级 
数 (A. 6) 两 边 微分 并 乘 以 z， 可 以 得 到 


Dy ke! =F = (A. 8) 
其 中 ’ | 工 | al 
裂 项 级 数 
对 于 任意 序列 Qos Qis °**s Ans A 
Sy, apy) = Gd, Cy (A. 9) 


BI as as s a 1 中 的 每 一 项 被 加 和 被 减 均 刚好 一 次 。 称 其 和 裂 项 相 消 (telescopes)。 类 
似 地 ， 


S (aq — anr) 三 而 一 两 
下 面 是 一 个 裂 项 和 的 例子 ， 考 虑 级 数 


| 1 
2; RCR 十 1) 
因为 可 以 将 每 一 项 改写 成 
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dee eral 1 
k(k +1) k kti 
所 以 可 得 
二 1 /1 TRAS 1 
> erp 245 ra) =} n 
乘积 
有 限 积 a, a2°°*ay 可 以 写作 
Ths 
当 n=0 时 ， 定 义 积 的 值 为 1。 我 们 可 以 用 如 下 恒等式 将 一 个 含有 求 积 项 的 公式 转化 成 一 个 含 求 
和 项 的 公式 
1148 lg( TI) oe >) lea 
练习 


A.1-1 求 x (2k—1) 的 简化 形式 。 


*A. 1-2 利用 调和 级 数 证 明 : 了 11/C2k 一 1) = Ina +O) 。 





A.1-3 证 明 : ee =20+2)/A—2)* Ela] 二 1 条 件 下 成 立 。 
*A.1-4 证 明 3 (k—1)/2* =0, 

*A.1-5 对 于 |z|<1， 计 算 >) OR D2" 的 值 。 

A. 1-6 ”用 和 的 线性 性 质证 明 ; YO? = of DAD). 

A. 1-7 计算 乘积 ][ 2， 

*A.1-8 计算 乘积 [a-e 


A.2 确定 求 和 时 间 的 界 
有 许多 技巧 可 以 用 来 计算 描述 算法 运行 时 间 的 和 的 界 。 下 面 介绍 其 中 几 个 最 常用 的 方法 。 
数学 归纳 法 
数学 归纳 法 是 求 级 数值 的 最 基本 方法 。 以 证 明 等 差 级 数 > 的 值 为 二 nn 二 1) 为 例 。n= 1 时 ， 


1149] 很 容易 验证 该 等 式 是 成 立 的 。 给 出 归纳 假设 ; 该 等 式 对 n 成立。 此 时 ， 仅 需 证 明 其 对 于 ntl 也 成 
立 。 我 们 有 





Se = Pkt at D = nat D+ @ty = Aata?) 
通常 我 们 不 需要 为 了 使 用 数学 归纳 法 而 去 猜测 和 的 准确 值 ， 而 可 以 利用 归纳 法 去 证 明和 的 
界 。 以 证 明 几何 级 数 > ) 3! 的 界 是 O(3") 为 例 。 更 确切 地 说 ， 证 明 对 于 某 个 常数 <， > 34<c3" 成 
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立 。 对 于 初始 条 件 n 一 0， 只 要 c 宇 1， 就 有 Xt =<. 1 成立。 假定 该 界 对 于 成立， 则 需 证 
其 对 于 n 十 1 也 成 立 。 只 要 (1/3 十 1/O) 志 1， 或 者 等 价 地 ， 23/2 成 立 ， 就 有 
SE D Ea 
a Irga (根据 归纳 假设 ) 
= (4+ +)ca" 
<a 


因此 ， 我 们 所 想 要 证 明 的 > 3t = 0(3") RE. 
在 用 渐 近 记号 通过 归纳 法 证 明 界 的 时 候 应 多 加 小 心 。 考 虑 下 面 这 个 错误 证 明 》)k = O(n) 的 
例子 。 当然 ,> 人 一 0(1) 。 假 定 该 界 对 于 成立 ， 我们 需 证 明 其 对 于 ”十 1 也 成 立 ， 


Hi = Xk+ a+ = =0ln)+(n+1) =0n+1) <BR 


证 明 错 在 被 “ 大 0” 记号 隐藏 的 “党 数 ? 是 随 着 对 的 增长 而 增长 的 ， 不 是 恒定 不 变 的 。 此 处 ， 没 有 证 
明 存在 一 个 常数 对 于 所 有 n HEN. 


确定 级 数 中 各 项 的 界 
有 时 ， 通 过 求 得 级 数 中 每 一 项 的 界 ， 我 们 可 以 获得 该 级 数 的 一 个 理想 的 上 界 。 并 且 ， 通 常用 级 数 
中 最 大 的 项 的 界 作为 其 他 项 的 界 就 足够 了 。 例 如 ， 等 差 级 数 (A. 1) 的 一 个 可 快速 获得 的 上 界 是 


sic per, 
通常 ， 对 于 级 数 ya » MRS Amex = MAX a, 则 有 


Sig Sn ren 
当 一 个 级 数 能 以 几何 级 数 为 界 时 ， 用 级 数 中 最 天 的 项 作为 其 中 每 一 项 的 界 的 方法 并 不 理想 。 
给 定 级 数 a， 假定 对 于 所 有 0, A an/ar RP 0<r<l ERR AH aar, R 
们 可 以 用 无 限 递减 几何 级 数 作为 和 的 界 ， 所 以 有 
Da < Dar-aDr ay ge 


这 种 方法 可 用 于 求 了 4/3 的 界 。 为 了 从 R= 开始 求 和 ， 将 式 子 改写 作 ST HD3) 。 


第 一 项 (am ) 是 1/3， 并 且 相 邻 项 之 间 的 比值 (是 
(h+2)/3"* _ 1 .有 十 2 2 
HI 3 FFI S 


其 中 ， 所 有 & 宇 90。 因 此 有 








ar ta 
Dea eE 

在 应 用 该 方法 时 ， 常 常 出 现 一 个 错误 : 在 证 明 相 邻 项 之 间 比 值 小 于 1 后， 即 假定 该 和 的 界 是 
几何 级 数 。 以 无 限 调和 级 数 为 例 ， 该 级 数 发 散 ， 这 是 因为 


co 


二 一 lim >) 二 一 lim@( lgn) = co 
m k moș k = 
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虽然 级 数 中 第 & 十 1 项 与 第 项 的 比值 是 &/(k 十 1) 二 1, 但 是 该 级 数 并 非 以 递减 几何 级 数 为 
界 。 要 想 用 几何 级 数 来 作为 一 个 级 数 的 界 ， 必 须要 保证 存在 常数 + 二 1， 使 任何 相 邻 项 的 比值 均 
不 超过 +。 在 调和 级 数 中 ， 因 为 比值 可 以 任意 地 接近 1， 所 以 不 存在 这 样 的 ~。 

分 割 求 和 

分 割 求 和 是 求 取 复 杂 和 式 界 的 好 方法 。 其 方法 是 ， 首 先 将 一 个 级 数 按 下 标 范围 划分 后 表示 
为 两 个 或 多 个 级 数 的 和 ， 然 后 对 每 一 个 划分 出 的 级 数 分 别 求 界 。 以 求 等 差 级 数 > kk 的 下 界 为 


例 ， 我 们 已 知 它 有 上 界 及 。 用 其 最 小 项 来 作为 和 式 中 的 每 一 项 的 界 看 似 可 行 ， 但 是 因为 其 最 小 
项 是 1， 我 们 得 到 的 该 和 式 的 下 界 是 nn 一 一 离 上 界 n 相差 甚 远 。 
SD A E 步 获得 一 个 更 好 的 下 界 。 为 简便 起 见 ， 不 妨 设 =” 是 偶数 ， 则 有 


y= Sat > k> Sot 2 (1/2) = (n/2)? = Qè) 


因为 k= OG?) ， 所 以 该 界 是 渐 近 上 紧 确 界 。 
对 于 源 自 算法 分 析 中 的 和 式 ， 通 常 可 以 将 和 式 分 割 ， 并 忽略 其 常数 个 起 始 项 。 一 般 情况 下 ， 
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该 技巧 适用 于 和 式 Da 中 每 一 项 as HALF 的 情况 。 之 后 ， 对 于 任意 常数 心 >0， 有 


Pac Sia + Da = OC) + Yay 
这 是 因为 和 式 有 若干 个 常数 起 始 项 ， 且 其 数目 也 是 常数 。 接 着 ,我 们 可 以 利用 其 他 方法 来 求 


Da 的 界 。 这 一 技巧 同样 适用 于 无 限 和 。 例 如 ， 和 欲求 
的 一 个 渐 近 上 界 ， 在 RDS 3 时 ， 观 察 其 相 邻 项 比值 为 
GHD _ Get 1" _ 8 
RB? /2* 2k? 2226 
又 因为 第 一 个 和 式 的 项 数目 是 常数 ， 且 第 二 个 和 式 是 一 个 递减 几何 级 数 ， 所 以 可 以 将 和 式 分 割 为 
= k L OR LR, 9S 8\F 
Sao A DS 2p Pere) = 040) 
分 割 求 和 法 可 以 帮助 我 们 确定 更 难 的 和 式 的 渐 近 界 。 例 如 ， 我 们 可 以 确定 调和 级 数 (A.7) 上 
的 一 个 界 OC Ign) : 




















4 
i= 275 


k=1 








1153 我 们 将 下 标 范 围 从 1 到 nn 分割 成 [lgnj 十 1 段 ， 并 令 每 一 段 上 界 为 1。 对 于 I=0, 1, + Ugal, 








第 i 段 包 含 自 1/2’ 起 到 1/27 (不 包含 1/2”') 的 项 。 最 后 一 段 可 能 包含 原 调和 级 数 中 没有 的 项 ， 
因此 有 


> < ts 总 1<lentl (A. 10) 
通过 积分 求 和 的 近似 
当 一 个 和 式 的 形式 为 > 了 Ck) 时 ， 其 中 f(A) 是 单调 递增 函数， 我 们 可 以 用 积分 求 其 近似 值 ， 


|_ f@de< Drw < [sae CATI) 
图 A-1 直观 地 表示 出 这 一 近似 方法 的 理由 及 含义 。 图 中 将 和 式 表示 为 若干 长 方形 区 域 的 面积 ， 
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Ti BSP HRB Pr BA DK Sa Ce) 是 单调 递减 函数 时 ， 我 们 可 以 用 相似 的 方法 来 求 渐 
近 界 


[l fods Dw < fade (A. 12) 


k=m 


Ax) 





m-1 m m+l m+2 eee eee n-2 n-1 n n+l 
(a) 





(b) 


图 A] 积分 方法 求 > )7( MEL. EME MOR AR TRAE, ERREN 
的 值 。 曲 线 下 方 的 阴影 区 域 代表 积分 近似 值 。 通 过 比较 (a) 中 的 这 两 个 面积 ， 可 得 |” fode 
< ir ， 并 且 在 将 这 些 长 方形 向 右 移动 一 个 单位 后 , 由 (得 > 7Cb < fdr 


k=m 


积分 近似 公式 (A. 12) 给 出 了 第 ”个 调和 数 的 一 个 紧 估 计 。 对 于 下 界 ， 可 得 
Dif E-=mna+Dd CA. 13) 


A=1 x 


对 于 上 界 ， 有 不 等 式 


n 


| 
| =Inn 


1 & 


由 此 得 到 其 界 
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4 2 tor £1 (A. 14) 
练习 
A.2-1 证 明 : 1/ 忆 有 常数 上 界 。 
A.2-2 求 下 面 和 式 的 一 个 渐 近 上 界 : 
Lign] 
2 [n/2* | 
A.2-3 ”通过 分 割 求 和 的 方式 证 明 第 ”个 调和 数 是 Ag n). 
A.2-4 ”用 积分 方法 求 > 的 近似 值 。 
A.2-5 为 什么 我 们 不 在 X) 1 人 上 使 用 积分 近似 (公式 A. 12) 来 获得 第 个 调和 数 的 上 界 ? 
思考 题 
Al (确定 和 的 界 ) 请 给 出 下 面 和 式 的 渐 近 紧 确 界 。 假 设 之 0 与 s> 均 为 常数 。 
a. Se 
1156 本 Sige 
& Sle lek 
附录 注 记 


Knuth[209] 为 本 章 中 的 材料 提供 了 很 好 的 参考 。 读 者 可 以 在 任何 一 本 不 错 的 微 积 分 书籍 中 
找到 级 数 的 基本 性 质 ， 例 如 Apostol[18j] 或 者 Thomas 等 人 [334] 。 


| 附录 B 


Introduction to Algorithms, Third Edition 


集合 等 离散 数学 内 容 


本 书 许多 章节 中 的 内 容 都 涉及 了 离散 数学 相关 内 容 。 该 部 分 附录 更 加 全 面 地 回顾 了 集合 、 
关系 、 函 数 、 图 和 树 的 一 些 符号 、 定 义 及 基本 性 质 。 如 果 读 者 已 经 对 这 些 内 容 十 分 熟悉 ， 那 么 可 
以 粗略 阅读 这 一 部 分 内 容 。 


B.1 集合 


集合 是 由 不 同 对 象 聚 集 而 成 的 一 个 整体 ， 称 其 中 的 对 象 为 成 员 或 元 素 。 如 果 一 个 对 象 工 是 
集合 S 的 一 个 成 员 ， 则 写作 ce S( 读 作 “z 是 S 的 成 员 ”， 或 更 简单 地 ， “r ESAK”). WR pE 
S 的 中 的 成 员 ， 则 写作 z 人 多 S。 我 们 可 以 显 式 地 在 括号 内 列 出 一 个 集合 的 所 有 元 素来 描述 该 集合 。 
例如 ， 可 以 用 S 二 {1，2，3}) 表 示 一 个 只 包含 数字 1, 2 和 3 的 集合 。 因 为 2 是 集合 S 的 一 个 成 
员 ， 所 以 可 写 为 2E S。 因 为 4 不 是 S 的 一 个 成 员 ， 所 以 写 为 4KES。 集 合 中 不 能 包含 多 个 相同 的 
元 素 ?， 并 且 元 素 之 间 是 无 序 的 。 当 两 个 集合 A 和 B 包含 相同 的 元 素 时 ， 称 集合 A 与 B 是 相等 
的 ， 写作 A=B。 例如 {1, 2, 3, 1}={1, 2, 3}=(3, 2, 1}. 

我 们 采用 特殊 的 符号 来 表示 下 面 几 个 常见 的 集合 : 

。 名 表示 空 集合 ， 即 集合 中 不 包含 任何 元 素 。 

。 表示 整数 集合 ， 即 集合 {…， 一 2, —1, 0, 1, 2, +}, 

。 R 表示 实数 集合 。 

2 N 表示 自然 数 集合 ， 即 集 合 {0， ls 25 1), 

如 果 集 合 B 中 包含 集合 A 中 所 有 元 素 ， 即 ， 如 果 A 蕴涵 B， 则 称 A 是 B 的 一 个 子 集 ， 写 作 
ACB, 如果 ACB 且 A 取 B， 则 称 集合 A 是 B 的 一 个 真子 集 ， 写 作 ACSCB。( 有 些 作者 使 用 “性 ” 
符号 来 表示 普通 的 子 集 关系 ， 而 不 是 真子 集 关系 。) 对 于 任意 集合 A， 有 ASA。 对 于 两 个 集合 A 
MB, A=B 当 目 仅 当 ACB 且 BCA。 对 于 三 个 集合 A、B 和 C, MRACBA BCC, WA 
ACC。 对 于 任意 集合 A， 用 和 A。 

有 时 ， 我 们 用 一 些 集合 去 定义 其 他 一 些 集合 。 给 定 一 个 集合 A， 可 以 定义 集合 BCA， 并 通 
过 说 明 召 中 元 素 的 特性 将 其 元 素 区 分 开 来 。 例 如 ， 我 们 定义 偶数 集合 为 {z: EZH x/2 为 整 
数 }。 这 种 表示 方式 中 的 冒号 读 作 “满足 。”( 一 些 作者 使 用 竖 线 而 不 是 冒号 。) 

给 定 两 个 集合 A 和 B， 我 们 也 可 以 应 用 集合 操作 来 定义 新 集合 : 

。 集合 A 和 B 的 交 是 集合 

ANMB= {z:x€ Az € B} 

。 集合 A 和 B 的 并 是 集合 

AUB= {zx:7€ A 或 x EB) 
。 集合 A 和 B 的 差 是 集合 
A— B= {zx:xE AH x € B} 





集合 操作 遵循 下 列 法 则 : 
SRE: 
AN Ø= Ø 


O ”可 以 包含 多 个 相同 元 素 的 集合 变 体 称 为 多 重 集 。 
O 一 些 作者 将 自然 数 集 定义 为 从 1 开始 而 不 是 0。 现代 的 趋势 一 般 是 从 0 开始 。 
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AUZ=A 
PFR: 
ANASA 
AUA=A 
交换 律 : 
ANB=BNA 
(as) AUB=BUA 
结合 律 : 
AN BNO=ANBDNC 
AU@GUQO=AUBDUC 
分 配 律 
AfVBUQO=ANBUANO 
AUCBNO=AUBDNAUO (B. 1) 
吸收 律 
AmGAUB) 王 A 
AUCANBD=A 
德 。 摩根 定律 
A— (Bf) ©) = (A—B) U (A-C) 
A= BUC = (A—B) N A-QO (B. 2) 
图 Bl 用 维 恩 图 描述 了 德 。 摩根 定律 中 的 第 一 条 定律 。 维 恩 图 是 一 种 利用 平面 内 区 域 表 示 集 
合 的 图 。 





= U 
图 Bl1 描绘 德 。 摩 根 定律 中 第 一 条 的 维 恩 图 。 集合 A、B 和 C 各 自 表 示 为 一 个 圆圈 


通常 ， 我 们 考虑 的 所 有 集合 都 是 某 个 更 大 集合 U 的 子 集 ， 称 集合 U 为 全 集 。 例 如 ， 当 考虑 
多 个 仅 由 整数 组 成 的 集合 时 ， 整 数 集 乙 就 是 一 个 合适 的 全 集 。 给 定 一 个 全 集 U， 定 义 集合 4 的 
thy A=U—A={x: xEU 且 z&A})。 对 于 任意 集合 ASU， 有 如 下 法 则 : 
A=A 
A (| A= @ 
AUA=U 
[1160] 我 们 可 以 将 德 ， 摩根 定律 (公式 (B. 2)) 用 集合 补 的 形式 表示 。 对 于 任意 两 个 集合 B，CSU， 有 
BheC=BUC 
BUC=BNC 
如 果 两 个 集合 间 不 存在 共有 元 素 ， 即 A 门 B 一 必 ， 则 称 集合 A 与 集合 B 是 不 相交 的 。 
如 果 集 合 满足 
。 这 些 子 集 互 不 相交 ， 即 S;:，S;E# 与 i/ BMS: NS =O. 
。 它们 的 并 为 S， 即 
s=] 


SES 
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则 称 集合 S 的 非 空子 集 构成 的 集合 二 {S;}) 构 成 S 的 一 个 划分 。 换 句 话 说 ， 如 果 旭 中 的 每 个 
元 素 出 现 且 仅 出 现在 一 个 SESH, WSHRT S 的 一 个 划分 。 
集合 中 的 元 素数 目 称 为 集合 的 基数 (或 大 小 )， 表 示 为 | S| 。 如 果 两 个 集合 内 的 元 素 可 以 一 一 
对 应 ， 则 称 这 两 个 集合 基数 相同 。 空 集 的 基数 是 | S| 二 0。 如 果 一 个 集合 的 基数 是 自然 数 ， 则 称 
这 个 集合 是 有 限 的 ; 否则 ， 是 无 限 的 。 若 一 个 无 限 集合 可 以 与 自然 数 集合 N 构成 一 一 对 应 ， 则 
该 集合 是 可 数 无 限 的 ; 否则 是 不 可 数 的 。 例 如 ， 整 数 集 也 是 可 数 的 ， 而 实数 集 R 是 不 可 数 的 。 
对 于 两 个 有 限 集合 A 和 B， 有 等 式 
[AU B| = |A|+|/BI—|ANB| (B. 3) 
从 中 可 以 得 出 
[AU B] = |Al + [Bl 
如 果 和 集合 A 与 B 是 不 相交 的 , WIANB| =0, RU|AUB|=|Al+|Bl. MRACB, 
WIAl<|Bl. 
一 个 包含 ”个 元 素 的 有 限 集 称 为 集合 。 称 1 集合 为 单元 集 。 如 果 一 个 集合 的 子 集 包 含 RT 
元 素 ， 则 称 其 为 k 子 集 。 
集合 S 的 所 有 子 集 构 成 的 集合 (包含 空 集 和 集合 S 自身 ) 可 以 表示 为 2°; REHASH. 
pian, 2° ={Ø, {a}, {b}, (a, b)}. ARE S 的 短 集 的 基数 是 2| s| ( 见 练习 B. 1-5), 
我 们 有 时 关心 内 部 元 素 有 序 的 类 集合 状 结构 。 两 个 元 素 a 和 2 构成 的 有 序 对 可 以 表示 为 
(a，5b)， 其 正式 定义 为 (a,， b)={a, {a, b}}. MU, APMC, DSARXO, MERR. 
集合 A 与 B 的 笛 卡 儿 积 ， 表 示 为 AXB， 是 第 一 个 元 素 为 A 中 成 员 ， 第 二 个 元 素 为 B 中 成 
员 的 所 有 有 序 对 的 集合 。 更 为 正式 的 定义 是 
AXB= {(a,b):a E€ A Hb € B} 
fila, (as b}X{a, bs ch={(a, a), (a, Ds (a, ©), s a), (s DW (6, CO}. SAMBE 
有 限 集合 时 ， 其 笛 卡 儿 积 的 基数 是 
|AXB| = |A| + |B| (B. 4) 
2 个 集合 A,，A: ，…，A, 的 笛 卡 儿 积 是 一 组 n 元 组 的 集合 : 
Ai XA; X= X A, = {Ca saz" san) ra; E Aisi = 1,2,.…,n) 
当 所 有 集合 都 是 有 限 集 时 ， 其 基数 为 
| A; X A, X +++ XA, | S | A, | ® | A; | +++ |A, | 
我 们 将 单一 集合 A LN n 重 笛 卡 儿 积 表示 为 集合 
A= AMARA 
当 A 为 有 限 集 时 ， 其 基数 为 14" | 三 |A|"。 我 们 也 可 以 将 一 个 ”元 组 看 做 一 个 长 度 为 的 有 限 序 
列 ( 见 B.3 节 )。 


练习 
B. 1-1 用 维 恩 图 来 描述 分 配 律 中 第 一 条 定律 (B. 1) 。 
B. 1-2 证 明 推广 到 任意 有 限 数 目 集合 的 广义 德 。 摩根 定律 : 
A NA NA =A UA U UA, 
A UA U= UA, =A NAN NA, 
*B. 1-3 证明 等 式 (B. 3) 的 推广 ， 即 容 斥 原理 : 
lA UA Us UAI =A] +] A, | +++ | A, | 
=A | Ael — | 1 As | = (所 有 对 ) 
+ |A, NA 1) As| ++ (所 有 三 元 组 ) 
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+E DJA NA NNA | 


B. 1-4 WEH: 奇 自然 数 集合 是 可 数 的 。 
B.1-5 EH: 对 于 任意 有 限 集 S, HH 2° 有 215| 个 元 素 ( 即 S 存在 215| 个 不 同 的 子 集 )。 
B. 1-6 请 通过 扩展 有 序 对 的 集合 论 定义 来 给 出 元 组 的 一 个 归纳 定义 。 


B.2 关系 

集合 A 与 B 上 的 二 元 关系 R BARILBAXBIFR. (a, DECRANS (EARS, KR 
集合 A 上 的 一 个 二 元 关系 ， 意 味 着 尺 是 A XA 的 子 集 。 例 如 ， 自 然 数 集合 上 的 小 于 关系 是 集合 
{Ca b): as bEN H. a<b}. 集合 A, Az» nry A, 上 的 nn 元 关系 是 A， x Ay Xo XA, 的 一 个 
子 集 。 

如 果 对 于 所 有 aE A，a R a， 则 二 元 关系 RCAXA 是 自 反 的 。 例 如 ,，“ 二 ”和 “二 ”在 自然 数 
集 N 上 是 自 反 的 , HE“ OMAR. AMPA a, bEA HWE ROMO Ra, MRA RÆ 
对 称 的 。 例 如 ,，“= 二 ”是 对 称 的 ， 但 是 “<” 和 “二” 则 不 是 。 若 对 于 所 有 a, b, cCA 均 满足 ，a Rb。 
且 5 Re 蕴涵 a Rc， 则 关系 尺 是 可 传递 的 。 例 如 ， 关 系 “ 二 ”,，“ 夺 ”和 “二 ” 均 可 传递 。 因 为 3R4 
且 4 R 5 不 能 蕴涵 3 R5， 所 以 关系 R= 二 {(a, b): a, DEN H a 二 6 一 1} 不 可 传递 。 

同时 具有 自 反 性 、 对 称 性 和 传递 性 的 关系 是 等 价 关 系 。 例 如 ,“ 王 ”是 自然 数 上 的 等 价 关 系 ， 
而 “到 ? 则 不 是 。 如 果 尺 是 集合 A 上 的 等 价 关系 ， 那 么 对 于 a€ A，4a 的 等 价 类 是 集合 [a]== bE 
A: aR 5b)， 即 所 有 等 价 于 a 的 元 素 的 集合 。 例 如 ， 关 系 R= 二 {(4a,， b): a, bEN H atb 是 偶数 } 
是 一 个 等 价 关 系 ， 这 是 因为 a 十 a 是 偶数 ( 自 反 性 ) 与 a 十 b 是 偶数 蕴涵 5 十 a 是 偶数 (对 称 性 )， 且 
a 十 b 是 偶数 与 5 十 c 是 偶数 蕴涵 a 十 c 是 偶数 (传递 性 ) 。4 的 等 价 类 是 [4] 二 {0，2，4，6，…}， 而 
3 的 等 价 类 是 [3 一 {1，3，5，7，…})。 等 价 类 的 一 个 基本 定理 如 下 。 

定理 B. 1( 等 价 关 系 与 划分 对 应 ) 集合 A 上 的 任意 等 价 关系 尺 的 等 价 类 构成 了 集合 A 的 一 
个 划分 ， 同 时 任意 集合 A 的 一 个 划分 决定 了 A 上 的 一 个 等 价 关 系 ， 而 划分 中 的 集合 即 为 等 价 类 。 

证 明 ”对 于 证 明 的 第 一 部 分 ,我们 必须 要 证 明 R 的 等 价 类 是 非 空 的 、 互 不 相交 的 集合 ， 
且 其 并 集 为 A。 因 为 RR 是 自 反 的 ，a€E Laj]， 所 以 等 价 类 是 非 空 的 ; 不 仅 如 此 ， 因 为 每 个 元 素 ac 
AA 分别 属 于 等 价 类 [a]， 其 集合 并 为 A。 现 在 仍 需 证 明 等 价 类 之 间 互 不 相交 ， 即 车 等 价 类 [aj] 和 
[65j 之 间 存 在 共有 元 素 ce， 则 其 实际 上 是 同一 集合 。 假 定 aRc 且 6 Rc。 由 对 称 性 可 知 ，cR65。 进 
一 步 由 传递 性 可 得 a R 5。 对 于 任意 xzELa]， 有 xzRa。 由 传递 性 可 得 x R55， 因此 有 [aj 写 [5]。 
同 理 可 证 [6]CLaj， 因 而 [La] 二 [bj。 

对 于 证 明 第 二 部 分 ， 令 尺 二 {4} 是 集合 A 的 一 个 划分 ， 并 定义 R={(a，5): 存在 i 满足 a€ Ah; 
且 5EA;}。 我 们 断言 R 是 集合 A 上 的 一 个 等 价 关 系 。 因 为 a€ A; 蕴涵 a R a， 自 反 性 成 立 。 当 
aRp 时 ， 有 aa 和 2 在 同一 集合 A 内 ， 所 以 有 5Ra， 由 此 ， 对 称 性 成 立 。 如 果 aR5 且 5Rc， 则 三 
个 元 素 在 同一 个 集合 A; 内 ， 因 此 有 aRc， 传递 性 成 立 。 为 了 直观 地 了 解 划 分 中 的 集合 是 尺 中 的 等 
价 类 ， 观 察 下 面 这 个 事实 : 如 果 aCA, M cela leh ce A,, HH zxE Ah; BM xE [aj]。 

若 集合 A 上 的 一 个 二 元 关系 满足 

aRbHbRaBwa=db 

则 该 二 元 关系 是 反对 称 的 。 

例如 ， 因 为 a<b A b<a 列 涵 < 一 0， 所 以 自然 数 上 的 “ 委 ”关系 是 反对 称 的 。 满 足 自 反 性 、 反 
对 称 性 和 传递 性 的 关系 是 一 个 偏 序 ， 并 且 ， 我 们 称 定义 了 偏 序 的 集合 为 偏 序 集 。 例 如 ,，“ 后 代 ” 关 
系 是 一 个 定义 在 所 有 人 构成 的 集合 上 的 偏 序 关系 (如 果 将 每 个 人 看 做 其 自身 的 后 代 )。 
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在 偏 序 关系 集合 A 中 ， 可 能 不 存在 单一 “最 大 ”元 素 a， 满足 对 于 所 有 bE A， 有 5bRa。 相 反 ， 
集合 可 能 含有 多 个 极 大 元 素 a, 满足 不 存在 EA HbAa, 使 得 a R5。 以 一 些 大 小 不 同 的 盒子 为 
例 ， 在 这 些 盒子 中 可 能 存在 多 个 极 大 的 盒子 ， 其 中 ,“ 极 大 ”的 意思 是 无 法 被 别 的 盒子 装 下 ， 然 而 
这 些 盒子 中 可 能 不 存在 一 个 能 装 下 其 他 任何 盒子 的 “最 大 ”盒子 ” 。 

MEE A 上 的 关系 尺 是 一 个 全 关系 ， 需 满足 对 于 所 有 a，pEA， 有 “RD 或 者 2 Ra (或 者 两 
HEA), MRA A 中 每 对 元 素 都 由 R 定义 了 其 关系 。 如 果 一 个 偏 序 关 系 同 时 也 是 一 个 全 关系 ， 
则 称 之 为 全 序 或 者 线性 序 。 例 如 ,“ 委 ?关系 是 自然 数 集 上 的 一 个 全 序 关系 ， 但 是 “后 代 ? 关 系 则 不 
是 所 有 人 所 构成 集合 上 的 全 序 关 系 ， 因 为 存在 两 个 人 互相 均 不 为 对 方 后 代 的 情况 。 如 果 一 个 全 
关系 具有 传递 性 ， 则 称 之 为 全 预 序 (total preorder) 。 全 预 序 不 要 求 具备 自 反 性 和 非 对 称 性 。 


B.2-1 证 明 : 集合 Z 的 所 有 子 集 上 的 子 集 关系 “ 导 ” 是 偏 序 关系 ， 但 不 是 全 序 关系 。 

B.2-2 证 明 : 对 于 任意 正 整 数 n， 关 系 “ 模 等 价 ” 是 整数 集 上 的 等 价 关 系 。( 如 果 存 在 一 个 整数 
gq， 使 得 a 一 6 二 qn， 则 有 a=bmod n)。) 这 个 关系 将 整数 划分 为 哪些 等 价 类 ? 

B.2-3 给 出 符合 如 下 条 件 的 关系 的 例子 : 
a. 具有 自 反 性 和 对 称 性 ， 但 不 具有 传递 性 。 
b. 具有 自 反 性 和 传递 性 ， 但 不 具有 对 称 性 。 
c 具有 对 称 性 和 传递 性 ， 但 不 具有 自 反 性 。 

B.2-4 设 S 是 一 个 有 限 集 ,， R 是 SXS 上 的 一 个 等 价 关 系 。 证 明 : 如 果 尺 同时 有 反对 称 性 ， 则 
S 关 于 R 划分 出 的 等 价 类 是 单元 集 。 

B.2-5 Narcissus 教授 声称 .如果 关系 RR 具有 对 称 性 和 传递 性 ， 则 其 也 具有 自 反 性 。 他 给 出 了 如 
下 证 明 : 由 对 称 性 ，a Rb 蕴涵 5 Ra， 因此， 由 传递 性 可 得 a R a， 自 反 性 得 证 。 请 问 
Narcissus 教授 的 证 明正 确 吗 ? 


B. 3 函数 


给 定 两 个 集合 A 和 B， 称 函数 SEA AB 上 的 二 元 关系 ， 需 满足 对 于 所 有 acA, BAA 
一 个 bEB 使 (a,，5b)Ef。 这 里 ， 称 集合 A 为 f 的 定义 域 , 集合 B 为 了 的 陪 域 。 有 时 可 以 将 函数 
写 为 f: A>B; MR, HES, MAX CHE a 的 选择 唯一 确定 ， 所 以 可 以 写 为 6 二 f(a)。 

从 直观 上 看 ， 函 数 f 将 为 A 中 的 每 个 元 素 指 派 B 中 的 一 个 元 素 。A 中 不 存在 某 个 元 素 被 指派 
了 B 中 两 个 不 同 元 素 , 但 是 B 中 同一 个 元 素 是 可 以 指派 给 多 个 A 中 的 元 素 的。 例如 ， 二 元 关系 

f = ((a,6):a,6 €E NH 6=a mod 2} 
是 函数 f: N->{0，1)， 因 为 对 于 每 个 自然 数 wa， 有 且 仅 有 一 个 值 5€ {0，1} 满 足 6 二 amod2。 例 
a, O=f(O), 1=fQ), 0 三 f(2) 等 。 与 此 相反 ， 二 元 关系 

g= ((a,b):a,b€ NH atb eg) 
不 是 函数 。 这 是 因为 (1，3) 和 (1，5) 均 在 g 中 ， 因 此 对 于 a 二 1， 存 在 不 止 一 个 5 满足 (a, DEg. 

给 定 一 个 函数 f: A 一 B， 如 果 6 二 f(a)， 则 称 a 是 了 的 自 变量 , 5 是 了 在 a 处 的 值 。 我 们 可 
以 通过 给 出 定义 域 中 每 个 元 素 的 函数 值 来 定义 函数 。 例 如 ， 可 以 定义 f(n)=2n, nEN, HRA 
是 f={(n, 2n): n€EN}。 如 果 两 个 函数 f 和 g 有 相同 的 定义 域 和 陪 域 ， 且 对 于 定义 域 中 所 有 a, 
有 f(a) 二 g(a)， 则 这 两 个 函数 是 相等 的 。 

一 个 长 度 为 n 的 有 限 序列 是 一 个 函数 f/， 其 定义 域 为 n 个 整数 构成 的 集合 {0，1，…，n 一 1)。 
我 们 常常 用 列 出 其 值 (f(0)，f(1)，…，f(n 一 1)) 的 方式 来 表示 该 有 限 序列 。 无 限 序 列 是 一 个 函 
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数 ， 其 定义 域 是 自然 数 集合 N。 例 如 ， 递 归 定 义 (3. 22) 的 斐 波 那 契 数列 是 一 个 无 限 序 列 (0，1，1， 
Zs 35 Os Os 135. 21s. 9% 

当 一 个 函数 的 定义 域 是 笛 卡 儿 积 时 ， 在 书写 过 程 中 通常 省 略 掉 f 的 自 变 量 外 那 层 额 外 的 括 
号 。 举 例 来 说 ， 对 于 函数 f: A XA:X…XA4, 一 B， 通常 写作 5 二 f(al，as，…，a,)， 而 不 写作 
b= f lie adr» 3 Gas 同时 ， 虽然 实际 上 函数 了 的 (单一 ) BEE nn AA (a, Gay y Gadi 
但 我 们 也 称 每 个 a 为 函数 了 的 一 个 自 变量 。 

如 果 f: A>B 是 一 个 函数 且 5 二 f(a)， 则 也 称 6 是 下 a 的 像 。 定 义 集合 ASA 在 下 的 像 为 

f(A’) = {b € B:b = fla),a€ A’} 
了 的 值 域 是 其 定义 域 的 像 ， 即 f(A)。 例 如 ， 由 fn) =2n 定义 的 函数 :NN 的 值 域 是 SCN) = 
{m: m 二 2n，nE N}， 即 非 负 偶数 集合 。 

如 果 一 个 函数 的 值 域 与 其 陪 域 相同 ， 则 该 函数 是 满 射 。 例 如 ， 函 数 f(n) 二 Ln/2] 是 一 个 从 N 到 N 
的 满 射 函数 ， 因 为 N 中 的 每 个 元 素 都 是 了 对 于 某 个 自 变 量 的 值 。 与 之 相反 的 是 ，f(w) 二 2n 则 不 是 从 N 
到 N 的 满 射 ， 因 为 不 存在 使 f 的 值 为 3 的 自 变 量 。 不 过 fo) =2n 是 一 个 从 自然 数 集 到 偶数 集 的 满 射 。 
WI S: A>B 有 时 被 描述 为 将 A 映射 在 B 之 上 。 称 一 个 函数 是 映 上 的 意味 着 它 是 满 射 。 

如 果 函 数 f: A 一 B 对 于 不 同 的 自 变量 产生 不 同 的 值 ， 即 aAa Him SOA f(a’), WRR f 
是 单 射 的 。 例 如 ， 函 数 f(r) =2n 是 从 N 到 NN 的 一 个 单身 函数 ， 因 为 每 个 偶数 5 最 多 只 能 是 f 下 
定义 域内 一 个 元 素 的 像 ， 即 6/2。 函 数 f(r) 二 Ln/2J] 不 是 单 射 的 ， 因 为 值 1 可 以 由 两 个 自 变量 产 
Æ: 2 和 3。 单 射 函数 有 时 也 称 为 一 对 一 函数 。 

如 果 函 数 f: A>B 既是 单 射 又 是 满 射 ， 则 它 是 双 射 。 例 如 ， 函 数 Fa) 三 (一 1)"”LzV/2j 是 一 
TIAN 3) Z AY OU: 

o> 0 
下 
2 
3>—2 
4=-> 2 


因为 Z 中 不 存在 元 素 是 N 中 多 于 一 个 元 素 的 像 ， 所 以 该 函数 是 单 射 。 同 时 因为 Z 中 的 每 个 元 素 
都 是 N 中 某 个 元 素 的 像 ， 所 以 该 函数 也 是 满 射 的 。 因 此 ， 该 函数 是 双 射 的 。 双 射 有 时 也 称 为 一 
一 对 应 ， 因 为 其 将 定义 域 中 的 元 素 和 值 域 中 的 元 素 进行 了 不 重复 的 配对 。 从 集合 A 到 其 自身 的 
双 射 也 称 为 置换 。 
当 一 个 函数 f 是 双 射 时 ， 定 义 其 逆 广 为 

Jf O = 二 a 当 且 仅 当 f(a)==6 
例如 ， 函 数 f(n)=(—1)" [n/2] 的 道 是 

at 2m #m>0 

i 一 2m 一 1] #m<0 


练习 
B.3-1 令 A 和 B 是 有 限 集合 ，f: A>B 是 一 个 函数 ,证 明 : 
a 若 了 是 单 射 , Wi) Al<| Bl; 
b A /是 满 射 , 则 |A| 宇 |B|。 
B.3-2 请 问 函数 f(x) =2+1 是 从 N 到 NN 的 双 射 吗 ? CHEM Z Bl Z LHS? 
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B33 ”请 给 出 二 元 关系 的 逆 的 一 个 自然 的 定义 ， 满 足 如 果 一 个 关系 实际 上 是 双 射 函数 ， 那 么 其 
关系 逆 即 是 其 函数 逆 。 
*B. 3-4 ”请 举 一 个 从 Z 到 ZXZ 的 双 射 例子 。 


B.4 图 

本 节 介 绍 两 种 图 : 有 向 图 和 无 向 图 。 本 书 给 出 的 相关 定义 可 能 和 一 些 文献 中 的 有 出 入 ,但 是 
其 大 部 分 差异 都 很 细微 。22. 1 节 说 明了 图 在 内 存 中 的 表示 方法 。 

有 向 图 G 是 一 个 二 元 组 (V，E)， 其 中 V 是 有 限 集 ,而 EE 是 V 上 的 二 元 关系 。 集 合 V 称 为 图 
G 的 项 点 集 ， 其 元 素 称 为 顶点。 集合 玉 是 G 的 边 集 ， 其 元 素 称 为 边 。 图 B22(a) 描 绘 了 顶点 集 为 
{1，2，3，4，5，6} 的 有 向 图 。 注 意 ， 图 中 有 可 能 存在 自 环 一 一 两 个 顶点 相同 的 边 。 

在 无 向 图 G 二 (V，E) 中 ， 边 集 巨 由 无 序 的 顶点 对 组 成 ， 而 不 是 有 序 对 。 也 就 是 说 ， 一 条 边 
是 一 个 集合 {u，v}， 其 中 4，vEV 且 关 v。 按 照 惯 例 ， 我 们 用 符号 (u，v) 表 示 边 ， 而 不 用 集合 
符号 {z，z} ， 但 (zx，Z 和 (ww，z) 被 视 为 同一 条 边 。 无 向 图 中 不 允许 存在 自 环 ， 所 以 每 条 边 包 含 两 
个 不 同 顶 点 。 图 B-2(b) 描 绘 了 顶点 集合 为 {1，2，3，4，5，6} 的 一 个 无 向 图 。 


®@ .2 e © 0—0 @ 


(a) (b) Ce) 


图 B2 有 向 图 与 无 向 图 。(a) 有 向 图 G=(V, E), 其 中 V={1, 2, 3, 4, 5, 6}, E={(1, 2), 
人 TD 是 二 外 月 环 。 Cb) 
TARA C= V; Ds HAVO. 2s By A 5» bja B= (C 2s y De i D 
6)}。 顶 点 4 是 孤立 点 。(c) 图 (a) 关 于 点 集 {1，2，3，6}) 的 导出 子 图 


无 向 图 和 有 向 图 的 许多 定义 大 体 上 都 是 相同 的 ， 虽然 其 中 可 能 有 一 些 术语 在 上 下 文中 的 意思 有 些 
WA. WR DEAE G=V, Db Pi-AW, WEU, dDSHRBFAIA u Alu, VHA 
或 进入 顶点 v 例如， 图 了 B2(a) 中 离开 顶点 2A, 2). 2, OMG, 5), HAMA 2 的 边 有 
a, DAC, D. WRU, VÆLA G=V, ED PRA, WK, DSW Ru 和 wv 关联 。 在 
图 BB2(b) 中 ， 关联 顶点 2 的 边 有 (1，2) 和 (2，5)。 

WR, VÆR G 一 (V， 忆 中 的 一 条 边 ， 则 称 顶 点 v 邻接 于 顶点 w。 当 图 是 无 向 图 时 ， 邻 接 关 
系 是 对 称 的 。 当 图 是 有 向 图 时 ， 邻 接 关 系 不 一 定 是 对 称 的 。 如 果 在 有 向 图 中 ，w 邻接 于 w， 则 写作 
wu>v。 在 图 B2(a) 和 (b) 中 ， 顶 点 2 邻接 于 顶点 1， 因 为 两 个 图 中 都 包含 边 (1，2)。 在 图 B2(a) 中 ， 
顶点 1 与 2 不 邻接 ， 因 为 边 (2，1) 不 属于 该 图 。 

无 向 图 中 顶点 的 度 是 指 关 联 于 该 项 点 的 边 的 数目 。 例 如 ， 图 B-2(b) 中 顶点 2 的 度 为 2。 如 果 
一 个 顶点 的 度 为 0， 例 如 图 B-2(b) 中 的 顶点 4， 则 它 是 孤立 的 。 在 有 向 图 中 ， 顶 点 的 出 度 是 指 离 
开 该 项 点 的 边 的 数目 ， 顶 点 的 入 度 是 指 进 入 该 项 点 的 边 的 数目 。 有 向 图 中 顶点 的 度 是 该 顶点 的 
入 度 与 出 度 之 和 。 图 B-2(a) 中 顶点 2 的 人 度 为 2， 出 度 为 3， 度 为 5。 

图 G=(V， PAGS u 到 顶点 ww 的 一 条 长 度 为 & 的 路 径 是 一 个 顶点 序列 (vo，vi，wvs，…， 
Un)» 其 中 U= vo, ul =v, Awa» wu EE, 7=1, 2, tey Ks 路 径 的 长 度 是 路 径 中 边 的 数目 。 该 路 
径 包含 了 顶点 Vos Us °**5 Uk 和 边 (w， v), (vi, Vz), a (Cw-1， Un) o 〈 总 是 存在 一 条 从 点 到 其 
自身 的 长 度 为 0 的 路 径 ,) 如 果 从 顶点 到 顶点 存在 一 条 路 径 p， 则 称 ww 是 从 经 过 pp 可 达 的 。 如果 
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GESAR, WBM utu. WRREPRADARPH, WCE. A B2(a) 中 ， 
路 径 (1，2，5，4)? 是 一 条 长 度 为 3 的 简单 路 径 。 路 径 (2，5，4，5) 则 不 是 一 条 简单 路 径 。 

路 径 p 二 《vo。，vi，*…，vi) 的 一 条 子路 径 是 p 中 顶点 的 一 个 连续 子 序 列 ， 即 对 于 任意 0<i<j 二 
k, MATJ], Ui+is °t’ vu; Fe p 的 一 条 子路 径 。 

在 有 向 图 中 ， 如 果 路 径 (zw ，m ，…，w) 中 v=o 且 至 少 包 含 一 条 边 ， 则 该 路 径 构 成 环 。 
Wu. wet, 是 互 不 相同 的 ， 则 该 环 是 简单 的 。 自 环 是 长 度 为 1 的 环 。 对 于 两 条 路 径 
(Uga Vix» Upp Ss Ua vo) Filu, Uy» Vr» “4 this uo)» 如 果 存 在 一 个 整数 )， 使 得 对 于 i= 
0, 1, =, 一 ]， 有 二 vipwodt， 则 这 两 条 路 径 为 相同 的 环 。 在 图 B2(a) 中 ， 路 径 (1，2，4，1》 
所 形成 的 环 与 (2，4，1，2) 和 4，1，2，4) 相 同 。 该 环 是 简单 的 ， 而 环 (1，2，4，5，4，1) 则 不 
是 。 边 (2，2) 构 成 的 环 (2，2) 是 一 个 自 环 。 一 个 不 含 自 环 的 有 向 图 是 简单 的 。 在 无 向 图 中 ， 如 果 
路 径 4vo。，vi，…，vi) 满 足 £>0，vo 二 v。， 并 且 路 径 上 所 有 的 边 都 不 相同 ， 则 这 条 路 径 形 成 环 ; 如 
Ru, uw, u 互 不 相同 ， 则 称 该 环 是 简单 的 。 例 如 ， 在 图 B-2(b) 中 ， 路 径 (1，2，5，1) 是 一 
个 简单 环 。 一 个 没有 简单 环 的 图 是 无 环 图 。 

如 果 一 个 无 向 图 中 每 个 顶点 从 所 有 其 他 顶点 都 是 可 达 的 ， 则 称 该 图 是 连通 的 。 图 的 连通 分 
量 是 顶点 在 “从 …… 可 达 ” 关 系 下 的 等 价 类 。 图 B2(b) 中 的 图 有 3 个 连通 分 量 : (1, 2, 5), 
{3，6} 和 {4}。 代 ，2，5}) 中 的 每 个 顶点 从 {1，2，5}) 中 其 他 顶点 都 是 可 达 的 。 若 一 个 无 向 图 只 有 
一 个 连通 分 量 ， 则 该 无 向 图 连通 。 一 个 连通 分 量 的 边 是 只 与 该 分 量 中 顶点 关联 的 边 ; 换 句 话说 ， 
边 (x， 切 是 连通 分 量 的 一 条 边 ， 当 且 仅 当 x 和 w 均 为 该 分 量 中 的 顶点 。 

如 果 一 个 有 向 图 中 任意 两 个 顶点 互相 可 达 ， 则 该 有 向 图 是 强 连 通 的 。 有 向 图 的 强 连 通 分 量 
是 “相互 可 达 ” 关 系 下 顶点 的 等 价 类 。 如 果 一 个 有 向 图 只 有 一 个 强 连通 分 量 ， 则 它 是 强 连 通 的 。 图 
B-2(a) 中 的 图 有 三 个 强 连通 分 量 : {1，2，4，5}，{3} 和 {6}。{1，2，4，5}) 中 所 有 顶点 对 互相 可 
达 。 出 于 顶点 6 不 能 从 顶点 3 到 达 ， 顶 点 {3，6} 不 构成 一 个 强 连通 分 量 。 

两 个 图 G=(V, DAG = 二 (V'，E) 是 同 构 的 ， 如 果 存 在 一 个 双 射 f: V>V'， 使 得 (u, EE 
当 目 仅 当 (fCw)，f(v))EE'。 换 句 话 说 ,我 们 可 以 在 保持 G 与 G 中 边 对 应 的 前 提 下 ， 将 图 G 中 的 
顶点 重新 标记 为 G 中 的 顶点 。 图 B3Ca) 给 出 了 一 对 同 构 图 G 和 G。 其 各 自 顶 点 集 分 别 为 V=={1， 
2, 3, 4, 5, GAV={u, v, w, z, y, zje MAV AVERS, fD=u, f(D=v, f3)=w, 
f(4) 二 zx，f(5) 二 y，f(6) 二 z， 提 供 了 所 需 的 双 射 函数 。 图 B3(b) 中 的 图 之 间 不 是 同 构 的 。 虽 然 两 
个 图 都 有 5 个 顶点 和 7 条 边 ， 但 是 上 方 的 图 有 度数 为 4 的 顶点 ， 而 下 方 的 图 没有 。 





SS 
c CQ Ø CH D D HD 


(a) (b) 


图 B3 (a) 一 对 同 构 图 。 上 图 中 的 顶点 与 下 图 中 的 顶点 的 映射 关系 为 : FOA Su, 
f(2)=w, f(3)=w, f(4)=z, f(5)=y, f(6)=z。 (b) 因 为 上 图 中 包含 
度数 为 4 的 顶点 ， 而 下 图 中 没有 ， 所 以 这 两 个 图 不 同 构 





加 ”有些 作者 称 路 径 为 行走”， 称 简单 路 径 为 路径 "。 本 书 中 的 术语 “路 径 ? 和 “简单 路 径 ” 与 他 们 的 定义 一 致 。 


附录 B 集合 等 离散 数学 内 容 。 687 


如 果 V'ECV HE'CE, MKG =(V', EDEG=(V, DHF. AE—-THAV'CV, G 

关于 V HSHFRBEAG'=V', EN, HP 

E' = {(u,v) € E:u,v € V'} 
图 B2(a) 中 关于 顶点 集 {(1，2，3，6 ) 的 导出 子 图 是 图 B2(c) 中 的 图 ， 其 边 集合 为 {(1，2)， 
(2, 29; C 3}, 

ATEMAG=(V, E), G 的 有 向 版 本 是 有 向 图 G' 二 (V，E')， 其 中 (u，wv) EE' 当 且 仅 当 
(u，v) EE。 也 就 是 说 ， 在 有 向 版 本 中 ，G 的 无 向 边 (u， 履 均 被 替换 为 两 个 有 问 边 (u，) 和 (Cv，w)。 
给 定 有 向 图 G=(V，E)， 其 无 向 版 本 是 无 向 图 G' 一 (V，E')， HP, v) EE 当 目 仅 当 w 关 v 且 
(wu，v) EE。 至 少 包 含 (u， 攻 和 (v，zw) 中 的 一 个 。 也 就 是 说 ， 无 向 版 本 包含 了 G 中 “去 掉 了 方向 ” 
的 边 ， 同 时 剔除 了 自 环 。( 因 为 (wx， 妇 和 (z，z) 在 无 向 图 中 是 同一 条 边 ， 尽 管 这 两 条 边 都 在 有 向 
图 中 ， 但 无 向 版 本 只 包含 其 一 次 .) 在 有 向 图 G 二 (V，E) 中 ,顶点 的 邻居 是 G 的 无 向 版 本 中 任 
BETH A HT. thet, WR uv Hu, EER, WEE, M vu 的 一 个 邻 
居 。 在 无 向 图 中 ， 如 果 Aly 邻接 ， 则 它们 是 邻居 。 

有 几 种 图 有 其 特有 的 名 字 。 完 全 图 是 图 中 每 对 顶点 均 邻 接 的 无 向 图 。 二 分 图 是 一 个 无 向 图 
G=(Vs EB), 其 顶点 集 V 可 以 被 划分 为 两 个 集合 V #V:, Hu, v) EE 蕴涵 uwEVi A vEV, 或 
者 蕴涵 EV 且 vEWw 。 也 就 是 说 ， 所 有 的 边 都 位 于 这 两 个 顶点 集合 之 间 。 无 向 无 环 图 是 一 个 森 
林 。 连 通 无 向 无 环 图 是 一 棵 (自由 ) 树 ( 见 B. 5 节 )。 通 常用 “有 疝 无 环 图 ”(directed acyclic graph) 的 
首 字 母 称 呼 它 ， 即 dag。 

读者 可 能 常常 会 遇 到 两 种 图 的 变 体 。 多 重 图 与 无 向 图 类 似 ， 但 它 可 以 在 顶点 间 存 在 多 条 边 ， 
并 人 允许 自 环 。 超 图 也 与 无 向 图 类 似 ， 但 是 其 每 一 条 超 边 连接 的 不 是 两 个 顶点 ， 而 是 任意 顶点 子 
集 。 许 多 为 普通 有 向 图 和 无 向 图 设计 的 算法 也 能 适用 于 这 些 类 图 结构 。 

沿边 e=(u, VM MAHA G=(V, EMBER G =V, ED, HHP V'=V—{u, v} Uir) 
且 z 是 一 个 新 顶点 。 边 集合 巨 是 从 巨 中 删除 边 (u，v)， 并 对 于 每 一 个 人 射 到 或 uv 的 顶点 w， 黄 
REP, wC, w HINARI (2, wT. MARERE, u 和 wv 被 “压缩 * 成 了 一 个 顶点 。 


练习 


B. 4-1 在 一 个 教职员 工 聚 会 中 ,与 会 者 互相 握手 问候 彼此 ， 每 位 教授 会 记 住 他 /她 握手 的 次 数 。 
在 聚会 的 最 后 ， 系 主任 将 所 有 教授 握手 的 次 数 相 加 。 通 过 证 明 下 面 的 握手 定理 来 说 明 系 
主任 得 到 的 结果 是 偶数 : MRC=(V, DEKK., WA 

> degree(v) = 2| E| 


ve 

B.4-2 WH: 如 果 无 向 图 或 有 向 图 在 两 个 顶点 和 w 之 间 包 含 一 条 路 径 ， 则 该 图 一 定 包含 一 条 z 
与 v 之 间 的 简单 路 径 。 证 明 : 如 果 一 个 有 向 图 包含 环 ， 则 它 一 定 包含 一 个 简单 环 。 

B. 4-3 证明 : 任意 连通 无 向 图 G 二 (V，E) 满 足 |E| 宇 |V| 一 1。 

B. 4-4 ”验证 在 一 个 无 向 图 中 ,，“ 从 …… 可 达 ” 关 系 是 图 中 顶点 的 等 价 关 系 。 等 价 关 系 的 三 个 特性 
中 ， 哪 些 对 有 向 图 点 集 上 的 “从 ……… 可 达 ” 关 系 成 立 ? 

B.4-5 图 B2(a) 中 有 向 图 的 无 向 版 本 是 什么 ? 图 B2(b) 中 无 向 图 的 有 向 版 本 是 什么 ? 

*B. 4-6 WH: 若 令 超 图 中 的 边 与 点 的 关联 关系 对 应 二 分 图 中 的 邻接 关系 ， 则 超 图 可 表示 为 二 分 
A. Gr: 令 二 分 图 中 的 一 个 顶点 集 对 应 超 图 的 顶点 集 ， 并 令 二 分 图 的 另 一 个 顶点 集合 
对 应 超 边 集 。) 


B.5 树 
和 图 一 样 ， 树 也 有 很 多 相关 但 差异 很 小 的 定义 。 这 一 节 将 介绍 几 种 树 的 定义 和 数学 性 质 。 
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10.4 节 和 22. 1 节 介 绍 了 我 们 在 计算 机 内 存 中 表示 树 的 方式 。 


B.5.1 自由 树 


和 B.4 节 中 的 定义 一 样 ， 自 由 树 是 一 个 连通 的 、 无 环 的 无 向 图 。 通 常情 况 ， 当 我 们 提 到 一 

个 图 是 树 时 ， 会 省 略 形容 词 “自由 ”。 称 一 个 可 能 不 连通 的 无 向 无 环 图 为 森林 。 许 多 树 的 算法 对 森 

林 也 适用 。 图 B-4(a) 给 出 了 一 棵 自由 树 ， 图 B4(b) 则 给 出 了 一 个 森林 。 图 B-4(b) 的 森林 不 是 树 ， 
因为 它 不 连通 。 图 B4(c) 中 的 图 是 连通 的 ， 但 是 它 既 不 是 树 也 不 是 森林 ， 因 为 它 包 含 环 。 


JR JN 


图 B-4 (a) 一 棵 自由 树 。(b) 一 个 森林 。(c) 因 为 该 图 有 环 ， 所 以 它 既 不 是 树 也 不 是 森林 


下 面 的 定理 描述 了 自由 树 的 几 个 重要 事实 。 

定理 B. 2( 自 由 树 性 质 ) 令 G=(V，E) 是 一 个 无 向 图 。 下 面 的 描述 是 等 价 的 。 

1.G 是 自由 树 。 

2. G 中 任何 两 顶点 由 唯一 简单 路 径 相 连 。 

3.G 是 连通 的 ， 但 是 从 图 中 移 除 任 意 一 条 边 得 到 的 图 均 不 连通 。 

4.G 是 连通 的 ， 且 | 五 | 王 |V| 一 1。 

5.G 是 无 环 的 ,， 且 |E|==|V| 一 1。 

6.G 是 无 环 的 ， 但 是 如 果 向 忆 中 添加 任何 一 条 边 ， 均 会 造成 图 包含 一 个 环 。 

证 明 (1) 二 (2): 因为 树 是 连通 的 ， 图 G 中 任意 两 顶点 应 至 少 被 一 条 简单 路 径 所 连接 。 用 反 
证 法 ,假定 项 点 和 顶点 v 被 两 条 不 同 的 简单 路 径 p, 和 ps 连接 ， 如 图 B-5 所 示 。 令 也 为 这 两 条 路 
径 第 一 次 分 又 位 置 的 顶点 ; B wE p 和 ps 上 所 有 公共 顶点 中 ， 第 一 个 在 p 上 的 后 继 z 与 在 p, 上 
的 后 继 y 不 相同 的 顶点 。 令 z 为 这 两 条 路 径 第 一 次 重新 汇合 处 的 顶点 ; 即 z 是 包 后 第 一 个 p 5 p 
HARMA. SpE p 的 子 图 ， 其 中 包含 从 了 世 经 过 二 到 > 的 顶点 与 边 ， 且 令 为 po 的 子 图 ， 其 中 包 

含 从 p 经 过 > 到 = 的 部 分 。 路 径 p 5 嫌 除了 端点 外 没有 公共 顶点 。 因 此 ， 连 接 之 与 SSI 

径 是 一 个 环 。 这 违背 了 CG 是 一 棵 树 的 假设 。 因 此 ， 若 G 是 自由 树 ， 则 两 顶点 至 多 有 一 条 简单 路 径 。 


ie © 


G) sen eee 
p" 


(c) 


图 B5 定理 B. 2 的 证 明 步 又 : 如 果 (1)G 是 自由 树 ， 则 (2)G 中 任意 两 点 被 唯一 路 径 相连 。 假 定 顶 点 “与 
v 被 两 条 不 同 的 简单 路 径 pi 与 ps 所 连 。 这 两 个 路 径 第 一 次 岔 开 位 置 的 顶点 是 w， 它 们 第 一 次 合 
并 位 置 的 顶点 是 >。 路 径 SRE 的 逆 相 连 构成 了 一 个 环 。 这 与 图 中 无 环 构成 矛盾 


DSG): WRG 中 任意 两 个 顶点 被 唯一 简单 路 径 相连 ， 则 GEET. Su, vH E 
任意 一 条 边 。 该 边 是 从 到 wv 的 一 条 路 径 ， 所 以 它 必然 是 从 到 vw 的 唯一 路 径 。 如 果 从 G 中 移 除 
Cu, v), WA u Fjo ARITA, A, 任意 移 除 一 条 边 均 会 导致 图 不 连通 。 

(3) 过 (4): 根据 假设 ， 图 G 是 连通 的 ， 且 由 练习 B. 4-3 可 知 ，|E| 宇 |V| 一 1。 现 在 我 们 用 
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归纳 法 证 明 |E| 志 |V| 一 1。 一 个 有 n=1 或 n==2 个 顶点 的 连通 图 的 边 数 显然 为 x 一 1。 假定 G 有 
n 宇 3 个 顶点 ， 且 所 有 顶点 数 少 于 n 并 满足 (3) 的 图 也 满足 |E| 三 |1V| 一 1。 从 G 中 移 除 任意 一 条 
边 将 图 分 为 k 宇 2 个 连通 分 量 ( 实 际 上 k= 二 2)。 每 一 个 连通 分 量 满足 (3)， 否 则 G 将 不 会 满足 (3)。 
如 果 将 每 一 个 边 集 为 E 的 连通 分 量 V; 看 做 它 自己 的 自由 树 ， 那 么 因为 每 一 个 连通 分 量 的 顶点 数 
目 均 少 于 |V|， 根 据 归纳 假设 , 我 们 有 |E| 志 |V; | 一 1。 因 此 ， 所 有 连通 分 量 中 边 数目 的 总 和 最 
多 为 |1V1 一 过 |1V| 一 2。 将 移 除 的 边 加 入 后 ,得 到 |E|<<|V| 一 1。 

(4)>(5): 假定 G 是 连通 的 ， 且 |E| 二 |V| 一 1。 需 证 明 G 是 无 环 的 。 假 定 G 中 一 个 环 包含 
MT Ui» Waa tts Une 不 失 一 般 性 ， 假 设 该 环 是 简单 的 。 令 G 二 (Vi， 及 ) 是 该 环 在 G 中 的 子 图 
表示 。 注 意 ， |V| = | E | =k, 如 果 R<|V| ， 则 因为 G 连 通 ， 所 以 一 定 存 在 顶点 vn EV 一 Vi 与 
某 个 顶点 v EV, FAB. EM Grn = (Ven Em) H GAFE, HP Ven =V; U on} E Em =E U 
(Cus un) Æ| Ven | =| Een | 二 & 十 1。 如 果 十 1 二 1V|， 我 们 可 以 继续 用 相同 方式 定义 
Gazo KEFE., HIRI G= (V, E), 其 中 n==|V|, V, 二 V, BIEI=lV.I=lVl. Aw 
G, 是 G 的 一 个 子 图 ， 所 以 有 ECE， 因 此 |E| 宇 |V|。 这 违背 了 假设 |E| 二 1V| 一 1。 因 此 ，G 是 
无 环 的 。 

(5) 过 (6); 假定 G 是 无 环 的 且 |E|= 二 1|V| 一 1。 令 为 G 的 连通 分 量 的 数目 。 每 一 个 连通 分 
量 根 据 定义 都 是 一 个 自由 图 ， 并 且 因 为 (1) 蕴 涵 (5)，G 的 所 有 连通 分 量 的 边 数 和 为 |V| 一 A。 因 
此 ， 必须 有 二 1， 即 有 G 实际 上 是 一 棵 树 。 因 为 (1) 蕴 涵 (2)，G 中 任意 两 个 顶点 被 唯一 简单 路 
径 所 连接 。 因 此 ， 添 加 任何 一 条 边 到 G 均 会 导致 成 环 。 

O>): 假定 G 是 无 环 的 ,但 是 添加 任意 一 条 边 到 G 均 会 成 环 。 需要 证 明 的 是 G 是 连通 
的 。 令 和 wv 是 G HERRAR. WR u Mo 尚未 邻接 ， 则 添加 边 (u，) 会 产生 一 个 环 。 环 中 除 
了 (uu,， 双 外 其 他 边 均 属于 G。 因 此 ， 该 环 去 除 边 (u，v) 必 须 包 含 一 条 从 到 vw 的 路 径 ， 因 为 与 
v 是 随意 选择 的 ， 所 以 G 是 连通 的 。 = 


B.5.2 有 根 树 和 有 序 树 


有 根 树 是 一 棵 自由 树 ， 其 顶点 中 存在 一 个 与 其 他 顶点 不 同 的 顶点 。 我 们 称 该 不 同 顶 点 为 树 的 
根 。 一 棵 有 根 树 的 顶点 常常 称 为 树 的 结 点 9 。 图 B6(a) 给 出 了 一 棵 有 12 个 结 点 ， 根 为 7 的 有 根 树 。 
考虑 以 7 为 根 的 有 根 树 中 的 一 个 结 点 zx。 从 7 到 工 的 唯一 简单 路 径 上 任意 结 点 y 称 为 z 的 一 
个 祖先 。 如 果 y 是 zz 的 祖先 ， 则 z 是 yy 的 后 代 。( 每 一 个 结 点 既是 自己 的 祖先 也 是 自己 的 后 代 。) 如 
R y tec WAVER Ay, N y 是 xz 的 一 个 真 祖先 ， 且 zz 是 yy 的 一 个 真 后 代 。 以 z 为 根 的 子 树 是 根 
为 zx， 由 并 的 后 代 组 成 的 子 树 。 例 如 ， 图 B6(a) 中 的 以 结 点 8 为 根 的 子 树 包 含 结 点 8、6、5 和 9。 

如 果 从 树 工 的 根 ~ 到 一 个 结 点 z 的 简单 路 径 上 最 后 一 条 边 是 (>，z)， 则 y 是 xz 的 双亲 ， 而 x 
是 > 的 孩子 。 根 是 树 中 唯一 没有 双亲 的 结 点 。 如 果 两 个 结 点 有 相同 的 双亲 ， 则 它们 是 兄弟 。 一 个 
没有 孩子 的 结 点 为 叶 结 点 (或 称 外 部 结 点 )。 一 个 非 叶 结 点 是 内 部 结 点 。 

有 根 树 工 中 一 个 结 点 z 的 孩子 数目 等 于 结 点 x Eo. Mi ~ 到 结 点 z 的 一 条 简单 路 径 的 长 
度 即 为 在 工 中 的 深度 。 树 的 一 个 层 包 含 了 统一 深度 的 所 有 结 点 。 结 点 在 树 中 的 高 度 是 指 从 该 
结 点 到 叶 结 点 最 长 的 一 条 简单 路 径 上 边 的 数目 。 树 的 高 度 也 等 于 树 中 点 的 最 大 深度 。 

有 序 树 是 一 棵 有 根 树 ， 其 中 每 个 结 点 的 孩子 是 有 序 的 。 也 就 是 说 ， 如 果 一 个 结 点 有 个 孩子 ， 则 
这 些 孩 子 之 间 会 区 分 哪个 结 点 是 第 一 孩子 ， 哪 个 结 点 是 第 二 孩子 ，…… ， 哪 个 是 第 孩子 。 图 B6 中 
的 两 棵 树 如 果 看 做 是 有 序 树 ， 则 它们 是 不 同 的 ， 但 是 如 果 仅仅 看 做 是 有 根 树 的 话 ， 则 是 相同 的 。 





O 在 图 论 中 ,术语 “ 结 点 ”通常 作为 “顶点 ”的 同义词 。 这 里 我 们 将 它 专用 来 表示 有 根 中 的 结 点 。 
O 注意 ， 结 点 的 度 取决 于 工 是 有 根 树 还 是 自由 树 。 自 由 树 中 结 点 的 度 跟 无 向 图 中 的 一 样 ， 是 相 邻 顶点 的 个 数 。 而 
在 有 根 树 中 ， 度 指 结 点 孩子 的 个 数 ， 结 点 的 双亲 不 包含 在 内 。 
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(a) (b) 
B6 有 根 树 与 有 序 树 。(a) 高 度 为 4 的 有 根 树 。 该 树 用 标准 的 方式 绘制 : RGA 7) 在 最 上 方 ， 
其 下 是 它 的 孩子 (深度 为 1 的 结 点 )， 再 下 面 是 根 孩 子 的 孩子 (深度 为 2 的 结 点 )， 依 此 下 去 。 
如 果树 是 有 序 树 ， 树 中 某 结 点 的 孩子 之 间 的 左右 位 置 关系 有 影响 ;否则 没 影响 。(b) 另 一 棵 
有 根 树 。 如 果 将 该 树 单 看 做 有 根 树 ， 则 它 与 (a) 中 的 树 是 一 样 的 ， 但 是 看 做 有 序 树 ， 则 因为 
结 点 3 的 孩子 与 (a) 中 出 现 顺 序 不 同 ， 所 以 两 棵 树 不 同 


B. 5. 3 ”二叉树 和 位 置 树 
我 们 递归 地 来 定义 二 叉 树 。 二 叉 树 工 是 定义 在 有 限 结 点 集 上 的 结构 ， 它 或 者 不 包含 任何 结 
点 ， 或 者 包含 三 个 不 相交 的 结 点 集合 : 一 个 根 结 点 ， 一 棵 称 为 左 子 树 的 二 又 树 ， 以 及 一 棵 称 为 右 
子 树 的 二 叉 树 。 

不 包含 任何 结 点 的 二 叉 树 称 为 空 树 或 零 树 ， 有 时 用 符号 NIL 表示 。 如 果 左 子 树 非 空 ， 则 它 
的 根 称 为 整 棵 树 的 根 的 左 孩 子 。 类 似 地 ， 非 空 右 子 树 的 根 称 为 整 棵 树 的 根 的 右 孩 子 。 如 果 一 棵 子 
树 是 零 树 NIL， 则 称 该 孩子 是 缺失 或 者 丢失 的 。 图 B-7(a) 给 出 了 一 棵 二 又 树 。 

二 叉 树 不 仅仅 是 一 棵 结 点 度 均 为 2 的 有 序 树 。 例 如 ， 在 一 棵 二 叉 树 中 ， 如 果 一 个 结 点 仅 有 一 
个 孩子 ， 则 它 是 左 孩 子 还 是 右 孩 子 是 有 关系 的 。 而 在 有 序 树 中 ， 是 没有 必要 区 分 一 个 单独 的 孩子 
是 左 还 是 右 的 。 图 B7(b) 给 出 了 一 棵 与 图 B7(a) 不 同 的 二 叉 树 。 两 者 的 不 同 之 处 在 于 结 点 5 的 
位 置 。 这 两 棵 树 如 果 仅 被 看 做 是 有 序 树 ， 则 是 相同 的 。 

如 图 B7(c 所 示 ， 二 叉 树 的 位 置信 息 可 以 用 有 序 树 中 的 内 部 结 点 来 表示 。 这 一 想法 需要 将 
二 又 树 中 每 个 缺失 的 孩子 用 一 个 没有 和 孩子 的 结 点 替代 。 这 些 叶 结 点 在 图 中 表示 为 正方 形 。 这 样 
得 到 的 树 是 满 二 叉 树 : 每 个 结 点 是 叶 结 点 或 者 度 为 2。 满 二 又 树 中 不 存在 度 为 1 的 结 点 。 最 终 ， 
结 点 的 孩子 的 顺序 保留 了 位 置信 息 。 





(a) (b) 


AB? 二 又 树 。(a) 按 照 标准 方法 绘制 的 二 叉 树 。 结 点 的 左 孩 子 画 在 结 点 的 左下 方 。 结 点 的 右 
孩子 画 在 结 点 的 右 下 方 。(b) 与 (a) 中 不 同 的 一 棵 二 又 树 。 在 (a) 中 ， 结 点 7 的 左 孩子 是 
5， 而 右 孩 子 缺失 。 在 (b) 中 ， 结 点 7 的 左 孩 子 缺失 ， 而 右 孩 子 是 5。 作 为 有 序 树 ， 这 两 
棵 树 是 一 样 的 ， 但 作为 二 又 树 ， 它 们 却 是 不 同 的 。(c) 用 满 二 又 树 的 内 部 结 点 表示 (a) 中 
的 二 叉 树 : 每 个 内 部 结 点 度 均 为 2 的 有 序 树 。 树 中 的 叶 结 点 用 正方 形 表 示 
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区 分 二 叉 树 与 有 序 树 的 存储 位 置信 息 可 以 扩展 到 结 点 有 多 于 2 个 孩子 的 树 上 。 在 一 棵 位 置 树 
中 ， 结 点 的 孩子 被 标记 为 不 同 的 正 整 数 。 如 果 没 有 和 孩子 被 标记 为 整数 i， 则 该 结 点 的 第 i 个 孩子 
RA 天 叉 树 是 一 棵 位 置 树 ， 其 中 对 于 每 个 结 点 ， 所 有 标记 大 于 & 的 孩子 均 缺 失 。 因 此 ， 二 又 树 
Æ k=2 H k IH. 
完全 天 叉 树 是 所 有 叶 结 点 深度 相同 ， 且 所 有 内 部 结 点 度 为 & 的 & 叉 树 。 图 B-8 给 出 了 一 棵 高 度 
为 3 的 完全 二 又 树 。 一 棵 高 度 为 丸 的 完全 又 树 有 多 少 叶 结 点 呢 ? 根 在 深度 1 有 个 孩子 ， 它 们 中 
的 每 一 个 在 深度 2 又 各 自 有 上 个 孩子 。 因 此 ， 在 深度 hh 处 的 叶 结 点 数目 为 上 。 最 终 , 一 棵 有 个 叶 
结 点 的 完全 又 树 的 高 度 为 login。 由 等 式 (A. 5) 可 得 ,一 棵 高 度 为 h 的 完全 k 叉 树 的 内 部 结 点 数目 
a A 一 1 
Ltkte te ti = i = Ea) 


Alt, sc — MAA 2—1 个 内 部 结 点 。 








图 B-8 高 度 为 3， 有 8 个 叶 结 点 和 7 个 内 部 结 点 的 完全 二 又 树 


练习 

B.5-1 画 出 包含 三 个 顶点 z、y 和 >z 的 所 有 自由 树 。 画 出 所 有 包含 结 点 zx、y 和 x 的 以 z 为 根 的 
有 根 树 。 画 出 所 有 包含 结 点 z、y 和 zz 的 以 z 为 根 的 有 序 树 。 画 出 所 有 结 点 为 x-、y 和 > 
的 以 z 为 根 的 二 又 树 。 1179 

B.5-2 令 G 二 (V，E) 为 一 个 有 向 无 环 图 ， 其 中 存在 一 个 顶点 vo。 EV， WEMA v 到 其 他 每 个 顶点 
vEV 均 有 唯一 路 径 。 证 明 : G 的 无 向 版 本 是 一 棵 树 。 

B.5-3 ”利用 归纳 法 证 明 : 任何 非 空 二 叉 树 中 2 度 结 点 数 比 叶 结 点 数 少 1。 证 明 : 满 二 又 树 中 的 
内 部 结 点 数目 比 叶 结 点 数目 少 1。 

B. 5-4 ”利用 归纳 法 证 明 ， 一 个 有 个 结 点 的 非 空 二 又 树 的 高 度 至 少 为 |lgnj。 

*B.5-5 一 棵 满 二 又 树 的 内 路 径 长 度 是 指 所 有 内 部 结 点 深度 之 和 。 类 似 地 ， 外 路 径 长 度 是 指 所 有 
叶 结 点 深度 之 和 。 考 虑 一 个 有 7 个 内 部 结 点 的 满 二 又 树 ， 其 内 路 径 长 度 为 i， 外 路 径 长 
度 为 e。 证 明 e=i+2n, 

*B. 5-6 我们 将 二 又 树 工 中 的 每 个 深度 为 4 的 叶 结 点 赋予 权 值 w(x)= 二 2“， 并 令 工 为 工 的 叶 结 点 
集合 。 证 明 2wa) 过 1 。( 该 不 等 式 称 为 Kraft FSX.) 


*B. 5-7 GE, 若 [之 2， 则 每 个 时 结 点 数 为 工 的 二 又 树 包 含 _- 棵 子 树 ， 该 子 树 有 L/3 到 2L/3 个 
叶 结 点 。 

思考 题 

Bl (图 着 色 问 题 ) 给 定 一 个 无 向 图 G=(V，E)，G 的 大 着 色 是 一 个 函数 c: V 一 (0，1，…， 


k 一 1}， 满 足 对 于 每 条 边 (u，v) EE， 有 cbw) 关 c(v)。 换 句 话 说 ， 数 字 0，1，…, 有 一 1 代 
表 了 & 种 颜色 ， 邻 接 的 顶点 不 能 具有 相同 颜色 。 
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a. 证 明 : 任意 树 都 可 以 都 是 2 可 着 色 的 。 

b. 证 明 下 列 三 条 描述 是 等 价 的 : 

1.G 是 二 分 图 。 

2.G 是 2 可 着 色 的 。 

3.G 没 有 奇数 长 度 的 环 。 

c Sd AAG 中 任意 顶点 的 最 大 度数 。 证 明 : G 可 以 用 4 十 1 种 颜色 着 色 。 

d. 证明: 如 果 G 有 OCIV|) 条 边 ， 那 么 G 可 以 用 OCYTVT) 种 颜色 着 色 。 

( 友 这 图 ) ”将 下 列 描述 改写 成 关于 无 向 图 的 定理 ， 并 给 出 证 明 。 假 定 友 谊 是 对 称 的 ， 但 不 

是 自 反 的 。 

a 任何 至 少 含 两 人 的 组 中 ， 至 少 有 两 人 在 组 内 有 相同 数目 的 朋友 。 

b. 任何 6 人 的 组 要 么 至 少 有 三 个 人 互 为 朋友 ， 要 么 至 少 有 三 个 人 互 不 相识 。 

e 每 个 组 中 的 人 均 能 分 成 两 个 子 组 ， 其 中 每 个 属于 某 个 子 组 的 至 少 有 一 半 的 朋友 在 另外 一 
个 子 组 。 

d 如 果 一 个 组 中 每 个 人 都 至 少 是 该 组 内 一 半 人 的 朋友 ,那么 该 组 可 以 按 如 下 方式 安排 组 员 
坐 在 圆桌 周围 : 每 个 人 都 坐 在 他 的 两 个 朋友 之 间 。 

(二 等 分 树 ) 许多 图 的 分 治 算法 要 求 图 被 等 分 为 两 个 大 小 基本 相同 的 子 图 。 这 可 以 通过 在 

划分 顶点 后 ， 求 取 两 个 点 集 的 导出 子 图 来 实现 。 本 题 将 研究 通过 移 除 一 小 部 分 边 来 将 树 二 

等 分 的 方法 。 要 求 如 果 在 移 除 边 后 两 个 顶点 落 在 了 同一 棵 子 树 中 ， 则 它们 一 定 在 同一 个 划 

分 内 。 

a. 证 明 : 任意 顶点 二 叉 树 的 顶点 均 可 通过 移 除 一 条 边 被 划分 为 两 个 集合 A SB, WE 
|A|<3n/4, |B|<8n/4, 

b 通过 给 出 一 个 例子 : 一 棵 简单 二 又 树 在 移 除 一 条 边 后 ， 其 最 均匀 平衡 的 划分 满足 1A| = 
3n/4， 来 证 明 (a) 中 的 常数 3/4 在 最 坏 情况 下 是 最 优 的 。 

c 证 明 : 通过 移 除 最 多 OClgn) 条 边 ， 可 以 将 任意 nn 顶点 二 叉 树 的 顶点 划分 为 两 个 集合 A 与 
B, 满足 |A|==Ln/2J 和 |B|=[n/21。 


附录 注 记 


G. Boole 是 符号 逻辑 学 的 先驱 。 他 在 1854 年 出 版 的 书 中 引入 了 许多 基本 集合 符号 。 现 代 集 


合 论 由 G. Cantor 在 1874 年 到 1895 年 之 间 创 立 。G. Cantor 主要 致力 于 无 限 基数 集合 的 研究 。 术 
语 “ 函 数 ” 的 发 明 归 功 于 G. W. Leibniz。 他 用 函数 来 指 代 多 种 数学 公式 。 这 个 局 限 的 定义 被 一 般 化 
了 很 多 次 。 图 论 从 1736 年 兴起 。 那 时 ，L. Euler 证 明了 穿 过 Konigsberg 市 的 七 座 桥 仅 一 次 并 回 
到 起 始点 是 不 可 能 的 。 


HararyL160j] 是 一 本 很 有 用 的 书 ， 它 给 出 了 图 论 中 的 许多 定义 和 结论 。 


| 附录 C 


Introduction to Algorithms，Third Edition 


计数 与 概率 


本 附录 回顾 了 基础 组 合 数学 与 概率 论 的 相关 知识 。 如 果 读 者 在 这 两 方面 已 经 有 了 良好 的 基 
础 ， 那 么 可 以 粗略 地 阅读 本 附录 开始 的 部 分 ， 着 重 阅读 后 面 的 章节 即 可 。 本 书 的 大 部 分 章节 并 不 
要 求 概率 论 知识 ， 但 是 对 于 部 分 章节 则 是 必需 的 。 

C. 1 节 回 顾 了 计数 理论 中 的 一 些 基 本 结论 ， 包 括 计数 排列 组 合 的 标准 方程 。C. 2 BR TOBE 
率 公理 和 一 些 有 关 概 率 分 布 的 基本 事实 。C. 3 节 中 介绍 了 随机 变量 以 及 期 望 与 方差 的 性 质 。C. 4 
节 研 究 了 源 于 伯 努 利 试验 的 几何 分 布 与 二 项 分 布 。C. 5 节 则 深入 讨论 了 二 项 分 布 的 “尾部 ”。 


C.1 计数 

计数 理论 是 不 枚 举 所 有 选择 而 回答 问题 “有 多少 个 ”的 理论 。 例 如 ， 我 们 可 能 会 问 “ 有 多 少 个 
不 同 的 nn 位 数 ?” 或 者 “n 个 不 同 元 素 有 多 少 种 排列 顺序 ?” 本 节 将 回顾 计数 理论 知识 。 出 于 本 章 中 
部 分 内 容 需 要 对 集合 知识 的 基本 了 解 ， 读 者 可 以 适当 回顾 B. 1 节 中 的 材料 。 

和 与 积 的 规则 

有 时 ， 我 们 可 以 将 一 个 要 计数 的 项 集 看 做 几 个 不 相交 集合 的 并 集 或 者 集合 的 笛 卡 儿 积 。 

和 规则 是 指 从 两 个 不 相交 集合 之 一 中 选择 一 个 元 素 的 方法 数 等 于 这 两 个 集合 的 基数 和 。 也 
就 是 说 ,车 A 与 B 是 两 个 无 共同 元 素 的 有 限 集 ， 那 么 由 等 式 (B. 3) 可 得 |AUB|=14| 十 |B|。 
例如 ， 车 牌照 上 每 个 位 置 是 字母 或 数字 。 因 为 字母 有 26 种 选择 ， 数 字 有 10 种 ， 所 以 每 个 位 置 上 
的 可 能 选择 有 26 十 10 王 36 种 。 

积 规则 是 指 选 出 一 个 有 序 对 的 方法 数 等 于 选 出 第 一 个 元 素 的 方法 数 与 选 出 第 二 个 元 素 的 方 
法 数 的 乘积 。 也 就 是 说 ， 如 果 A 与 B 是 两 个 有 限 集 , 则 |AXB|==|1A|，|B|， 即 等 式 (B. 4). 
例如 ， 如 果 一 个 冰淇淋 店 提供 28 种 口味 的 冰淇淋 和 4 种 顶 料 ， 则 一 勺 冰 淇 淋 与 一 种 项 料 构 成 的 
圣 代 的 可 能 种 类 数 是 28. 4 一 112。 

串 

有 限 集 S 上 的 串 是 集合 S 中 元 素 构 成 的 一 个 序列 。 例 如 ， 下 面 的 8 个 长 度 为 3 的 二 进 制 串 : 

000,001,010,011,100,101,110,111 
有 时 称 长 度 为 的 串 为 k 串 。 串 s 的 子 串 * 是 * 中 连续 若干 个 元 素 的 有 序 序列 。 一 个 串 的 大 子 串 
是 该 串 的 长 度 为 & 的 子 串 。 例 如 ，010 是 01101001 的 一 个 3 子 串 (该 3 子 串 从 位 置 4 开 始 )， 而 
111 不 是 01101001 WFR. 

我 们 将 集合 S EWR 串 视 为 笛 卡 儿 积 S*(% 元 组 集合 ) 的 一 个 元 素 ; 因此， 存在 | S| 个 长 度 
为 & 的 串 。 例 如 ， 二 进 制 & 串 的 数目 为 %。 从 直观 上 看 ， 为 了 在 一 个 ?集合 上 构造 上 串 ， 第 一 个 
元 素 有 nn 种 选择 ; 对 于 每 种 选择 ， 又 及 种 方式 来 选择 第 二 个 元 素 ; 如 此 进行 上 次 。 由 这 一 构造 
过 程 可 知 , & 重 积 n。n…n 二 ww WAR BRA. 

排列 

ARE S 的 一 个 排列 是 S 中 元 素 的 一 个 有 序 序列 ， 其 中 每 个 元 素 出 现 且 仅 出 现 一 次 。 例 如 ， 
& S={a, 5b，c},， 则 S 有 6 种 排列 : 

abc,acbh,bac,bca,cab,cba 
包含 ”个 元 素 的 集合 的 排列 数目 为 2!1。 这 是 因为 序列 第 一 个 元 素 的 选择 有 ?7 种， 第 二 个 元 素 的 
选择 有 7 一 1 种 ， 第 三 个 元 素 的 选择 有 ”一 2 种 ， 等 等 。 
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S 的 一 个 排列 是 S 中 个 元 素 的 有 序 序列 ， 且 每 个 元 素 最 多 出 现 一 次 。( 所 以 ， 通常 的 排 
列 是 nn 集合 的 一 个 n 排列 。) 集 合 {a, 6p，c，4d} 的 12 个 2 排列 是 
ab,ac,ad,ba,bc,bd,ca,cb,cd,da,db,dc 
对 于 nn 集合 的 排列 ， 其 第 一 个 元 素 有 种 选择 ， 第 二 个 元 素 有 一 1 种 选择 ， 依 此 类 推 ， 直 到 选择 
出 个 元 素 ， 最 后 被 选中 的 元 素 是 从 剩余 的 n 一 & 十 1 个 元 素 中 选 出 的 。 因 此 ， 其 可 能 的 排列 数目 是 


eae tl 
n(n—1)(n—2).…(n 一 k 十 1) = i (CED 


组 合 
n 集 合 S 的 一 个 & 组 合 是 S 的 一 个 & 子 集 。 例 如 ，4 和 集合 {a, 5，c，d} 有 6 个 2 组 合 : 
ab,ac,ad,bc,bd,cd 

(将 2 子 集 {a，5) 简 写 为 a26， 其 他 同 理 。) 通 过 从 集合 中 选择 出 个 不 同 的 元 素 ， 我们 可 以 构建 
集合 的 一 个 & 组 合 。 该 过 程 中 元 素 选择 的 顺序 对 组 合 没有 影响 。 

我 们 可 以 用 nn 集合 的 & 排列 的 数目 来 表示 n 集合 的 & 组 合 的 数目 。 每 个 组 合 恰 有 k! 个 其 
元 素 的 排列 ， 其 中 每 一 个 都 是 nn 集合 的 一 个 不 同 的 & 排列 。 因 此 ,nn 集合 的 & 组 合 的 数目 就 是 
排列 的 数目 除 以 &!1; 由 等 式 (C. De, RAH 


1 
oDi Saa 
对 于 k=0 的 情况 ， 由 该 公式 可 知 ，n 集 合 中 选 出 0 个 元 素 的 方法 数 是 1( 而 不 是 0) ， 因 为 0! 三 1。 
二 项 系数 
符号 (%) OE n EORR 集合 中 组合 的 数目 。 由 等 式 (C. 2) 可 得 
n n! 
H ~ klak)! 
此 公式 对 & 与 2 一 & 是 对 称 的 : 
全 -0 ca 
因为 这 些 数 出 现在 二 项 展开 式 中 ， 所 以 称 其 为 二 项 式 系数 : 
(c+ y)? = 2 机 )aty Go 
二 项 展开 式 的 一 个 特例 是 ， 当 x 二 y= 二 1 时 ， 


r= D0) 


AMASOR AE ASHE n EHA 1 的 个 数 来 计数 2" 个 这 类 串 的 过 程 : 因为 从 个 位 置 中 
选择 个 放置 1 的 方法 数 是 (?) ， 所 以 有 (% ) 个 二 进 制 = 申 恰好 含 & 个 1 。 

许多 恒等式 都 含有 二 项 式 系数 。 本 节 的 练习 中 提供 了 几 道 这 类 恒等式 的 证 明 题 。 

二 项 式 界 

有 时 我 们 需要 确定 二 项 式 系数 大 小 的 界 。 对 于 1<k<n, APH 

_ n(n—1)*"@—k+1) _ = =e 1 
ae ee a 

利用 由 斯 特 林 近似 (公式 (3. 18)) 得 到 的 不 等 式 il 宇 (&/e)*， 可 以 获得 其 上 界 


(7) = (Ye) (25) 


对 于 所 有 满足 0<k<n 的 整数 k， 用 归纳 法 ( 见 练习 C. 1-12) 可 以 证 明 其 界 
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n n” 
(4) < pop =m 
其 中 为 方便 起 见 ， 假 设 0 = 二 1。 对 于 k= 二 hn， 其 中 0< 委 1， 可 以 将 界 写 作 
n E E a E 
Ta S An CAA oP" (( A ) ic ) i 
其 中 
AQ) =—Aalea—aA— 2) ea — G7 


E-A MBM, HPAL, 假设 0lg0 二 0， 从 而 HOSH) =0. 


练习 


C.1-1 


C.1-2 


C.1-6 


C.1-7 


C. 1-8 


C. 1-9 


ll—t n BHABDAR FB? ARRE LAN k FRABAR ST Hh n R 
总 共有 多 少 个 子 串 ? 

有 个 输入 、m 个 输出 的 布尔 函数 是 从 {TRUE，FALSE)" (TRUE, FALSE)” 的 一 个 
函数 。 请 问 有 和 多少 个 有 个 输入 、1 个 输出 的 布尔 函数 ? 有 多 少 个 有 个 输入 、m 个 输出 
的 布尔 函数 ? 

请 问 让 ”个 教授 围 坐 在 圆 形 会 议 桌 的 方法 有 多 少 种 ?” 如 果 两 种 座次 中 ， 一 种 可 以 通过 旋 
转变 成 另 一 种 ， 则 视 这 两 种 座次 相同 。 

请 问 从 集合 (1，2，…，99} 中 选 出 三 个 不 同 的 数字 ， 并 且 这 三 个 数字 的 和 为 偶数 的 方法 
有 多 少 种 ? 

证 明 如 下 恒等式 在 0<<k<n 时 成 立 : 


n n=l 
oe a (C. 8) 
证 明 如 下 恒等式 在 0<k<n 时 成 立 : 
n a—l 
we 
为 了 从 zn 个 对 象 中 选择 & 个 ， 可 以 从 这 些 元 素 中 选 出 一 个 作为 特殊 元 素 ， 并 且 考 虑 是 否 
选中 该 特殊 元 素 。 请 使 用 这 一 方法 证 明 


= 


使 用 练习 C. 1-7 的 结论 ， 为 二 项 式 系数 (%) 制作 一 个 表格 ， 其 中 zx 一 0，1，…，6，0<k< 





n。 表 格 中 (0) 在 最 项 行 ，( 0 ) 和 (1 ) 在 下 一 行 ， 依 此 类 推 。 这 样 的 一 个 二 项 式 系数 表格 称 
为 帕斯卡 三 角 。 
证 明 ， 


A 


i=1 


C 1-10 证 明 : 对 于 任意 整数 ">>0 和 On, (7 )Ek=Ln/2 RH k=[n/2 WEVA. 


*C. 1-11 


证 明 : 对 于 任意 整数 n0, j>0, k>0, Ajtk<n, A 


n n\ (n—J 
Lae (")( k ) (C. 9) 
请 给 出 公式 的 代数 证 明和 基于 从 7 个 物品 中 选 j 十 k 个 的 方法 的 论证 。 并 请 给 出 相等 关 
系 不 成 立 的 一 个 例子 。 
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*C. 1-12 ”对 满足 O<Rk<n/2 的 所 有 整数 不 使 用 归纳 法 证 明 不 等 式 (C.6)， 并 用 等 式 (C. 3) 将 公式 
(C. 6) 推 广 到 满足 0 过 & 生 2” 的 所 有 整数 & 上 。 
*C. 1-13 ”利用 斯 特 林 近似 证 明 : 


2n gea 
a 2 1 (C. 10) 
(> F=1+00/n)) 


*C. 1-14 EKAR 互 (AM) 进 行 微分 ， 证 明 其 在 A=1/2 时 取得 最 大 值 。 请 问 互 (1/2) 是 多 少 ? 
*C. 1-15 WEH: 对 于 任意 整数 z 之 0， 有 


(wh = n2 Gin 


C.2 概率 


概率 是 概率 与 随机 化 算法 设计 和 分 析 的 重要 工具 。 本 节 回 顾 了 基础 概率 理论 。 
我 们 借助 样本 空间 S 来 定义 概率 。 样 本 空间 是 基本 事件 的 集合 。 每 个 基本 事件 可 以 视 为 某 
个 试验 的 一 个 可 能 结果 。 对 于 抛 两 枚 不 同 硬币 的 试验 ， 每 枚 硬币 要 么 正面 朝 上 (CH) ， 要 人 么 反面 朝 
上 (T)， 则 其 样本 空间 可 以 视 为 {H，T)} 上 所 有 可 能 的 2 PHRA: 
S=(HH, HT, TH, TT} 
事件 是 样本 空间 S 的 一 个 子 集 S 。 例 如 ， 在 一 次 抛 两 枚 硬币 的 试验 中 ， 一 枚 硬币 正面 、 另 一 
枚 硬币 是 反面 的 事件 是 {HT，TH}。 事 件 S 称 为 必然 事件 ， 而 事件 名 称 为 空 事件 。 如 果 两 个 事 
件 A 和 B 满足 A 站 B 二 名 ， 则 它们 是 互 斥 的 。 有时， 我 们 将 基本 事件 *E S 看 做 事件 {s} 。 由 定义 
知 ， 所 有 基本 事件 都 是 互 斥 的 。 
概率 论 公 理 
样本 空间 S 上 的 概率 分 布 Pr{} 是 一 个 从 S 的 事件 到 实数 的 映射 ， 它 满足 如 下 概率 论 公理 : 
1. 对 于 任意 事件 A，Pr{A} 宇 0。 
2. Pr{S}=1. 
3. 对 于 两 个 互 斥 事件 A 与 了 B， 有 Pr(AUB) 王 Pr(A) 十 Pr{(B)。 更 一 般 地 ， 对 于 任意 (有 限 或 
Pr{ [J Ai} = J Pri} 
我 们 称 Pr{A} 为 事件 A 的 概率 。 这 里 注意 ， 公 理 2 是 一 条 正规 化 要 求 : 选择 1 作为 必然 事件 的 概 
率 没 有 什么 很 重要 或 特别 的 理由 ， 仅 仅 是 因为 这 种 选择 比较 自然 且 方 便 。 
由 上 面 几 个 公理 与 基本 集合 理论 ( 见 B.1 节 ) 可 以 很 快 得 到 下 面 几 个 结论 。 空 事件 名 的 概率 
X Pr(Ø)=0. WR ATB, 则 Pr{A}Pr{B}。 用 入 来 表示 事件 S 一 A(A Heh), WA Pr{A}= 
1 一 Pr{A}。 对 于 任意 两 个 事件 A 和 B， 
Pr{A U B}= Pr{A}+Pr{B}— Pr{A N B} (C. 129 
< Pr{A} + Pr{B} (C. 13) 
在 抛 硬币 的 例子 中 ， 假 定 4 个 基本 事件 的 概率 均 为 1/4， 则 至 少 有 一 枚 硬币 正面 朝 上 的 概率 是 
Pr{ HH, HT, TH} = Pr{HH} 十 Pr(HT) 十 Pr(TH) = 3/4 
另 一 种 做 法 是 ， 由 于 得 到 少 于 一 枚 硬币 正面 朝 上 的 概率 是 Pr{TT}=1/4， 则 获得 至 少 一 枚 硬币 
正面 朝 上 的 概率 是 1 一 1/4 一 3/4。 





加 ”对 于 一 般 的 概率 分 布 ， 样 本 空间 S 中 可 能 存在 一 些 子 集 不 被 视 为 事件 。 这 种 情况 经 常 发 生 在 样本 空间 是 无 限 不 可 
数 时 。 子 集 可 以 是 事件 的 主要 要 求 是 ， 样 本 空间 中 的 事件 集合 在 求 补 运算 下 ， 有 限 或 无 限 可 数 个 事件 在 求 并 运算 
下 ， 以 及 有 限 或 无 限 可 数 个 事件 在 求 交 运算 下 封闭 。 我 们 看 到 的 大 部 分 概率 分 布 都 是 在 有 限 或 可 数 样 本 空间 上 ， 
因此 通常 可 以 将 样本 空间 的 所 有 子 集 看 做 事件 。 一 个 需要 注意 的 例外 是 连续 均匀 概率 分 布 ， 稍 后 将 会 讨论 它 。 
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离散 概率 分 布 
如 果 一 个 概率 分 布 定义 在 有 限 或 者 无 限 可 数 的 样本 空间 上 ， 则 该 概率 分 布 是 离散 的 。 令 S 是 样本 
空间 ， 则 对 于 任意 事件 A， 因 为 基本 事件 (具体 来 说 ， 就 是 A 中 的 基本 事件 ) 是 互 斥 的 ， 所 以 有 
Pr{A} = >) Pris} 


如 果 S 是 有 限 的 ， 且 每 个 基本 事件 SCS 的 概率 为 
Pr{s} = 1/|S| 

则 得 到 的 概率 分 布 为 S 上 的 均匀 概率 分 布 。 在 这 种 情形 下 ， 常 常用 “从 S 中 随机 选择 一 个 元 素 ” 
来 描述 试验 。 

例如 ， 考 虑 抛 一 枚 均匀 硬币 ， 其 中 得 到 正面 的 概率 与 反面 的 概率 是 一 样 的 ， 均 为 1/2。 如 果 
抛掷 该 硬币 2 次 ， 则 有 定义 在 样本 空间 S={H, T)" 上 的 均匀 概率 分 布 ， 其 大 小 为 2 。 我 们 可 以 
将 S 中 的 基本 事件 表示 为 {也 ，T} 上 的 长 度 为 n 的 一 个 串 。 每 个 串 出 现 的 概率 均 为 1/2"。 事 件 

A= {& 枚 硬币 正面 朝 上 ,n 一 & 枚 硬币 反面 朝 上 》} 


是 S 的 一 个 子 集 ， 且 其 大 小 为 14A| =(%)， 因 为 {(H，T} 上 有 (% ) 个 长 度 为 的 串 正 好 包含 个 


H。 因 此, 事件 A 的 概率 是 Pr{A}==(%) />"。 


连续 均匀 概率 分 布 

在 连续 均匀 概率 分 布 中 ， 不 是 所 有 样本 空间 的 子 集 都 被 看 做 事件 。 连 续 均 匀 概 率 分 布 定义 
在 实数 闭 区 间 [a,，5] 上 ， 其 中 4a<5。 从 直观 上 来 看 ， 连 续 均 匀 概 率 分 布 的 区 间 [La，6b] 上 的 每 一 点 
都 是 “等 可 能 的。 然而， 由 于 区 间 内 有 不 可 数 个 点 ， 如 果 赋 予 每 个 点 同样 的 有 限 的 正 概率 ， 则 不 
可 能 同时 满足 公理 2 和 公理 3。 出 于 这 个 原因 ， 我 们 更 倾向 赋予 S 的 部 分 子 集 以 概率 ， 用 这 种 方 
式 来 满足 公理 。 

MFA Le, d], HH a<c<d<b， 连 续 均 匀 概 率 分 布 定义 事件 [Lc，d] 的 概率 为 


rt cc -¢ 


注意 ， 对 于 任意 点 x 二 [x，xj]， 其 概率 为 0。 若 将 区 间 [c，dqd]j 的 两 端点 去 掉 ， 则 可 以 得 到 开 区 间 
(c,dQ)。 结合 [ce,， dlJ=[ce, c]UCc, dULd, dj 与 公理 3 WM, Price, dj} 二 Pr{(c; d)}. 一 般 
而 言 ， 连 续 均 匀 概 率 分 布 中 所 有 事件 的 集合 包含 了 样本 空间 La， 由 中 任意 可 由 有 限 个 或 可 数 个 开 
区 间 和 闭 区 间 的 并 得 到 的 子 集合 ， 同 时 也 包含 了 某 些 更 复杂 的 集合 。 

条 件 概率 与 独立 

有 时 ， 我 们 知道 一 些 关 于 试验 结果 的 先 验 知识 。 例 如 ， 假 定 你 的 一 个 朋友 抛掷 了 两 枚 均匀 硬币 ， 
并 告诉 你 其 中 至 少 有 一 枚 正面 向 上 。 那 么 两 枚 硬币 都 是 正面 向 上 的 概率 是 多 少 ? 这 里 给 出 的 信息 排除 
了 两 枚 硬币 均 为 反面 向 上 的 可 能 。 因 为 剩余 的 三 个 基本 事件 是 等 可 能 的 ， 所 以 可 以 推出 每 个 事件 发 生 
的 概率 均 为 1/3。 因 为 只 有 一 个 基本 事件 中 有 两 枚 硬币 均 正 面向 上 ， 所 以 该 问题 的 答案 是 1/3。 

条 件 概率 形式 化 了 关于 试验 结果 部 分 先 验 知识 的 概念 。 已 知事 件 B 发 生 ， 事件 A 的 条 件 概 
率 的 定义 为 


€ 





Pr(A| B} = PA QB) (C. 14) 


其 中 Pr{B}40, (“Pr(A| BY REE B RIEF A 的 概率 ”。) 直 观 上 ， 因 为 已 知事 件 B 发 生 ， 则 
A 也 发 生 所 构成 的 事件 是 A 门 B。 也 就 是 说 ，AN 站 B 是 A 与 B 同时 发 生 的 结果 集合 。 因 为 结果 是 
B 中 的 一 个 基本 事件 ,我 们 将 B 中 所 有 基本 事件 的 概率 除 以 Pr{B} 来 对 概率 进行 正规 化 ， 以 使 其 
和 为 1。 因 此 , 在 B 条 件 下 A 发 生 的 条 件 概 率 是 事件 A 门 B 的 概率 与 事件 B 的 概率 的 比值 。 在 上 
面 的 例子 中 ， 事件 A 是 两 枚 硬币 均 正 面 朝 上 ,事件 B 是 至 少 有 一 枚 硬币 正面 朝 上 。 因 此 ， 
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Pr{A| B}=(1/4)/(3/4) =1/3 
若 
Pr{A N B} = Pr{A}Pr{B} (C. 15) 
则 称 两 个 事件 是 独立 的 ， 若 Pr{B} 取 909， 则 其 等 价 于 条 件 概率 
Pr{A|B} = Pr{A} 
例如 ， 假 定 扔 两 枚 均匀 硬币 且 其 结果 是 独立 的 ， 则 得 到 两 个 正面 朝 上 的 概率 是 (1/2)(1/2) 一 1/4。 
现在 假定 一 个 事件 是 第 一 枚 硬币 正面 朝 上 ， 另 一 个 事件 是 两 枚 硬币 不 同 面 朝 上 。 这 两 个 事件 中 
每 一 个 发 生 的 概率 均 为 1/2， 两 者 同时 发 生 的 概率 为 1/4; 因此 ， 尽 管 读 者 可 能 认为 两 个 事件 均 
依赖 于 第 一 枚 硬币 的 结果 ， 但 根据 独立 的 定义 ， 两 个 事件 是 独立 的 。 最 后 ， 假 定 两 枚 硬币 被 焊 在 
了 一 起 ， 这 样 它们 要 么 同时 正面 朝 上 要 人 么 同时 反面 朝 上 ， 且 这 两 种 结果 是 的 等 可 能 的 。 这 样 ， 每 
枚 硬币 正面 朝 上 的 概率 均 为 1/2, 但 是 两 枚 硬币 均 正 面 朝 上 的 概率 为 1/2 隆 (1/2)(1/2)。 因 此 ， 
一 枚 硬币 正面 朝 上 的 事件 和 男 一 枚 硬币 正面 朝 上 的 事件 不 是 独立 的 。 
如 果 对 于 所 有 IKin, A 
Pr{A; N A;} = Pr{A;}Pr{A;} 
则 称 事件 A, ， Azs > A, 两 两 独立 。 如 果 这 些 事件 的 每 一 个 & 子 集 A， ’ A; e) Ai,» 其 中 
2<<k<n 01S Kiin, HIE 
Pr{A; N A, N N A, } = Pr(A, }Pr{A, }…Pr(A, } 
则 称 这 些 事件 (相互 独立。 
以 扔 两 枚 均匀 硬币 为 例 ， 令 事件 A, 为 第 一 枚 硬币 正面 朝 上 ， 令 事件 A, 为 第 二 枚 硬币 正面 
朝 上 ， 并 令 事 件 A; 为 两 枚 硬币 不 同 面 朝 上 。 我 们 有 


Pr{A; } = 1/2 
Pr{A,}= 1/2 
Pr{A;}= 1/2 


Pr{A; N A,}= 1/4 
Pr{A, N As}= 1/4 
Pr{A, N A; }= 1/4 
Pr{A; N Az N As}= 0 
因为 对 于 IKKI, RIJA Pr{A;NA;}=Pr{A;}Pr{Aj}=1/4, 事件 A. A, 和 A; 是 两 两 独立 
KW. Am, AA Pr(A, NA, NA; }=0 H. Pr{Ai}Pr{As)}Pr{A;}) 二 1/8 关 0， 所 以 这 三 个 事件 不 是 相 
互 独立 的 。 
贝 叶 斯 定理 
根据 条 件 概 率 的 定义 (公式 (C. 14)) 与 交换 律 A 门 B 二 B 门 A， 对 于 两 个 概率 不 为 0 的 事件 A 
和 B， 有 
Pr{A N B}= Pr{B}Pr{A| B} = Pr{A}Pr{B | A} (C. 16) 
计算 Pr{A|B}, 得 到 
Pr{A|B) = APHRA) (C.17) 
该 公式 称 为 贝 叶 斯 定理 。 除 数 Pr{B} 是 一 个 正规 化 常数 ， 我 们 将 其 形式 重新 变换 如 下 。 因 为 B= 
(BNA)UCBNA), 且 BnA 与 BA 是 互 斥 事 件 ， 所 以 
Pr{B}= Pr{B N A} + Pr{B N A} = Pr{A}Pr{B | A} + Pr{A}Pr{B | A} 
将 此 式 代 入 等 式 (C. 17) ， 得 到 贝 叶 斯 定理 的 一 个 等 价 形式 : 


Pr(A|B) = Pr{A}Pr{B | A} 


Pr{A}Pr{B | A} + Pr{A}Pr{B | A} (C 18) 
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贝 叶 斯 定理 可 以 简化 条 件 概 率 的 计算 。 例 如 ， 假 定 有 一 枚 均匀 硬币 和 一 枚 抛掷 时 总 是 正面 
向 上 的 非 均 匀 硬 币 。 我 们 进行 一 个 包含 三 个 独立 事件 的 试验 : 随机 选择 两 枚 硬币 其 中 之 一 ， 连 续 
抛掷 两 次 。 假 定 选 择 的 硬币 两 次 均 正 面 朝 上 ， 则 该 硬币 为 非 均匀 硬币 的 概率 是 多 少 ? 

这 个 问题 可 以 用 贝 叶 斯 定理 来 解决 。 令 事件 A 是 选中 了 非 均匀 硬币 ， 并 令 事件 B 为 选中 的 硬 
币 两 次 均 正面 朝 上 。 我 们 需要 计算 Pr{A| B) KAH Pr{A}=1/2, Pr{B | A}=1, Pr{A}=1/2 和 


Pr(B|A}=+s 所 以 ， 


练习 
C.2-1 


C. 2-2 


C. 2-3 


C. 2-4 


C 2-5 


*C. 2-6 


*C. 2-7 


*C. 2-8 


*C. 2-9 


(1/2) +1 


GW/D-1+d/2)- ash ~ */ 


Pr{A|B}= 





Rosencrantz 教授 抛掷 一 枚 均匀 硬币 一 次 。Guildenstern 教授 抛掷 一 枚 均匀 硬币 两 次 。 
Rosencrantz 教授 得 到 的 正面 朝 上 结果 数 多 于 Guildenstern 教授 的 概率 是 多 少 ? 
证 明 布尔 不 等 式 : 对 于 有 限 或 可 数 无 限 事件 序列 AL, Ar, ，…， 

Pr{A, U A, U *…)} 志 Pr{(Ai}) 十 Pr{As}) 二 … (C. 19) 
假设 有 10 张 牌 ， 每 张 牌 上 分 别 标 有 从 1 到 10 的 数字 ， 且 每 张 牌 上 的 数字 均 不 同 ， 将 牌 
充分 混合 。 然 后 从 牌 堆 中 一 次 一 张 地 移 除 三 张 牌 。 那 么 我 们 选 出 的 三 张 牌 按照 (递增 ) 顺 
序 排 列 的 概率 是 多 少 ? 
证 明 : 

Pr{A|B}+Pr{A | B} =1 
证 明 : 对 于 任意 事件 集 Ai ， Az, ass Aus 
Pr{A, N A: N 1… N A,} =Pr{A;} » Pr{A; | Ai} + Pr{A; | A: N A} 
Pr{A, | A, N Az A Sa N Asa? 
描述 一 个 以 整数 a 和 2 为 输入 的 过 程 ， 其 中 O<a<b, AANER, PRE, 4 
果 为 正面 朝 上 的 概率 为 /8， 反 面 朝 上 的 概率 为 (2 一 ac)/2。 请 给 出 抛掷 硬币 次 数 期 望 的 
界 ， 应 为 O(1) 。( 提 示 : a/b 表示 为 二 进 制 。) 
请 给 出 构造 满足 下 列 条 件 的 集合 的 方法 : 集合 中 元 素 为 两 两 独立 的 ?个 事件 ， 但 不 存在 
包含 k>2 个 相互 独立 元 素 的 事件 子 集 。 
已 知事 件 C 发 生 ， 如 果 
Pr{A (} B| C} = Pr{A | C} - Pr{B| C} 

则 称 两 个 事件 A 和 B 是 条 件 独立 的 。 请 给 一 个 简单 而 非 平 凡 的 例子 ， 其 中 两 个 事件 不 独 
立 ， 但 是 在 已 知 第 三 个 事件 发 生 时 条 件 独 立 。 
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你 参加 一 个 游戏 。 该 游戏 将 奖品 藏 在 了 三 个 幕布 之 后 。 如 果 你 选 对 了 幕布 ， 则 可 以 赢得 


奖品 。 在 你 选择 了 一 个 幕布 后 ， 但 是 幕布 还 未 揭 开 之 前 ， 主 持 人 会 揭 开 另 两 个 幕布 中 一 
个 空 幕布 (主持 人 知道 哪个 幕布 后 是 空 的 )， 之 后 会 询问 你 要 不 要 改变 你 的 选择 。 请 问 如 
果 你 改变 了 选择 ， 那 么 你 赢得 奖品 的 几率 将 如 何 改变 ? (这 一 问题 是 著名 的 Monty hall 问 
题 ， 是 以 一 个 主持 人 经 常 让 参赛 者 陷入 这 种 困境 的 节目 命名 的 。) 


*C.2-10 一 个 监狱 看 守 从 三 个 罪犯 中 随机 挑选 一 个 释放 ， 并 处 死 男 两 人 。 这 个 看 守 知 道 每 个 人 会 


被 释放 还 是 处 死 ， 但 是 被 禁止 透漏 给 因 犯 其 自身 的 处 置信 息 。 称 罪犯 为 X、Y RZ. 
犯 X 以 他 已 经 知道 了 Y 和 Z 中 至 少 有 一 人 会 死 为 理由 ， 私 下 问 警卫 两 人 中 哪个 会 被 处 
死 。 和 警卫 不 能 透露 给 和 关于 他 自身 的 信息 ， 但 他 告诉 了 X, 了 将 被 处 死 。X 感到 很 开 
心 ， 因 为 他 认为 他 或 者 Z 将 被 释放 ， 这 意味 着 他 被 释放 的 概率 现在 是 1/2 了 。 请 问 他 的 
想法 正确 吗 ， 或 者 他 被 释放 的 概率 仍 为 1/3? 请 解释 。 
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C.3 离散 随机 变量 
(离散 ) 随 机 变量 X 是 从 一 个 有 限 或 可 数 无 限 样本 空间 SS 到 实数 的 函数 。 它 将 每 个 试验 可 能 
的 结果 与 一 个 实数 关联 起 来 ， 这 使 得 我 们 可 以 分 析 结 果 数 集 上 的 概率 分 布 。 随 机 变量 也 可 以 定 
义 在 不 可 数 无 限 样本 空间 上 ， 但 是 这 人 么 做 会 引起 一 些 技 术 问题 ， 这 对 我 们 的 目标 是 不 必要 的 。 因 
此 ， 我 们 将 假定 随机 变量 是 离散 的 。 
对 于 随机 变量 X 和 实数 z， 定 义 事件 X= HES: XOS); 因此 
Pr(X =z} = a Pr{s} 


函数 
f(a) = Pr{X = 2} 


是 随机 变量 X 的 概率 密度 函数 。 由 概率 公理 可 知 ，Pr(X=z} 志 0 且 >) Pr X=2}=1. 


举例 来 说 ， 考 虑 掷 一 对 普通 的 6 面体 货 子 。 样 本 空间 中 有 36 个 可 能 的 基本 事件 。 假 定 概率 
分 布 是 均匀 的 ， 从 而 每 个 基本 事件 ;SE S 均 为 等 可 能 的 : Pr{s} 二 1/36。 定 义 随机 变量 X AM TR 
子 值 中 最 大 的 那个 。 我 们 有 Pr(X=3)=5/36, HAX X H 3 指派 给 36 个 可 能 基本 事件 中 的 5 个 ， 
BUC, 3), (2, 3). (3, 3). G, DHG, 1). 

RATA HE PEARS Le PE AF LE. A X AY 是 随机 变量 ， 则 函数 

f(zsy) = PiX =z H Y= y} 
是 X 与 了 的 联合 概率 密度 函数 。 对 于 定 值 >， 
Pr{Y = y} = X PríX = x HY = y} 


类 似 地 ， 对 于 定 值 ， 
Pix=2) = J) Piss 有 Y= 


使 用 条 件 概率 的 定义 (公式 (C. 14))， 有 


Pr(X = z | Y = y} = PX = z H Y =y) 


Pr{Y = y} 
定义 两 个 随机 变量 和 与 了 是 独立 的 ， 如 果 对 于 所 有 的 和 y， 事 件 X= 和 YY 一 > 是 独立 的 ， 或 
者 等 价 地 ， 如 果 对 于 所 有 的 工 和 >y， 有 Pri X=2 HY=y}=Pr{X=z}Pr{Y=y}. 

给 定 一 个 定义 在 相同 样本 空间 上 的 随机 变量 集合 ， 我 们 可 以 定义 新 的 随机 变量 ， 例 如 乘积 、 
和 或 者 其 他 原始 变量 的 函数 。 

随机 变量 的 期 望 值 

对 于 一 个 随机 变量 来 说 ， 关 于 其 分 布 的 最 简单 、 最 有 效 的 概括 是 它 具 有 取 值 的 “平均 ”。 高 散 
随机 变量 X 的 期 望 值 (期 望 或 均值 ) 是 

ELX] = Six + Pr{(X = 2} (C. 20) 


当 该 和 是 有 限 的 或 绝对 收敛 时 ， 它 是 有 定义 的 。 有 时 ，X 的 期 望 可 以 表示 为 yx， 或 者 当 随 机 变 
量 在 上 下 文中 显然 时 ， 可 以 简写 为 yo 

考虑 扔 两 枚 均匀 硬币 的 游戏 。 游 戏 者 对 于 每 枚 正面 朝 上 的 硬币 可 以 赢 3 美元， 对 于 每 枚 反面 
朝 上 的 硬币 要 输 掉 2 美元 。 表 示 收 入 的 随机 变量 X 的 期 望 是 

ELX]= 6 + Pr{2H} +1 + Pr{1H,1T} —4 + Pr{2T} 
= 6(1/4) +1€1/2) — 41/4) = 1 
两 个 随机 变量 的 和 的 期 望 与 它们 的 期 望 之 和 相等 ， 即 
ELX +Y] = ELX] + ELY] CC. 21) 

其 中 ，ELXjJ 与 ELZ 需 有 定义 。 我 们 称 这 个 性 质 为 期 望 的 线性 性 质 ， 并 且 即 使 入 与 了 不 独立 ， 
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该 性 质 也 成 立 。 这 一 性 质 可 以 扩展 到 有 限 的 以 及 绝对 收敛 的 期 望 和 上 。 期 望 的 线性 性 质 是 允许 
我 们 使 用 指标 随机 变量 进行 概率 分 析 的 关键 性 质 ( 见 5. 2 节 )。 
如 果 六 是 随机 变量 ,任何 函数 g(z) 定 义 一 个 新 的 随机 变量 g(X)。 如 果 8(z) 的 期 望 有 定 
X, W 
El g(X)] = >7g(z)。Pr(X = x} 


令 g(Cz) 一 az， 则 对 于 任意 常数 a, 


ELaX] = aE[ X] (C 22) 
所 以 ， 期 望 是 线性 的 : 对 于 任意 两 个 随机 变量 X ALY 以 及 任意 常数 a。， 有 
ELaX +Y] = aE[X] + ELY] (C. 23) 


当 两 个 随机 变量 X 和 了 独立 且 期 望 有 定义 时 ， 
ELXY]= 3 Dry “Pri X¥=zHY=y}= > > zy s Pr{X = x} Pr{Y = y} 


= ( Ðz + Pr{X =2}) (Sly + PHY = y} ) = ELXIELY] 
通常 ， 当 nn 个 随机 变量 Xi， X,，… Xn 互相 独立 时 ， 


ELX: X:+ X, | = ELX, JELX, ]---ELX, ] (G. 24) 
当 随 机 变量 X 可 在 自然 数 集 N 王 (0，1，2，…} 中 取 值 时 ， 有 一 个 很 好 的 期 望 计 算 公 式 : 
ELX]= a © Pr{X =i} = Six > 7) = Pref X 2+ 1)}) 
= ` P(X >i) (C. 25) 


因为 在 公式 推导 过 程 中 ， 每 一 项 Pr{X 宇 让 被 加 了 i 次 ， 又 被 减 了 i 一 1 次 (除了 Pr( X20), ER 
加 0 次 ， 从 未 被 减 过 ) 。 
当 我 们 将 一 个 凸 函 数 f(z) 应 用 到 随机 变量 X 上 时 ， 假 定期 望 存在 且 有 限 ， 由 詹 森 不 等 式 得 
ELFO] > JELXD (C. 26) 
(如 果 对 于 所 有 x, y 和 所 有 OKA, E fActd—-awW<Aaf~M+d—-A FO), WRK f(z) 是 
凸 函数 。) 
方差 和 标准 差 
随机 变量 的 期 望 并 不 会 反映 出 变量 值 的 分 布 与 发 散 情 况 。 例 如 ， 若 有 随机 变量 X 和 Y， 其 
中 Pr{ X=1/4}=Pr{ X=3/4} =1/2 H. Pr(Y=0}=Pr{Y=1})=1/2, IRA ELX]5 ELY]HWW 1/2, 
但 是 Y 的 实际 取 值 离 均值 比 X 的 实际 取 值 离 均值 远 得 多 。 
方差 的 概念 在 数学 上 表达 了 一 个 随机 变量 可 能 离 均值 有 多 远 。 均 值 为 ELX] 的 随机 变量 X 的 
方差 为 
Var[ X]= E[(X— E[X])?] = ELX? — 2XE[X] + ECX]] 
= ELX’:]— 2ELXELX]] 二 + E[X] 
= E[X:]— 2E[X]+ E[X] = EL[X’:]— E:[X] (C. 27) 
注意 ， 因 为 ELX ERMA LER, EXER, MWA ELE CXIJ=E CX), ER 
ELXELX]J=E’ LX] MSC. 22), Hp ao 一 ELX]。 重 写 等 式 (C. 27) 得 到 随机 变量 平方 的 期 望 
的 一 个 表达 式 : 
ELX?] = Var[ X] + ELX] (C. 28) 
随机 变量 X 的 方差 与 aX 的 方差 的 关系 为 ( 见 练习 C. 3-10): 
Varl aX | = a’ War| X | 
当 X 和 Y 是 独立 随机 变量 时 ， 
VarLX 十 Y] = Var[ X] + Var[ Y] 
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通常 ， 如 果 个 随机 变量 XX， Xz,» 
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ts Xn 是 两 两 独立 的 ， 那 么 


var[ 2X,]= x VarL X;] (C. 29) 


随机 变量 X 的 标准 差 是 X 的 方差 的 非 负 平方 根 。 随 机 变量 X 的 标准 差 表 示 为 cx， 或 者 当 随 
机 变量 XX 在 上 下 文中 很 明确 时 ,简写 为 a。 利 用 这 一 符号 ，X 的 方差 表示 为 c 。 


练习 
C.3-1 


C.3-2 


C.3-3 


C.3-4 


*G3-5 
*C. 3-6 


*C. 3-7 


我 们 投掷 两 个 普通 的 6 ARS. ARPS BRS? 两 个 山子 值 中 的 最 大 
值 的 期 望 是 多 少 ? 
数组 AL1. .nj 包含 nn 个 不 同 数字 ， 且 顺序 随机 ， 每 种 排列 均 为 等 可 能 的 。 该 数组 中 最 大 
元 素 下 标的 期 望 是 多 少 ? 最 小 元 素 下 标 值 期 望 是 多 少 ? 
在 一 场 狂 欢 节 游 戏 中 ， 将 3 个 山子 放 在 一 个 罩 子 中 。 一 位 游戏 者 可 以 在 1 到 6 中 的 任意 数字 
上 赌 1 美元。 主持 人 摇 罩 子 ， 并 按 如 下 方案 确定 游戏 者 所 得 回报 。 如 果 游 戏 者 赌 的 数字 没有 
出 现在 任何 一 个 骨 子 上 ， 则 他 输 掉 1 美元 。 如 果 他 赌 的 数字 恰好 出 现在 下 个 山 子 上 ， 
& 王 1，2，3, 则 他 可 以 保留 他 的 1 美元 ， 并 赢得 & 美 元 。 请 计算 玩 这 个 游戏 一 次 的 期 望 收 入 。 
证 明 : 车 XX 与 了 是 非 负 随机 变量 ， 则 
E[max(X,Y)] < E[X]+ ELY] 

令 X 与 了 是 独立 随机 变量 。 证 明 对 于 任何 函数 f 与 g，f(X) 和 g( 了 是 独立 的 。 
令 X 是 非 负 随机 变量 ， 并 假定 ELX] 是 有 定义 的 。 证 明 马 尔 可 夫 不 等 式 : 对 于 所 有 CHO, 

Pr{X > t} <E[X]/t (C. 30) 
S SAMA, XMX' 是 随机 变量 ， 满 足 对 于 所 有 SES, A X(s) 宇 X'(s)。 证 明 : 对 
于 任意 实 常 数 t, 

Pr{ X >t} > Pr{X’ > 2} 


C. 3-8 
C. 3-9 


一 个 随机 变量 的 平方 的 期 望 与 其 期 望 的 平方 哪个 大 ? 
证 明 : 对 于 任意 取 值 仅 为 0 或 1 的 随机 变量 XX， 有 VarLX] 二 ELXJ]E[1 一 Xj。 


C.3-10 根据 方差 定义 (公式 (C. 27) GEKA: ~VarlaX ]=a? Var X]. 


C4 几何 分 布 与 二 项 分 布 


我 们 可 以 将 掷 硬币 看 做 伯 努 利 试验 的 一 个 例子 。 伯 努 利 试验 有 两 种 可 能 的 结果 : 成 功 ， 其 概 


率 为 p; 失败 ， 其 概率 为 9 二 1 一 p。 当 讨论 多 
个 伯 努 利 试验 时 ， 约 定 这 些 试验 是 相互 独立 
的 ， 且 除非 特殊 说 明 ， 每 个 试验 具有 相同 的 成 
功 概 率 p。 从 伯 努 利 试 验 得 出 两 个 重要 的 分 
布 : 几何 分 布 与 二 项 分 布 。 

几何 分 布 

假定 我 们 有 一 系列 伯 努 利 试验 ， 其 中 每 一 
个 的 成 功 概 率 为 p， 失 败 概 率 为 g 二 1 一 p。 在 
获得 一 次 成 功 前 要 进行 多 少 次 试验 ? 定义 随机 
变量 X 为 获得 一 次 成 功 所 需 的 试验 次 数 。X 
的 取 值 范围 为 {1，2，…)}， 且 对 于 k 宇 1， 因 为 
一 次 成 功 前 有 一 1 次 失败 ， 所 以 有 

Pr{(X=&k}= gp (C. 31) 

一 个 满足 等 式 (C. 31) 的 概率 分 布 称 为 几何 分 
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图 C1 成 功 概率 为 p 二 1/3， 失 败 概率 为 g 二 1 一 p 
的 几何 分 布 。 分 布 的 期 望 是 1/2 一 3 
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布 。 图 C-1 描绘 了 这 样 的 一 个 分 布 。 
假定 <1， 利 用 恒等式 (A. 8) 可 以 计算 几何 分 布 的 期 望 : 


ee igo ie See = a a 2 (C. 32) 
H= Sage eS eg r A 


因此 ， 获 得 一 次 成 功 前 平均 要 经 历 1/p 次 试验 。 这 是 一 个 很 直观 的 结论 。 方 差 也 可 以 用 类 似 方 
法 计算 , 但 是 需要 利用 练习 A. 1-3, 方差 是 
Varl X] = g/ f (C. 33) 

ZEAL, ERMA BERET 7 或 11。36 个 可 能 的 结果 中 ，6 个 可 以 得 
到 7，2 个 可 以 得 到 11。 因 此 ， 成 功 的 概率 为 p=8/36=2/9, FF ARN OAL 1/p=9/2=4.5 
次 才能 获得 一 个 7 或 11。 

二 项 分 布 

令 一 伯 努 利 试验 的 成 功 概 率 为 p， 失 败 概率 为 g 二 1 一 p， 则 n 次 伯 努 利 试验 中 会 有 多 少 次 成 功 ? 
定义 随机 变量 X 为 了 次 试验 中 成 功 的 次 数 ， 则 X 的 取 值 范围 为 {0，1，…，n}。 对 于 二 0，1,，…， m 


因为 存在 (% ) 种 方法 来 选 出 次 试验 中 哪 上 次 成 功 ， 而 每 个 发 生 的 概率 是 pt g"“， 所 以 


Rix=2) = (e qh (C. 34) 


满足 等 式 (C. 34) 的 概率 分 布 称 为 二 项 分 布 。 为 ”5 15,1/3) 


chins p) = (7) Ap (C35) 020 


图 C2 描绘 了 一 个 二 项 分 布 。 名 称 “ 二 项 ”来 源 0.15 
于 等 式 (C. 34) 右 侧 是 (p 十 q)" 的 二 项 展开 式 中 





的 第 k 项 。 因 为 p 十 q=1， ai 
Tihim = 1 ican 
k=0 
ee 
满足 了 概率 公理 2 的 要 求 。 012345678 91D PBA 


CC. 8) FACC. 36) 可 以 ; 一 个 
TANA- DR Teme ee. Cm bC 
ERATE. SX 是 服从 一 15，1/3)。 其 中 ， 伯 努 利 试 验 的 成 功 概 
MIMO; n, DREIER, HS g=1—p. 率 为 p= 二 1/3。 分 布 的 期 望 是 np 二 5 
根据 期 望 的 定义 ， 有 


ELX]= 5S PAX =H) 


= k + b(k3n, p) 


k=0 


ja (根据 等 式 (C. 8)) 


k=0 k 


n—1 
= np >) b(kin— 1, p) 
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=np (根据 等 式 (C. 36)) (C. 37) 

通过 使 用 期 望 的 线性 性 质 ， 我 们 可 以 获得 相同 的 结论 ， 同 时 大 幅 减 少 了 算术 运算 量 。 令 X 

是 描述 第 i 次 试验 中 成 功 次 数 的 随机 变量 ， 则 ELX;|=p-1l+q:0=p, FART AMAL 
质 (等 式 (C. 21)), n 次 试验 中 成 功 次 数 的 期 望 为 


E[X]= E| Sz] = PENI = Ye =p (C. 38) 


我 们 也 可 以 用 相同 的 方法 来 计算 分 布 的 方差 。 利 用 等 式 (C. 27)， 有 Var[LX;] 二 ELX?] 一 
EX] AA X: 只 能 取 值 0 和 1， 所 以 有 X SX, AmA ELX: ]SELX:]=p. HIE, 





Var X; |= pmp = AA — p) = pg (C. 39) 
我 们 可 以 利用 nn 次 试验 之 间 的 独立 性 来 计算 X 的 方差 。 因 此 ， 根 据 等 式 (C. 29), 
Var XJ= Var| yal = >) Var[LXi] = > Pq =npq (C. 40) 


如 图 C-2 所 示 ， 二 项 分 布 b(k; n，z) 随 着 的 增长 而 增长 ， 直 到 达到 均值 wp; 之 后 分 布 





开始 下 降 。 通 过 观察 相 邻 项 之 间 的 比值 ， 我 们 可 以 证 明 二 项 分 布 总 是 符合 此 规律 : 
(”) bre 
Ming Pw TB 
b(k—13n,p) us jee k\(n—k) 'In!q (C41) 


i Ce Rat Ip 14 (n+ Dp—k 
kq kq 


MintD p—k 是 正 数 时 ,该 比值 严格 大 于 1。 因此 ， 对 于 二 (xn 十 1)p TRL. bk; n, pD>blk— l; 
72， 力 ) (分 布 递增 ); 对 于 (x 十 Dp WL, bk; ns P<bR—-1; n，p) (分 布 递减 )。 如 果 k= 二 (n 十 1D)p 
是 一 个 整数 ， 则 2; n, p)=bR—-1; n，p)， 因 此 分 布 在 & 二 (rn 十 Dp 处 和 一 1 二 (xn 十 1)p 一 1 二 np 一 q 处 
均 取得 最 大 值 ， 否 则 ， 分 布 在 唯一 整数 处 取 最 大 值 ， 其 中 ,np 一 gk 二 (n 十 1)p。 

下 面 的 引 理 给 出 了 二 项 分 布 的 一 个 上 界 。 

引 理 C.1 450, 0<p<l, q=l—p 且 0 二 kn， 则 

blk;n,p) < (2) (24) 
证 明 利用 等 式 (C. 6)， 有 


Wn p= (je >< ayy grt aa = 





练习 
C. 4-1 对 几何 分 布 验证 概率 公理 2。 
C.4-2 6 SRP EYES DARA EBS 3 个 正面 和 3 个 反面 的 结果 ? 
C. 4-3 证 明 : b(k; n, p)=b(n—k; n, q), EP q=1—p. 
C.4-4 证 明 : HIH blk; n，p) 的 最 大 值 近似 等 于 1/ /2anpq, HP g=1—p. 
*C.4-5 WEH: n 次 伯 努 利 试验 (成 功 概率 为 p= 二 1/n) 一 次 也 未 成 功 的 概率 近似 等 于 1/e。 证 明 : 只 
有 一 次 成 功 的 概率 也 近似 为 1/e。 
*C.4-6 Rosencrantz 教授 与 Guildenstern 教授 各 扔 一 枚 均匀 硬币 nv. VERN: 他 们 得 到 正面 朝 上 


次 数 相同 的 概率 为 (“”) /4。( 提 示 ， 对 于 Rosencrantz 教授 ， 称 正面 为 成 功 ， 对 于 
Guildenstern 教授 ， 称 背面 为 成 功 。) 并 用 你 的 结论 来 验证 恒等式 


a) = 
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*C. 4-7 WEH: 对 于 O<k<n, 
bksns 1/2) = oe 
其 中 H) ERARAS C. 7)). 
*C. 4-8 ”考虑 nn 次 伯 努 利 试验 ， 其 中 i 二 1，2,…, n, enn & X 为 表示 
总 成 功 次 数 的 随机 变量 。 令 对 所 有 i=1, 2, «+, nA ppi WH: 对 于 Ikn, 


Pr{X <k} > Soi pn, p) 


*C. 4-9 4 XARI n 次 伯 努 利 试 验 构成 的 集合 A 中 总 成 功 次 数 的 随机 变量 ， 其 中 第 i 次 试验 成 
功 的 概率 为 p;:， 并 令 X' 为 表示 另 一 个 由 个 伯 努 利 试验 构成 的 集合 A' 中 总 成 功 次 数 的 随 
机 变量 ， 其 中 第 i 次 试验 的 成 功 概率 p'; 宇 p;。 证 明 : 对 于 0k<n， 
Pr{ X >k} >Pr{ X>k} 
(提示 : 说 明 如 何 通过 包含 A 中 试验 的 实验 来 获得 A “中 的 伯 努 利 试验 ， 并 使 用 练习 C. 3-7 
中 的 结论 。) 


“C.5 二 项 分 布 的 尾部 

对 于 成 功 概率 为 p 的 伯 努 利 试验 ， 相 比 于 恰好 成 功 k 次 的 概率 ,我们 通常 对 次 伯 努 利 试验 
中 至 少 或 至 多 有 次 成 功 的 概率 更 感 兴 趣 。 本 节 中 ， 我们 研究 二 项 分 布 的 尾部 : DA blk; n, 
力 ) 中 两 个 远离 均值 np 的 区 域 。 本 节 将 证 明 尾部 上 的 几 个 重要 界 ( 尾 部 中 所 有 项 的 和 )。 

首先 ， 我 们 给 出 分 布 5(&; n，p) 的 一 个 右 尾部 的 界 。 通 过 对 换 成 功 与 失败 的 概率 ， 我 们 可 
以 确定 左 尾部 上 的 界 。 

定理 C.2 考虑 nn 次 伯 努 利 试 验 的 序列 ， 其 中 成 功 概率 为 p。 令 尺 是 表示 成 功 次 数 的 随机 变 
量 ， 则 对 于 0<k<n， 至 少 成 功 上 次 的 概率 为 


Pr{X > k} = Doin p) z (e 


证 明 WTF SEL By y nys 令 事件 As 表示 第 ; 次 试验 成 功 ， te S 显然 ， 若 |S| =k, 
则 Pr{Ass=p. RNA 
Pr{(X Sk} = Pr{ 存 在 SC {1;23 nn} t |S| =k MAS} 


== Prf 图 As} 
St2 | S| = 
< > Pr{As} (根据 等 式 (C. 19)) 
Sc{1,2. 1 | S| =e 


Pa AS HEY 人 又 给 出 了 一 项 分 布 左 尾部 的 定理 。 通常 ， 我 们 将 一 个 尾部 的 结论 应 用 到 另 一 
尾部 的 证 明 工作 留 给 读者 来 完成 。 

推论 C.3 考虑 n 次 伯 努 利 试验 的 序列 ， 其 中 成 功 概率 为 p。 若 头 是 表示 成 功 次 数 的 随机 变 
量 ， 则 对 0kRn， 至 多 成 功 上 次 的 概率 为 


Pr(X<k)= Ebin p) San E | ae z 


下 面 考虑 二 项 分 布 的 左 尾部 的 界 。 其 推论 证 明 ， 在 远离 均值 时 ， 左 尾部 按 指数 级 缩减 。 
定理 C.4 考虑 nn 次 伯 努 利 试验 序列 ， 其 中 成 功 概率 为 p， 失 败 概率 为 gq 一 1 一 p。 令 义 为 表 
示 总 成 功 数 的 随机 变量 ， 则 对 于 0 二 knp， 少 于 次 成 功 的 概率 为 
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k—1 
Po X<k}— S Gp < pt imp) 
i=0 


证 明 这 里 用 A 2 节 中 的 方法 一 利用 几何 级 数 确定 级 数 inp) 的 界 。 对 于 i=l, 2 s 


k， 由 等 式 (C 4D, 


bG— lin p) ig < ig < kg 
bli;n,p) (n—itlp ~(m—ip ~(n—k)p 





如 果 令 


aS on oy - = = = <i 
则 对 于 O<i<k, A 
bli— l;n, p) < xb(i3n, p) 
WAAR GRIER ki 次 ， 得 到 
blizn, p) < x ‘blk;n,p) 
其 中 O<i<k, Alt 
Sie ie Sokin p) <blkin p) 2 
= Z blkin, p) = ph hin DD a 
推论 C5 考虑 nn 次 伯 努 利 试验 ， 其 成 功 概率 为 p， 失 败 概率 为 gq 二 1 一 p， 则 对 于 0<k<np/2, 
少 于 尺 次 成 功 的 概率 小 于 少 于 十 1 次 成 功 的 概率 的 一 半 。 
证 明 因为 二 np/2 与 <1， 所 以 有 


kg (np/2)qg _ (np/2)g 
np wh => REE 


令 和 是 表示 成 功 次 数 的 随机 变量 ， 由 定理 (C. 4) 和 不 等 式 (C. 42) 可 得 少 于 次 成 功 的 概率 为 


k—1 
Pr{X < k} = >) blin, p) < blk;n, p) 
i=0 





又 因为 2)6Gi;n,p) < blkin, p) HVA 


k—l 大 一 1 
b L$ 9 L 9 
Prí X< k} lbi Zblisn,p) 


Prix =< k+} 





k 1 < 1/2 E 
> bGi;n, p) >) blin, p) +blk;n, p) 
求 右 尾部 界 的 方法 与 此 类 似 。 练 习 C. 5-2 要 求 读者 给 出 其 证 明 。 

推论 C.6 考虑 nn 次 伯 努 利 试验 ， 其 中 成 功 概率 为 p。 令 义 为 表示 成 功 次 数 的 随机 变量 ， 则 
对 于 np 二 kn， 获 得 多 于 次 成 功 的 概率 为 


PX SH= Saag) < FE chins) m 

i=kt1 
推论 C7 考虑 对 次 伯 努 利 试验 ， 其 中 成 功 概率 为 p， 失 败 概 率 为 g 二 1 一 p， 则 对 于 (np 十 
n)/2 二 hk 二 n， 多 于 率 次 成 功 的 概率 要 小 于 多 于 一 1 次 成 功 的 概率 的 一 半 。 a 


下 面 的 定理 考虑 次 伯 努 利 试验 ， 其 中 对 于 这 1，2，…，m， 有 成 功 概率 户 。 如 后 续 推论 所 
示 ， 可 以 利用 这 一 定理 ， 通 过 为 每 个 试验 设 定 户 一 尹 来 给 出 二 项 分 布 右 尾部 的 一 个 界 。 

定理 C.8 考虑 次 伯 努 利 试验 ,其 中 在 第 ii 一 1，2，…， 门 次 试验 中 ， 成 功 概率 为 pi 
失败 概率 为 % 一 1 一 户 。 令 和 为 表示 成 功 总 次 数 的 随机 变量 ， 并 令 p 一 ELX]。 那 么 ， 对 于 r> 
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Pr(X—p>r} < (Ee) 


证 明 ”因为 对 于 任意 a>0， 函 数 ee 关于 zz 严格 递增 ， 


PriX— pEr) = Pre Sev} (C. 43) 
Et, 将 稍 后 被 确定 。 利 用 马尔 可 夫 不 等 式 (C. 30), WG 
人 (C. 44) 


证 明 的 主体 包括 确定 Ele > JAE CO HH a 首先 , 求 ELE? J 
的 界 。 利 用 指标 随机 变量 的 技术 ( 见 5.2 节 )， 令 区 二 (第 i 次 伯 努 利 试验 成 功 }， 其 中 i=1,2，…， n 
即 随机 变量 X, 满足 若 第 i 次 伯 努 利 试验 成 功 ， 则 X, 二 1; 车 失败 ， 则 X, 二 0。 因 此 ， 

x= 5 X: 
根据 期 望 的 线性 性 质 ， ô 
p= EX] =E[ SSX, J= 3) EX] = Dp, 
这 意味 着 ee es is 
X-—p= Fit) 
REL], HR Xy BA zy 
Flee J= Eee | ae Be | ee Tete] 


等 式 由 公式 (C. 24) 得 来 ， 这 是 因为 随机 变量 X; 之 间 相 互 独立 意味 着 随机 变量 e% 加之 间 相 互 独 
WRAY C. 3-5) 。 根 据 期 望 的 定义 ， 

ELec ]= er p p Hg, = pe Hq < pe tl < exp(p,e") (C. 45) 
其 中 exp(z) 表 示 指 数 函 数 : exp(z) 王 年 。( 不 等 式 (C. 45) HARSH a0, gl, <r, H 


ce“ <1， 同 时 最 后 一 行 来 自 不 等 式 (3-12))。 又 因为 一 Dp, ML 


Eble» ]= [eea] = JI expcaie) = exp( ee) = exp(ne") (C. 46) 
因此 ， 根 据 等 式 (C. 43) 和 不 等 式 (C. 4D RC. 46), A 
Pr{X—p>r} < exp(ye" 一 ar) (C. 47) 
选择 a= In(r/p) WAY C. 5-7) ， 得 到 


In(r/p) _ — 二 ar ey 
Pr{X — p> r}< exp" —rln(r/p)) = exp(r rin(r/p)) = Clay = t=} E 


当 将 定理 C. 8 应 用 到 成 功 概率 相同 的 多 个 伯 努 利 试验 中 时 ， 可 以 得 出 如 下 确定 二 项 分 布 右 
尾部 界 的 推论 。 

推论 C.9 考虑 nn 次 伯 努 利 试 验 的 序列 ， 其 中 每 次 试验 成 功 概率 为 p， 失 败 概 率 为 g 二 1 一 上 p， 
则 对 rnp, 


Pr(X—mp>r}= J) bnp) < (BE) 
k= np 十 让 y 


证 明 ”根据 等 式 (C. 37), A p= ELX]=np. E 
练习 
*C. S-1 抛掷 一 枚 均匀 硬币 次 都 为 反面 朝 上 的 概率 与 抛掷 一 枚 均匀 硬币 4n 次 得 到 少 于 个 正面 
的 概率 哪个 小 ? 


*C. 5-2 证 明 推 论 C. 6 和 推论 C. 7。 
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*C. 5-3 证明: 对 于 所 有 满足 0<k<na/l(a +1) H a> Mlk, A 


"je E eae 
D (he < QT na pappi maD) 


xC. 5-4 证 明 : #0<k<np, FEP 0<p<1 Hg=1—p, M 
Sanc E T 
xC. 5-5 ”利用 定理 C.8 的 证 明 : IHF r >n- p 
Pr(u—X > r) < (=Y 
类 似 地 ， 利 用 推论 C. 9 证 明 : 对 于 r >n np, 
Prinp -—-XSrv< (222) 


*C.5-6 ”考虑 nn 次 伯 努 利 试验 的 序列 ， 其 中 第 i 次 成 功 的 概率 为 p;:， 失 败 的 概率 为 g; 二 1 一 p;，i 二 1， 
2，…，7。 令 X 为 表示 成 功 总 数 的 随机 变量 ， 令 yy 一 ELXjJ。 证明: 对 于 之 0， 有 
Pr{íX—u>r < en le 
(提示 : 证 明 pe +qe"%<e?, Rae C. 8 的 证 明 思 路 ， 并 利用 该 不 等 式 替代 
不 等 式 (C. 45) 。) 
*C. 5-7 WEH: 选择 a= In《r/p) 可 以 使 不 等 式 (C. 47) 右 侧 取 最 小 值 。 


思考 题 
Cl CREST) 在 本 题 中 ,我 们 研究 了 在 几 种 假设 条 件 下 ， 将 nn 个 球 放 到 6 个 箱子 的 方法 数 。 
a. 假定 个 球 是 不 同 的 且 不 考虑 它们 在 盒子 中 的 顺序 。 证明: AO 种 方法 将 球 放 入 盒 
i. 
b. 假定 ”个 球 是 不 同 的 且 它们 在 盒子 中 有 序 。 证 明 : 恰 有 (5 十 n 一 1)1 /(5b 一 1)1 种 方法 将 球 
放 入 盒子 中 。( 提 示 : 考虑 将 n 个 不同 的 球 和 6 一 1 根 相 同 的 棍子 排列 成 一 排 的 方法 数 。) 
c. 假定 个 球 是 相同 的 ， 从 而 无 需 考虑 其 在 盒子 中 的 顺序 。 证 明 : 将 球 放 人 盒子 的 方法 数 
EG). GAR: 若 球 相同 ， 则 (b) 中 的 排列 有 和 多少 是 重复 的 ?) 
d 假定 球 是 相同 的 ， 且 每 个 盒子 最 多 只 能 放 一 个 球 ， 从 而 有 nb。 证 明 : 将 球 放 人 盒子 中 
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的 方法 数 是 (4) 。 
e 假定 球 是 相同 的 ， 并 且 盒子 不 能 为 空 。 假 定 a 宇 b, 证 明 : 将 球 放 入 盒子 的 方法 数 
T5 n—1 
Bak 
附录 注 记 


B. Pascal 和 P. de Fermat 在 1654 年 的 一 封 著名 通信 中 ， 第 一 次 讨论 了 解决 概率 问题 的 一 般 方 
法 。 这 一 内 容 也 出 现在 1657 Æ C. Huygens 的 书 中 。 严 格 的 概率 理论 始 自 J. Bernoulli 在 1713 年 和 
A. De Moivre 在 1730 年 的 工作 。P. -S. Laplace, S -D. Poisson 与 C. F. Gauss 更 深入 发 展 了 这 门 理论 。 

P. L. Chebyshev 和 A. A. Markov 首次 研究 了 随机 变量 的 和 。A. N. Kolmogorov 在 1933 年 完 
成 了 概率 论 公 理化 工作 。ChernoffL66] 和 Hoeffding[173] 提 出 了 分 布 尾部 的 界 。P. Erdés 在 随机 
组 合 结构 方面 做 出 了 开创 性 的 工作 。 

KnuthL209j 与 LiuL237] 是 基础 组 合 与 计数 理论 很 好 的 参考 。 权 威 的 教科 书 ， 如 Billingsley 

[46], Chungl67], Drake[95], Feller[107]# Rozanov[L300] 为 概率 论 提 供 了 很 全 面 的 介绍 。 


| 附录 D 


Introduction to Algorithms, Third Edition 


E É 


矩阵 来 源 于 众多 的 实际 应 用 ， 其 中 包括 (但 不 仅 限于 ) 科 学 计算 。 如 果 你 曾经 学 习 过 矩阵 相关 
的 知识 ,那么 会 对 本 附录 中 许多 内 容 感 到 熟悉 ， 但 部 分 材料 对 你 而 言 可 能 还 是 陌生 的 。D. 1 节 介 
绍 矩 阵 的 基本 定义 和 基本 操作 。D. 2 节 介 绍 和 矩阵 的 几 个 基本 性 质 。 


D. 1 和 矩阵 与 矩阵 运算 
本 节 中 ， 我 们 将 回顾 矩阵 理论 中 的 几 个 基本 概念 与 矩阵 的 几 个 基本 性 质 。 
矩阵 与 向 量 
矩阵 是 矩形 的 数组 。 例 如 ， 


Qui Ay ag L A 3 
a=(* i sali ah | (DD 
是 一 个 2X3 MB A=(a;), H i=l, 2, j=1, 2, 3. BR PRi PBs 列 的 元 素 通 常 表示 为 
as。 我 们 用 大 写字 母 来 表示 矩阵， 并 用 其 对 应 的 标 有 下 标的 小 写字 和 母 来 表示 和 矩阵 中 元 素 。 我 们 用 
R”*x" 来 表示 所 有 元 素 为 实数 的 mXn 和 矩阵 集合 。 一 般 而 言 ， 元 素来 自 集合 S 的 mXn 甜 阵 的 集合 
可 以 用 SURER. 


通过 交换 矩阵 A 的 行 和 列 获得 的 矩阵 是 矩阵 A RAT. MPD. 1) 中 的 矩阵 A， 其 
转 置 为 





AT = 





1 4 
多 看 
3 6 





向 量 是 一 维 数组 。 例 如 ， 


3 
5 
是 一 个 大 小 为 3 的 向 量 。 有 时 ， 称 长 度 为 的 向 量 为 n 向 量 。 通 常 使 用 小 写字 母 来 表示 向 量 , 同 
时 用 z; 来 表示 nn 维 向 量 z 中 第 i 个 元 素 ,， i 一 1，2，…，n。 我 们 将 向 量 的 标准 形式 定义 为 列 向 
量 ， 即 nX1 ee; 通过 转 置 可 以 获得 其 对 应 的 行 向 量 : 
= 3 5) 

单位 向 量 e; 是 除 第 i 个 元 素 为 1 外 其 他 元 素 均 为 0 的 向 量 。 通常 ， 单 位 向 量 的 大 小 可 由 上 下 文 内 
容 获知 。 

所 有 元 素 均 为 0 的 矩阵 是 一 个 零 矩 阵 。 该 矩阵 通常 表示 为 0。 这 种 表示 与 数字 0 相同 ， 所 产 
生 的 歧义 一 般 可 以 通过 上 下 文 内 容 轻易 地 消除 。 同 时 ， 在 用 0 表示 零 矩 阵 时 ， 和 矩阵 大 小 也 需要 从 
上 下 文中 推测 。 

方 阵 

正方 形 nXn 甜 阵 非常 常见 。 我 们 通常 对 方 阵 的 几 个 特例 感 兴趣 。 

1. 若 一 个 和 矩阵 中 对 于 任意 Aj, WA 必 三 0， 则 该 矩阵 是 一 个 对 角 抑 阵 。 因 为 对 角 和 矩阵 的 非 
对 角 元 素 均 为 0， 所 以 只 需要 列 出 其 对 角 线 上 的 元 素 就 可 以 表示 一 个 对 角 和 矩阵 : 


x= 
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ay 0 0 
0 Q22 0 
diag(an 9Q2239°°* sq) = : 
0 0 eee Gin 
2. 称 对 角 线 元 素 均 为 1 的 nXn Xt eH n Xn 单位 矩阵 T,: 
1 0 ove 0 
; 0 1 eee 0 
F: — diag(1,1,+:-,1) = x è . . 
0 0 eos 1 


当 了 的 下 标 没 有 标明 时 ， 和 矩阵 的 大 小 需 从 上 下 文 获知 。 单 位 矩阵 的 第 i 列 是 单位 向 量 e;。 
3. 若 一 个 抢 阵 满足 当 |; 一 j|1 时 ,与 三 0， 则 该 矩阵 是 三 对 角 矩 阵 T。 三 对 角 和 矩阵 中 的 非 
零 项 只 能 出 现在 主 对 角 线 上 ， 仅 靠 对 角 线 上 侧 G s i51, 2, +, n—-lD Me RAMA Fi 


(tities i=l, 2y “ n—1): 


tix tz O © «s 0 0 0 
ti te te 0 == 0 0 0 
0 te te ta = 0 0 0 
Pere sf | a 
O O° "OQ Q ww Hep beara 0 
0 0 Q OQ =" Harg bimi Getty 
0 © 0 Q 7a 0 fyri ton 


4. 若 一 个 矩阵 满足 对 于 任意 i>j， 有 有声 二 0， 则 它 是 上 三 角 和 矩阵 U。 其 对 角 线 以 下 的 元 素 均 
AF : 


Ui Up uy 
0 U22 Uz 
U = : 
0 0 oa wey 


BT EEA AR ERA 1, MEETER., 
5. 若 一 个 矩阵 满足 对 于 任意 i<j, A 己 二 0， 则 它 是 下 三 角 和 矩 阵 。 其 对 角 线 以 上 的 元 素 均 
AF : 


Ii 0 0 

ly l 0 
L 5 21 5 

ly Lig ae bin 


若 一 个 下 三 角 和 矩阵 对 角 线 上 元 素 均 为 1， 则 它 是 单位 下 三 角 和 矩阵 。 
6. 若 一 个 矩阵 每 行 每 列 均 有 且 仅 有 一 个 1， 其 他 位 置 均 为 0， 则 称 之 为 排列 矩阵 了 。 例 如 ， 


0 1 0 0 0 
0 0 0 1.0 
Ps | 00 0 0 
0° 0 0 0 1 
O 0 20) 0 


之 所 以 称 为 排列 矩阵 ， 是 因为 将 一 个 向 量 < 乘 以 一 个 排列 矩阵 起 到 了 排列 (重新 排列 )z 中 元 素 的 
效果 。 练 习 D. 1-4 研究 了 排列 矩阵 的 一 些 其 他 特性 。 
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7. 若 一 个 矩阵 A HE A=A™, WUE ATER. Bila, 
I 2-8 
Zz. 6 1 


3.4.5 





是 一 个 对 称 矩 阵 。 

矩阵 基本 操作 

和 矩阵 或 向 量 的 元 素 是 数 系 中 的 数 ， 例 如 ， 实 数 、 复 数 ， 或 者 整数 取 模 某 素 数 。 数 系 定 义 了 数 
上 的 加 法 与 乘法 规则 。 这 里 ， 我 们 扩展 这 些 定义 使 之 包含 矩阵 上 的 加 法 与 乘法 。 

定义 矩阵 加 法 如 下 。 如 果 A 二 (ay) 和 B=(b;) 是 mXn 和 矩阵 ， 那 么 两 者 的 矩阵 和 C= (cy) = 
A 十 B 也 是 一 个 mXn 和 矩阵 ， 其 中 ， 对 于 i 二 1，2,，…，m 与 j= 二 1, 2, 1, n, 定义 

Cy = ay +b; 
BN Fe 4 A E ER ETO ETA. SR EH Te : 
A+t0=A=+0+A 

如 果 4 是 一 个 数 ，A= (a; ) 是 一 个 矩阵 ， 那 么 MA4= Qa, ) 是 A 的 一 个 标量 倍数 。 可 以 通过 将 矩 
阵 中 每 个 元 素 分 别 乘 以 A 获得 标量 倍数 。 作 为 一 个 特例 ， 定 义 矩 阵 A= (a; ) 的 负 为 一 1* ASA, 
和 矩阵 一 A 的 第 ; 行 第 7 列 的 元 素 为 一 a; 。 因 此 ， 

A+(—A) =0=(-A)+A 

我 们 使 用 矩阵 的 负 来 定义 矩阵 减法 : A 一 B= 二 A 十 (一 B)。 

矩阵 乘法 定义 如 下 。 给 定 两 个 相 容 的 矩阵 A 和 B， 即 A 的 列 数 与 B 的 行 数 相等 。( 通 常 ， 一 
个 包含 矩阵 积 AB 的 表达 式 总 是 假定 矩阵 A 和 B 是 相 容 的 .) 如 果 A 二 (a ) 是 一 个 m Xn KEE, 
并 且 B= (6b) 是 一 个 nXp 甜 阵 ， 那 么 它们 的 积 C 二 AB 是 一 个 mXp 和 矩阵 C= 二 (cs)， 其 中 ， 对 于 
i=1, 2, =, m, j=l, 2, =, p', 


g= Dy aby (D. 2) 


4. 2 节 中 的 SQUARE-MATRIX-MULTIPLY 过 程 在 假定 矩阵 是 方 阵 ( 即 m=n= p) 的 前 提 下 ， 用 
一 种 基于 等 式 (D. 2) 的 直接 方式 实现 矩阵 乘法 。 在 将 两 个 nXn ERREP, SQUARE- 
MATRIX-MULTIPLY 进行 了 wi 次 乘法 和 xw(n 一 1) 次 加 法 ， 所 以 其 运行 时 间 为 OG). 
许多 (但 并 非 全 部 ) 典 型 的 数字 算术 性 质 亦 为 矩阵 所 有 。 单 位 矩阵 是 矩阵 乘法 的 单位 元 。 对 于 
AER mXn EEA, 
I„A = AI, = A 
将 任意 矩阵 A 乘 以 零 矩阵 总 得 到 零 矩 阵 : 
A0 = 0 
和 矩阵 乘法 满足 结合 律 : 
A(BC) = (AB)C 
Ht, EREA, BAC 是 相 容 的 。 和 矩阵 乘法 对 加 法 满足 分 配 律 : 
A(B+C) = AB+ AC 
(B+C)D = BD +CD 


对 于 n>1, nXn 的 矩阵 乘法 不 满足 交换 律 。 例 如 , #a=-[° 1], s- 


0 0 


0 0 
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0 0 

aie F 4 
在 求 矩 阵 - 向 量 乘积 或 者 向 量 -向 量 乘积 时 ， 可 以 将 向 量 看 做 一 个 等 价 的 上 X1 和 矩阵 (如 果 是 行 
向 量 ， 则 看 做 1Xn 和 矩阵)。 因 此 ,车 A 是 mXn 和 矩阵 ，z 是 nn 向量, 则 Az 是 m 向 量 。 如果 zx 和 yy 


HA nE, 
ZIy 2 zy: 
是 一 个 数值 (实际 上 是 1X1 矩阵)， 并 称 之 为 二 与 y 的 内 积 。 和 矩阵 zy’ nxn EEZ, HRCA 
ay 的 外 积 ， 其 中 zj 二 ziy;。 定 义 n 向量 z 的 ( 欧 几 里 得 ) 范 式 || z|| 为 
æl = Gab +o +a)! = Gta) 
由 此 可 知 ，z 的 范式 即 是 其 在 n 维 欧 几 里 得 空间 内 的 长 度 。 


练习 

D.1-1 GEA: 车 A 与 B 均 为 nxXn 对 称 矩 了 泗 ， 则 A 十 B 和 A 一 B 也 是 nXn 对称 矩 阵 。 

D. 1-2 证 明 : (AB)'=BTA’, 以 及 ATA 是 对 称 和 矩阵 。 

D. 1-3 证明: 两 个 下 三 角 和 矩阵 的 积 是 下 三 角 和 矩阵 。 

D. 1-4 WH: 车 PP 是 nXn FERS, Aden Xn, ER PA 是 A 行 变换 后 的 矩阵 ， 而 
矩阵 积 AP 是 和 矩阵 A 列 变换 后 的 矩阵 。 证 明 : 两 个 排列 矩阵 的 积 是 排列 矩阵 。 


D.2 和 矩阵 的 基本 性 质 
本 节 中 ， 我 们 定义 与 矩阵 相关 的 几 个 基本 性 质 : 道 ， 线 性 相关 与 无 关 ， 秩 和 行列 式 。 本 节 还 
将 给 出 正定 和 矩阵 的 定义 。 
矩阵 的 逆 、 秩 和 行列 式 
定义 nxXn 和 矩阵 A WBA REE AWE AA SISA A 的 nXn 和 矩阵 。 例 如 ， 
Li fe i 
k 1 a : e] 
许多 非 零 nXn ERRA LER, RAAB AEN, RMR. FEA AE 
零 奇 异 和 矩阵 的 例子 : 
Ee 
1 0 


若 矩 阵 有 逆 ， 则 称 之 为 可 逆 矩 阵 或 者 非 奇异 和 矩阵。 如 果 逆 矩阵 存在 ， 那 么 其 是 唯一 的 。( 见 练习 
D. 2-1。.) 若 A 和 如 是 非 奇异 的 2X7 和 矩阵 ， 则 

(BA)? = A“ B" 
DRE-SE ERMET ARRI : 

(ATF = AS 
如 果 存 在 不 全 为 零 的 相关 系数 Gy Cos "yw Car 使 得 cay Pee, teet itam 90, 则 称 向 量 zi， 
Las ty L, 是 线性 相关 的 。 行 向 量 x1 一 (1 2 3)，zs 二 (2 6 4) 和 zs 二 (4 119) 是 线性 相关 的 ， 因 为 
存在 非 全 零 ca、c 和 cs， 使 得 cz 十 cz 十 csZs 一 0， 例如 ， 22; + 3x, —2a,-0, 若 向 量 组 不 是 线 
性 相关 的 ， 则 它们 是 线性 无 关 的 。 例 如 ， 单 位 矩阵 的 列 向 量 是 线性 无 关 的 。 

JES mXn 和 矩阵 A 的 列 秩 是 A 的 最 大 线性 无 关 列 集合 的 大 小 。 类 似 地 ， 甜 阵 A 的 行 秩 是 A 

最 大 线性 无 关 行 集合 的 大 小 。 任 意 矩 阵 A 所 共有 的 一 个 基本 性 质 是 A 的 行 秩 等 于 其 列 秩 ， 所 以 
可 以 简称 为 A 的 秩 。 一 个 mXn 和 矩阵 的 秩 是 [0，min《(m，n)j] 内 的 整数 。( 零 矩阵 的 秩 为 0， 而 


附录 D 4# = 7B 


nXn 单 位 矩阵 的 秩 是 n。) 秩 的 另 一 个 等 价 但 更 有 用 的 定义 是 : 非 零 mXn 和 矩阵 A 的 秩 是 满足 如 下 
条 件 的 最 小 数值 >: FE mXr EEB MrX EEC, Eta 
A= BC 
如 果 nXn 方 阵 的 秩 是 xn， 则 它 是 满 秩 的 。 如 果 mXn 和 矩阵 的 秩 是 xn， 则 其 是 列 满 秩 。 下 面 的 定理 
给 出 了 秩 的 一 个 基本 性 质 。 
定理 D. 1 一 个 方 阵 是 满 秩 的 ， 当 且 仅 当 该 方 阵 是 非 奇 异 的 。 = 
矩阵 A 的 空 向 量 z 是 一 个 满足 Az 二 0 的 非 零 向 量 。 下 面 的 定理 (证 明 留 作 练 习 D. 2-7) KHE 
论 将 阐述 列 秩 和 奇异 性 的 概念 与 空 向 量 之 间 的 联系 。 
定理 D.2 —AME A 是 列 满 秩 的 ， 当 有 上 且 仅 当 该 矩阵 不 存在 空 向 量 。 图 
推论 D.3 一 个 方 阵 A 是 奇异 的 ， 当 且 仅 当 它 有 空 向 量 。 E 
nXn(n>1) ERE A 的 i 行 j 列子 矩阵 是 一 个 删除 A P i 行 7 列 后 得 到 的 (一 1)X(2 一 1) 矩 阵 
Argo FRA nXn 和 矩阵 A 的 子 和 矩阵 递 归 地 定义 该 矩阵 的 行列 式 : 


ay #n=1 
det(A) =< 2 , 
Pe Daydi) Aal 


项 (一 1)” detA ) 称 为 元 素 ay 的 代数 余子 式 。 
下 面 的 定理 介绍 了 行列 式 的 基本 性 质 。 这 里 省 略 了 证 明 。 
定理 D. 4( 行 列 式 性 质 ) 方 阵 A 的 行列 式 有 如 下 性 质 : 
。 wREEA FTAA, M det(A)=0. 
。 当 将 矩阵 A 的 任意 一 行 ( 或 列 ) 的 每 个 元 素 乘 以 人 后 ，A 的 行列 式 乘 以 1。 
。 如 果 将 矩阵 A 中 某 一 行 (或 列 ) 的 元 素 加 到 另 一 行 ( 或 列 ) 的 元 素 上 ， 则 A 的 行列 式 不 变 。 
。 EAKINS EAT 的 行列 式 相 等 。 
。 当 交 换 A 的 任意 两 行 (或 两 列 ) 时 ， 行 列 式 改变 正 负 号 。 
同时 ， 对 于 任意 方 阵 A 和 B， 有 det(AB)=det(A)det(B), 
定理 D.5 nXn HRA 是 奇异 的 ， 当 且 仅 当 det(A)=0, a 
EEEH 
正定 矩阵 在 许多 应 用 中 扮演 着 重要 的 角色 。 如 果 nXn EEA 满足 对 于 所 有 240, A 
Zi Az>0， 则 称 A 是 正定 的 。 例 如 ， 单 位 矩阵 是 正定 的 ， 因 为 对 于 任何 非 零 向 量 z 一 (zz … 
5 有 


slae = zz = Dr >0 
根据 如 下 定理 可 知 ， 实 际 应 用 中 遇 到 的 和 矩阵 通常 都 是 正定 的 。 
定理 D.6 对 于 任意 列 满 秩 的 矩阵 A, E ATARE. 
证 明 ”我 们 需要 证 明 对 于 任意 非 零 向 量 r H zT(AIA)z>0。 对 于 任意 向 量 z， 
ZTCAIA)z = (4z)T(C4Az)( 根 据 练 习 D.1-2) = || Az||? 
注意 ，|| Az||? 正 是 向 量 Ar 中 元 素 的 平方 和 。 因 此 ，|| Az||? 宇 0。 如 果 | Ar|?=0, Wl) Ax 中 的 每 个 
元 素 均 为 0， 即 Ar=0, HA A 是 列 满 秩 的 ， 根 据 定理 D 2，Az=0 蕴涵 x 二 0。 因 此 ，ATA 是 正定 的 。 


m 
28. 3 节 探 讨 了 其 他 几 个 正定 矩阵 的 性 质 。 


练习 


D.2-1 证 明 : MEA, BNR B 和 C 均 为 A HB, 那么 B=C, 
D.2-2 WH: 下 三 角 和 矩阵 或 上 三 角 和 矩阵 的 行列 式 与 其 对 角 线 元 素 之 积 相等 。 证 明 : 一 个 下 三 角 
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和 矩阵 的 逆 ( 如 果 存 在 ) 也 是 下 三 角 和 矩阵 。 


D.2-3 证明 : 如 果 忆 是 一 个 排列 矩阵 ， 则 PETAR, CNE P, A PT 也 是 一 个 排列 矩阵 。 
D.2-4 SAAB dinXn SH, H AB=I, 证 明 : 车 矩阵 A' 是 将 矩阵 A 第 j 行 加 到 第 ; 行 所 得 ， 


则 将 B PEJ 列 减 去 第 ; 列 所 得 的 也 为 A 的 逆 矩 阵 。 


D.2-5 令 A 是 一 个 非 奇 异 zXz 复数 矩阵 。 证 明 : 4 中 每 个 元 素 均 为 实数 ， 当 且 仅 当 A 中 每 个 


D.2-6 WEH: 车 A 是 一 个 非 奇 异 的 nXn 对 称 和 矩阵 ， 则 A “是 对 称 的 。 证 明 : A BB 是 任意 m Xn 


ERE, W m Xm KEE BAB? 也 是 对 称 的 。 


D. 2-7 证 明定 理 D.2。 也 就 是 说 , 证明: 一 个 矩阵 A 是 列 满 秩 的 ， 当 且 仪 当 Ax=0 蕴涵 z 一 0。 


(提示 : 将 一 列 在 其 他 列 上 的 线性 相关 表示 为 矩阵 -向 量 等 式 。) 


D. 2-8 WH: 对 于 任意 两 个 相 容 矩阵 A 和 B， 


rank(AB) < min(rank(A) ,rank(B)) 
其 中 ， 如 果 A 或 如 是 非 奇 异 方 阵 ， 则 等 式 成 立 。( 提 示 : 使 用 矩阵 秩 的 另 一 种 定义 。) 


思考 题 
D-1 GER RSE) AEB Los Xis °°° Ln-19 证 明 范 德 蒙 德 矩阵 的 行列 式 
1 Ta x 
1 Xi Bo o e g! 
Veti 9X] yi 
E somes one on al 
是 
det V laoszi rtd) = [ð (一 五) 
(提示 : 对 于 这 nm 一 1，n 一 2，…，1， 将 第 i 列 乘 以 一 am 后 加 到 第 i +1 列 上 ， 然 后 使 用 归 
纳 法 。) 
D2 〈 在 GF(2) 上 利用 短 阵 -向 量 乘法 定义 的 排列 ) 利用 GF(2) 上 和 矩阵 乘法 可 以 定义 一 类 集合 


S, 一 (0，1，2，…，2 一 1]} 中 整数 的 排列 。 对 于 S 中 每 个 整数 ， 可 以 将 它 的 二 进 制 表示 
形式 看 做 一 个 位 向 量 


其 中 2) zi2'。 如 果 人 A 是 一 个 元 素 均 为 0 或 1 的 nXn 矩阵， 则 我 们 可 以 定义 一 个 排列 。 该 
排列 将 S, 中 的 每 一 个 值 z 映射 到 一 个 数 上 ， 该 数 的 二 进 制 表示 形式 为 矩阵 -向 量 积 Ar. 
这 里 ， 我 们 按照 GF(2) 执 行 所 有 算术 运算 ， 所 有 的 值 为 0 或 1， 并 且 除 特例 1 十 1=0 外 ， 
其 他 常规 加 法 、 乘 法 规则 均 适用 。 读 者 可 以 认为 GF(2) 算 术 运 算 除 了 只 使 用 最 低 有 效 位 ， 
其 他 均 与 常规 整数 算术 运算 一 致 。 

Bilin, XFS,={0, 1, 2, 3}, Ae 


fs 


定义 了 如 下 排列 a: (0) =0, mC) =3, m(2=2, xa(3)=1. FER za (3) 二 1 的 


HRD 3 E * 715 


理由 ， 观 察 在 GF(2) 中 ， 


= 1 .ir all 


就 是 1 的 二 进 制 表示 。 
我 们 继续 在 GF(2) 上 讨论 本 问题 ， 并 且 所 有 和 矩阵 和 向 量 的 元 素 均 为 0 或 1。 定 义 0 一 1 
矩阵 (元 素 均 为 0 或 1 的 矩阵) 在 GF(2) 上 的 秩 与 普通 和 矩阵 一 臻 ,但 是 所 有 的 决定 线性 相关 
的 算术 运算 都 按 GF(2) 进 行 。 定 义 nXn 0 一 1 矩阵 A 的 取 值 范围 为 
R(A) = {y:y = Ar,z € S,} 

这 样 ，R(A) 是 S, 中 一 类 数 的 集合 ， 这 类 数 可 以 由 将 S, 中 每 个 值 z 乘 以 A 得 到 。 

a. 如 果 是 矩阵 A 的 秩 , 证 明 | RCA) | 二 2"。 证 明 : A 定义 一 个 S, 上 的 排列 ， 当 且 仅 当 A 
是 满 秩 的 。 

对 于 一 个 给 定 的 nXn 和 矩阵 A 和 一 个 给 定 的 值 yER(CA)， 定 义 y 的 原 象 为 
P(A,y) = {zx:Az = y} 

从 而 ，P(A，y) 即 为 S, PRIA 后 会 映射 到 y 的 值 的 集合 。 

b. 如 果 r 是 nXn 和 矩阵 A 的 秩 且 yER(CA)， 证 明 | PCA, y| =r. 

令 0<m<n， 假定 将 集合 S, 划分 成 相 邻 数字 的 块 ， 其 中 第 i 个 块 包含 2” 个 数 12", 12"+ 

1, i2"+2, ++, G+12"—-1, SFHEBTHE SCS,， 定 义 B(S，m) 为 包含 S 中 某 元 素 的 S, 中 

大 小 为 2" 的 块 的 集合 。 例 如 ， 当 n==3, m=1, H S 二 {1，4，5} 时 ，B(S，m) 包 含 块 0( 因 为 1 

在 第 0 块 中 ) 和 块 2( 因 为 4 和 5 均 在 块 2 中 )。 

c. 令 r 是 A 的 左下 部 (x 一 m) Xm TEER, BUA A 底部 n 一 m 行 和 最 左 端 m 
列 的 交 获得 的 矩阵 。 令 SHS, 中 任意 大 小 为 2" HR, AS S'={y: y 一 Az， 对 于 某 
XES}。 WH: | BCS’, m)|=2" 且 对 于 BCS'，m) 中 每 一 个 块 ， 有 和 且 仅 有 2”' 个 S 中 的 
数 映射 到 该 块 上 。 

因为 将 零 向 量 乘 以 任意 矩阵 均 得 到 零 向 量 ， 所 以 通过 GF(2) 上 乘 以 满 秩 nXn 0 一 1 Hi 

阵 所 定义 的 S, 的 排列 集合 不 能 宫 括 S, 所 有 的 排列 。 这 里 ， 将 由 矩阵- 向量 乘法 定义 的 那 

类 排列 扩展 ， 以 包含 一 个 附加 项 ， 从 而 zE S, RB Arte 上 ， 其 中 c 是 n 位 向 量 ， 加 法 

按 GF(2) 执 行 。 例 如 ， 当 


A= 


0 

H 
我 们 可 以 获得 如 下 排列 mae: mae C0) 52, ma CI=1, mac (2)=0, mae (3) =3, HFEA 
nXn0 一 1 满 秩 和 矩阵 A 和 某 个 位 向 量 c<， 称 任意 将 zE S, 映射 到 Az 十 c 的 排列 为 一 个 线 
性 排列 。 
d. 用 计数 观点 来 证 明 : S, 的 线性 排列 的 数目 远 小 于 S, 排列 的 数目 。 
e 请 给 出 一 个 S, 的 排列 的 例子 及 n 的 值 ， 其 中 该 排列 不 能 通过 任何 线性 排列 获得 。( 提 

示 : 对 于 一 个 给 定 的 排列 ， 考 虑 矩阵 与 单位 向 量 相 乘 和 和 矩阵 的 列 的 关系 。) 


附录 注 记 
线性 代数 教科 书 提供 了 关于 矩阵 的 大 量 背景 知识 。StrangL323，324] 所 著 的 书籍 尤为 出 色 。 1229 
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5| 


本 索引 使 用 下 列 约定 。 数 字 按 其 英文 拼写 的 字母 顺序 排序 ， 例 如 ，“2-3-4 树 ” 被 当成 “two-three-four 
tree” 来 索引 。 当 一 个 索引 项 涉及 的 是 一 个 位 置 而 不 是 正文 内 容 时 ， 页 码 后 面 即 会 跟随 一 个 标记 : ex. 表示 
练习 ，pr. 表示 思考 题 ，fig. 表示 图 ，n. 表示 脚注 。 带 标记 的 页 码 通常 表示 一 个 练习 、 思考 题 、 图 或 脚注 


的 第 一 页 ， 而 并 不 一 定 是 引用 真正 出 现 的 那个 页 码 。 


a(n), 511 

¢(golden ratio)( 黄 金 分 割 率 ) 59, 108 pr. 
$(conjugate of the golden ratio) (黄金 分 割 率 的 共 轿 )，59 
$(m) (Euler”s phi function)( 欧 拉 phi 函数 )，943 
p(n) — approximation algorithm) (近似 算 法 )， 
1106, 1123 

o-notation(o 记号 ) 50-51, 64 
O-notation(O 记号 ) 45 fig. , 47-48, 64 
O'-notation(O'i2 5), 62 pr. 

O-notation(O 记号 ) 62 pr. 

w-notation(w 记号 ) 51 

Q-notation(Q 记号 ) 45 fig. , 48-49, 64 


notation 记号 ) » 62 pr. 
Q-notation(A 记号 ) 62 pr. 
@-notation(@ 记号 ) 44-47, 45 fig. 64 


@notation(@ 记号 ) 62 pr. 

{} (set) (RA), 1158 

€ (set member) (集合 成 员 )，1158 

É (not a set member)( 非 集合 成 员 )，1158 

Ø 

(empty language) (4318), 1058 

(empty set) (4344), 1158 

(subset) (F#), 1159 

C (proper subset) (Hf), 1159 

: (such that) GĦ Æ), 1159 

N (set intersection) (42432), 1159 

U (set union) (集合 的 并 )，1159 

一 (set difference) (集合 的 差 )，1159 

| | 
(flow value) ( 流 的 值 ) 710 
(length of a string) (字符 串 的 长 度 ) 986 
(set cardinality) (集合 的 势 )，1161 

x 
(Cartesian product) (ff JL#), 1162 
(cross product) (XR), 1016 


) 
(sequence) (序列 ) 1166 
(standard encoding)( 标 准 编码 ) 1057 

a (choose) (选择 ) 1185 

|| || Ceudidean norm) ( 欧 氏 范 数 ) 1222 

! 〈factorial)( 阶 乘 )，57 
「 (ceiling) (上 取 整 )，54 
L floor) (下 取 整 )，54 

NM 是 lower square root) (下 平方 根 )，546 

Be upper square root)( 上 平方 根 )，546 

È (sum) (和 )，1145 

II(product) (#4), 1148 

— (adjacency relation) (邻接 关系 )，1169 
~+(reachability relation) (可 达 关 系 )，1170 

人 (AND) (与 )，697，1071 
—(NOT) GE), 1071 

V COR) (8%), 697, 1071 
@ (group operator) ( 群 运算 符 ) 939 
®(convolution operator) ( 卷 积 运算 符 ) 901 

* (closure operator)( 闭 包 运 算 符 )，1058 

| (divides relation) (整除 关系 )，927 

} (does-not-divide relation) ( 非 整 除 关 系 ) 927 
三 (equivalent modulo n) (fi n FHP), 54, 1165 ex. 
Æ (not equivalent modulo n) (fi n ASHP), 54 
[a], (equivalence class modulo n) ( 模 的 等 价 

2), 928 
+, (addition modulo n) (#i n 加 法 )，940 
+ , (multiplication modulo n) (i n FE), 940 


iS ) (Legendre symbol) ( 勒 让 德 符号 ) 982 pr. 


e(empty string)( 空 串 ) 986, 1058 
C(prefix relation) (前 缀 关系 ) 986 

了 (suffix relation) JARX), 986 
>, (above relation) (之 上 关系 )，1022 
//comment symbol) (注释 符号 ) 21 


> (much-greater-than relation) (远大 于 关系 )，574 

<(much-less-than relation)( 远 小 于 关系 )，783 

<p (polynomial-time reducibility relation) (多 项 式 时 
间 可 归 约 关系 )，1067，1077 ex. 


A 


AA-tree(AA 树 )，338 
abelian group( 阿 贝尔 群 或 交换 群 ) 940 
ABOVE, 1024 
above relation(>z)(Z_EXA), 1022 
absent child( 空 孩子 ) 1178 
absolutely convergent series (XJ WARO, 1146 
absorption laws for sets( 集 合 的 吸收 律 ) 1160 
abstract problem( 抽 象 问题 ) 1054 
acceptable pair of integers( 可 接受 的 整数 对 ) 972 
acceptance( 接 受 ) 
by an algorithm( 被 一 个 算法 ) 1058 
by a finite automaton( 被 一 个 有 限 自 动机 ) 996 
accepting state( 接 受 状 态 ) ，995 
accounting method( 核 算法 ) 456-459 
for binary counters( 用 于 二 进 制 计 数 器 ) 458 
for dynamic tables( 用 于 动态 表 ) 465-466 
for stack operations (用 于 栈 操 作 )，457-458， 
458 ex. 
Ackermann’s function(Ackermann 函数 ) 585 
activity-selection problem( 活 动 选择 问题 ) 415-422 
acyclic graph( 无 环 图 ) 1170 
relation to matroids( 和 拟 阵 的 关系 )，48 pr. 
add instruction( 加 法 指令 )，23 
addition( 加 法 ) 
of binary integers( 二 进 制 整数 ) 22 ex. 
of matrices( 和 矩阵 ) 1220 
modulo n(+,,) i n), 940 
of polynomials( 多 项 式 )，898 
additive group modulo n( 模 ”的 加 法 群 )，940 
addressing( 寻 址 )，open (开放 )， 见 open-address 
hash table 
ADD-SUBARRAY, 805 pr. 
adjacency-list representation( 邻 接 链表 表示 法 )，590 
replaced by a hash table( 用 散 列 表 蔡 代 ) 593 ex. 
adjacency-matrix representation( 邻 接 矩 阵 表示 法 )，591 
adjacent vertices( 邻 接 顶 点 )，1169 
admissible edge( 许 可 边 ) 749 
admissible network( 许 可 网 络 ) 749-750 
aggregate analysis( 聚 合 分 析 ) 452-456 
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for binary counters( 二 进 制 计 数 器 ) 454-455 
for breadth-first search( 广 度 优先 搜索 ) 597 
for depth-first search( 深 度 优 先 搜索 ) 606 
for Dijkstra’s algorithm(Dijkstra 算法 ) 661 
for disjoint-set data structures( 不 相交 集合 数据 结 
构 ) 566-567, 568 ex. 
for dynamic tables( 动 态 表 ) ，465 
for Fibonacci heaps( 斐 波 那 契 堆 ) 518, 522 ex. 
for Graham's scan(Graham 扫描 )，1036 
for the Knuth-Morris-Pratt algorithm(Knuth-Morris- 
Pratt 算法 ) 1006 
for Prim’s algorithm(Prim BE), 636 
for rod-cutting( HAW HI), 367 
for shortest paths in a dag( 有 向 无 环 图 中 的 最 短 
路 径 ) 655 
for stack operations( 栈 操作 ) 452-454 
aggregate flow( 汇 聚 流 )，863 
Akra -Bazzi method for solving a recurrence( 解 递归 
式 的 Akra-Bazzi 方法 ) 112-113 
algorithm( 算 法 )，5 
correctness of (正确 性 )，6 
origin of word( 字 的 起 源 ) ，42 
running time of( 运 行 时 间 )，25 
as a technology( 作 为 一 项 技术 )，13 
Alice, 881 
ALLOCATE-NODE, 492 
ALLOCATE-OBJECT, 244 
allocation of objects( 对 象 的 分 配 ) 243-244 
all-pairs shortest paths( 所 有 结 点 对 的 最 短路 径 )， 
644，684-707 
in dynamic graphs( 动 态 图 ) ，707 
in e-dense graphs(e 稠密 图 ) 706 pr. 
Floyd-Warshall algorithm for ( Floyd-Warshall 算 
法 ) 693-697, 706 
Johnson’s algorithm for(Johnson 算法 ) 700-706 
by matrix multiplication Hi it 43 RER), 686-693, 
706-707 
by repeated squaring Hit EHYA), 689-691 
alphabet( 字 母 表 ) 995, 1057 
a(n), 574 
amortized analysis( 摊 还 分 析 ) ，451-478 
accounting method of( 核 算法 ) 456-459 
aggregate analysis( R44} HT), 367, 452-456 
for bit-reversal permutation( 位 逆序 置换 ) 472 pr. 
for breadth-first search( 广 度 优先 搜索 ) 597 
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for depth-first search( 深 度 优先 搜索 ) 606 

for Dijkstra’s algorithm(Dijkstra 算法 ) 661 

for disjoint-set data structures( 不 相交 集合 数据 结 
构 )，566-567，568 ex., 572 ex., 575-581, 
581-582 ex. 

for dynamic tables( 动 态 表 ) 463-471 

for Fibonacci heaps( 斐 波 那 契 堆 ) 509-512, 517- 
518, 520-522, 522 ex. 

for the generic push-relabel algorithm( 通 用 -推送 - 
重 贴标签 算法 ) ，746 

for Graham's scan(Graham 扫描 )，1036 

for the Knuth-Morris-Pratt algorithm ( Knuth- 

Morris-Pratt 算法 ) 1006 

for making binary search dynamic (动态 二 分 查 
$R), 473 pr. 

potential method of (势能 法 ) 459-463 

for restructuring red-black trees ( 重 构 红 黑 树 )， 
474 pr. 

fro self-organizing lists with move-to-front( 移 至 前 端 
组 织 列表 )，476 pr. 

for shortest paths in a dag( 有 向 无 环 图 中 的 最 短 
路 径 ) 655 

for stacks on secondary storage ($8 F E AY FR), 
502 pr. 

for weight-balanced trees( 加 权 平 衡 树 ) 473 pr. 


amortized cost( 挫 还 代价 ) 


in the accounting method( 核 算法 中 )，456 
in aggregate analysis( 聚 合 分 析 ) 452 
in the potential method( 势 能 法 ) 459 


ancestor( 祖 先 ) 1176 


least common( 最 小 公共 ) 584 pr. 


AND function(^ ) CAND pO, 697, 1071 
AND gate( AND 门 )，1070 

and( 而 且 )，in pseudocode( 伪 代码 中 )，22 
antiparallel edges( 反 平行 边 ) 711-712 
antisymmetric relation( 反 对 称 关 系 )，1164 
ANY-SEGMENTS-INTERSECT, 1025 
approximation (j@ iT) 


by least squares( 通 过 最 小 二 乘 ) 835-839 
of summation by integrals( 通 过 积分 求 和 )，1154-1156 


approximation algorithm( 近 似 算法 )，10，1105-1140 


for bin packing( 装 箱 )，1134 pr. 

for MAX-CNF satisfiability (MAX-CNF 可 满足 
性 ) 1127 ex. 

for maximum-clique( 最 大 团 ), llllex. , 1134 


for maximum matching( 最 大 匹配 )，1135 pr. 
for maximum spanning tree( 最 大 生成 树 )，1137 pr. 
for maximum weight cut( 最 大 权重 切割 )，1127 ex 
for MAX-3-CNF satisfiability (MAX-3-CNF 可 满 
足 性 )，1123-1124，1139 
for minimum-weight vertex cover( 最 小 权重 顶点 
覆盖 )，1124-1127，1139 
for parallel-machine-scheduling (并 行 机 调度 )， 
1136 pr. 
randomized( 随 机 化 的 ) ，1123 
for set cover( 集 合 覆 盖 ) 1117-1122, 1139 
for subset sum( 子 集 和 )，1128-1134，1139 
for the traveling-salesman problem( 旅 行商 问题 )，1111- 
IZ; 1139 
for vertex-cover (Mii # i), 1108-1111, 1139 
for weighted set cover PARA A m), 1135 pr. 
for 0-1 knapsack problem(0-1 背包 问题 )，1137 pr ，1139 
approximation error( 近 似 模 式 ) 836 
approximation ratio( 近 似 率 ) 1022, 1039 
approximation scheme( 近 似 方案 )，1107 
APPROX-MIN-WEIGHT-VC, 1126 
APPROX-SUBSET-SUM, 1131 
APPROX-TSP-TOUR, 1112 
APPROX-VERTEX-COVER, 1109 
arbitrage( 套 利 ) 679 pr. 
arc( 弧 )， 见 edge 
argument of a function( 函 数 的 参数 ) 1166-1167 
arithmetic instructions( 算 术 指 令 )，23 
arithmetic( 算 术 ) ，modular( 模 ) 54, 939-946 
arithmetic series( 等 差 级 数 ) 1146 
arithmetic with infinities( 无 穷 量 的 算术 运算 ) 650 
arm(#), 485 
array( 数 组 ) 21 
Monge, 110 pr. 
passing as a parameter( 作 为 参数 传递 ) 21 
articulation point 衔接 点 )，621 pr. 
assignment( 赋 值 ) 
multiple( 多 重 )，21 
satisfying( 可 满足 性 )，1072，1079 
truth( 真 值 )，1072，1079 
associative laws for sets( 集 合 的 结合 律 )，1160 
associative operation( 结 合 操作 ) 939 
asymptotically larger( 渐 近 大 于 )，52 
asymptotically nonnegative( 渐 近 非 负 ) ，45 
asymptotically positive( 渐 近 正 )，45 


asymptotically smaller( 渐 近 小 于 )，52 
asymptotically tight bound( 渐 近 紧 确 界 ) 45 
asymptotic efficiency (H ARO, 43 
asymptotic lower bound( 渐 近 下 界 ) 48 
asymptotic notation( 渐 近 记 号 ) 43-53, 62 pr. 
and graph algorithms( 与 图 算法 ) 588 
and linearity of summations( 与 和 的 线性 性 ) 146 
asymptotic upper bound( 渐 近 上 界 ) 47 
attribute of an object( 对 象 的 属性 ) 21 
augumentation of fiow( 流 的 扩张 )，719-720，763 pr. 
augmenting data structures( 扩 张 数据 结构 ) 339-355 
augmenting path( 增 广 路 径 ) 719-720, 763 pr. 
authentication( 认 证 )，284 pr. , 960-961, 964 
automaton( 自 动机 ) 
finite( 有 限 的 )，995 
string-matching( 字 符 串 匹配 ) 996-1002 
auxiliary hash function( 辅 助 散 列 函数 )，272 
auxiliary linear program( 辅 助 线性 规划 )，886 
average-case running time( 平 均 情况 运行 时 间 )，28，116 
AVL-INSERT, 333 pr. 
AVL tree(AVL $f), 333 pr. , 337 
axioms( 公 理 ) for probability( 对 于 概率 ) 1190 


B 


babyface( 娃 娃 脸 ) 602 ex. 
back edge( 反 向 边 ) 609, 613 
back substitution( 反 向 替换 ) 817 
BAD-SET-COVER-INSTANCE，1122 ex. 
BALANCE, 333 pr. 
balanced search tree( 平 衡 搜 索 树 ) 
AA-trees(AA 树 )，338 
AVL trees(AVL $), 333 pr. ，337 
B-trees(B 树 )，484-504 
k-neighbor trees(k 邻居 树 )，338 
red-black trees( 红 黑 树 )，308-338 
scapegoat trees( 替 罪 羊 树 ) 338 
splay trees( 伸 展 树 ) 338, 482 
treaps，333 pr, 338 
2-3-4 trees(2-3-4 ff), 489, 503 pr. 
2-3 trees(2-3 PY), 337, 504 
weight-balanced trees( 带 权 平 衡 树 ) 338, 473 pr. 
balls and bins( 球 与 盒子 ) 133-134, 1215 pr. 
base-a pseudoprime( 以 a 为 底 的 擅 素 数 ) 967 
base case( 基 础 情况 ) 65, 84 
basic feasible solution( 基 本 可 行 解 )，866 
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basic solution( 基 本 解 )，866 
basic variable( 基 本 变量 ) 855 
basis function( 基 函数 ) 835 
Bayes's theorem( 贝 叶 斯 定理 )，1194 
BELLMAN-FORD, 651 
Bellman Ford algorithm(Bellman-Ford #3), 651-655, 682 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 )，684 
in Johnson’s algorithm (Johnson 算法 中 )， 
702-704 
and objective functions( 与 目标 函数 ) 670 ex. 
to solve systems of difference constraints( 求 解 差 
分 约束 系统 )，678 
Yen’s improvement to( Yen 氏 的 改进 ) 678 pr. 
BELOW，1024 
Bernoulli trial( 伯 努 利 试验 )，1201 
and balls and bins( 和 球 与 盒子 ) ，133-134 
and streaks( 和 序列 ) ，135-139 
best-case running time( 最 好 情况 运行 时 间 )，29 ex ，49 
BFS, 595 
BIASED-RANDOM, 117 ex. 
biconnected component( 双 连通 分 量 ) 621 pr. 
big-oh notation(K O 记号 ) 45 fig. , 47-48, 64 
big-omega notation( 大 Q 记号) 45 fig. ，48-49 
bijective function( 双 射 函 数 ) 1167 
binary character code( 二 进 制 字符 编码 ) 428 
binary counter( 二 进 制 计数 器 ) 
analyzed by accounting method (用 核算 法 分 析 )， 
458 
analyzed by aggregate analysis( 用 聚合 分 析 做 分 
析 ) ，454-455 
analyzed by potential method (用 势能 法 分 析 )， 
461-462 
bit-reversed( 位 逆序 )，472 pr. 
binary entropy function( JC HSL), 1187 
binary ged algorithm( 二 进 制 的 gcd BYE), 981 pr. 
binary heap(— HE), M, heap 
binary relation( 二 元 关系 )，1163 
binary search( 二 分 查找 )，39 ex. 
with fast insertion( 用 快速 插入 )，473 pr. 
in insertion sort( 插 入 排序 中 )，39 ex. 
in multithreaded merging (多 线程 归并 中 )， 
799-800 
in searching B-trees( 搜 索 B 树 )，499 ex. 
BINARY-SEARCH, 799 
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binary search tree( 二 又 搜 索 树 ) 286-307 
AA-trees(AA 树 )，338 
AVL trees(AVL 树 )，333 pr. ，337 
deletion from( 删 除 ) 295-298, 299 ex. 
with equal keys( 带 有 相等 的 关键 字 ) 303 pr. 
insertion into( 择 人 )，294-295 
k-neighbor trees(k 邻居 树 ) 338 
maximum key of (最 大 关键 字 ) 291 
minimum key of( 最 小 关键 字 ) 291 
optimal( 最 优 的 ) 397-404, 413 
predecessor in( 前 驱 ) 291-292 
querying( 查 询 ) 289-294 
randomly built( 随 机 构造 的 ) 299-303, 304 pr. 
right-converting of( 右 转 ) 314 ex. 
scapegoat trees( 蔡 罪 羊 树 ) 338 
searching( 搜 索 ， 查 找 ) 289-291 
for sorting( 排 序 ) 299 ex. 
splay trees( 伸 展 树 ) 338 
successor in( 后 继 ) 291-292 
and treaps( 与 treap), 333 pr. 
weight-balanced trees( 带 权 平 衡 树 )，338 
参见 red-black tree 
binary-search-tree property( 二 又 搜索 树 的 性 质 ) 287 
in treaps( 在 treap 中 ) 333pr. 
vs. min-heap property( 与 最 小 堆 的 性 质 ) 289 ex 
binary tree( 二 叉 树 ) 1177 
full( 满 的 ) 1178 
number of different ones( 不 相同 的 数目 ) 306 pr. 
representation of( 表 示 法 ) 246 
superimposed upon a bit vector( 位 向 量 上 方 和 到 加 
RY), 533-534 
参见 binary search tree 
binomial coefficient( 二 项 式 系数 ) 1186-1187 
binomial distribution( 二 项 分 布 )，1203-1206 
and balls and bins( 和 球 与 盒子 ) 133 
maximum value of( 最 大 值 ) 1207 ex. 
tails of (AY), 1208-1215 
binomial expansion( 二 项 式 展开 )，1186 
binomial heap( 二 项 堆 ) 527pr. 
binomial tree( 二 项 树 ) 527pr. 
bin packing( 装 箱 ) 1134 pr. 
bipartite graph( 二 分 图 )，1172 
corresponding flow network of( 对 应 的 流 网 络 )，732 
d-regular(d 正则 的 )，736 ex. 
and hypergraphs( 与 超 图 )，1173 ex. 


bipartite matching (二 分 匹配 )，530，732-736， 
747ex. , 766 
Hopcroft-Karp algorithm for ( Hopcroft-Karp 算 
Æ), 763 pr. 
birthday paradox( 生 日 悖 论 ) 130-133, 142 ex. 
bisection of a tree( 树 的 等 分 ) 1181 pr. 
bitonic euclidean traveling-salesman problem( 双 调 欧 
几 里 得 旅行 商 问题 )，405 pr. 
bitonic sequence( 双 调 序 列 )，682 pr. 
bitonic tour( 双 调 巡 游 )，405 pr. 
bit operation( 位 操作 ) 927 
in Euclid’s algorithm( 欧 几 里 得 算法 中 ) 981 pr. 
bit-reversal permutation( 位 逆序 置换 ) 472 pr., 918 
BIT-REVERSE-COPY, 918 
bit-reversed binary counter( 位 逆序 二 进 制 计 数 器 )， 
472 pr. 
BIT-REVERSED-INCREMENT, 472 pr. 
bit vector( 位 向 量 )，255 ex，532-536. 
black-height( 黑 高 度 )，309 
black vertex( 黑 结 点 )，594，603 
blocking flow( 块 流 )，765 
block structure in pseudocode( 伪 代码 中 的 块 结构 )，20 
Bob, 959 
Boole’s inequality( 布 尔 不 等 式 )，1195 ex. 
boolean combinational circuit( 布 尔 组 合 电 路 )，1071 
boolean combinational element( 布 尔 组 合 元 素 ) 1070 
boolean connective( 布 尔 连接 ) 1079 
boolean formula (布尔 公式 )，1049，1066 ex., 
1079, 1086 ex. 
boolean function( 4 7K BAO, 1187 ex. 
boolean matrix multiplication( 布 尔 矩 阵 乘法 ) 832 ex. 
Boruvka's algorithm(Boruvka 算法 ) 641 
bottleneck spanning tree( 瓶 颈 生 成 树 ) 640 pr. 
bottleneck traveling-salesman problem (瓶颈 旅行 商 
问题 )，1117 ex. 
bottom of a stack( 栈 的 底 )，233 
BOTTOM-UP-CUT-ROD, 366 
bottom-up method ( 自 底 向 上 方法 )，for dynamic 
programming( 动 态 规划 )，365 
bound( 界 ) 
asymptotically tight( 渐 近 紧 确 )，45 
asymptotic lower( 渐 近 下 )，48 
asymptotic upper( 渐 近 上 )，47 
on binomial coefficients( 对 二 项 式 系数 )，1186-1187 
on binomial distributions( 对 二 项 分 布 )，1206 


polylogarithmic( 多 项 对 数 的 ) 57 
on the tails of a binomial distribution( 对 二 项 分 布 
的 尾 ) 1208-1215 
参见 lower bounds 
boundary condition GH RAE), in a recurrence (i 
HAHH), 67, 84 
boundary of a polygon( 多 边 形 的 边界 ) 1020 ex. 
bounding a summation( 确 定 求 和 的 界 )，1149-1156 
box( 盒 子 ) nesting(#x4=), 678 pr. 
B* -tree(B+ 树 ) 488 
branching factor (分 支 因 子 )，in Brtree (在 B 树 
中 )，487 
branch instructions( 分 支 指令 )，23 
breadth-first search( 广 度 优先 搜索 )，594-602，623 
in maximum flow( 在 最 大 流 中 )，727-730，766 
and shortest paths( 与 最 短路 径 ) ，597-600，644 
similarity to Dijkstra’s algorithm( 与 Dijkstra 算法 
的 相似 性 ) 662, 663 ex. 
breadth-first tree( 广 度 优先 树 ) 594, 600 
bridge( 桥 ) 621 pr. 
B* -tree(B* 树 ) 489 
B-tree(B #}), 484-504 
compared with red-black trees (与 红 黑 树 比 较 )， 
484，490 
creating( 构 造 ) 492 
deletion from( 删 除 ) 499-502 
full node in( 满 结 点 ) 489 
height of (高度 ) 489-490 
insertion into(#fi A), 493-497 
minimum degree of( 最 小 度数 ) 489 
minimum key of( 最 小 关键 字 ) 497 ex. 
properties of 性质 ) 488-491 
searching( 搜 索 ， 查 找 ) 491-492 
splitting a node in( 分 裂 结 点 ) 493-495 
2-3-4 trees(2-3-4 树 ) 489 
B-TREE-CREATE, 492 
B-TREE-DELETE, 499 
B-TREE-INSERT, 495 
B-TREE-INSERT-NONFULL, 496 
B-TREE-SEARCH, 492, 499 ex. 
B-TREE-SPLIT-CHILD, 494 
BUBBLESORT, 40 pr. 
bucket( 桶 ) 200 
bucket sort( 桶 排序 ) 200-204 
BUCKET-SORT，201 
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BUILD-MAX-HEAP, 157 
BUILD-MAX-HEAP', 167 pr. 
BUILD-MIN-HEAP, 159 

butterfly operation( 蝴 蝶 操 作 )，915 
by, in pseudocode( 伪 代码 中 )，21 


C 


cache( 高 速 缓 存 ) 24, 449 pr. 

cache hit( 缓 存 命 中 ) 449 pr. 

cache miss( 缓 存 未 命中 ) 449 pr. 
cache-obliviousness( 组 存 无 关 ) 504 
caching( 缓 冲 ) ，offline( 脱 机 ) 449 pr. 


call( 调 用 ) 
in a multithreaded computation (在 多 线程 计算 
中 )，776 


a subroutine( 子 过 程 )，23，25 n. 

by value( 按 值 ) 21 
call edge( 调 用 边 ) ，778 
cancellation lermma( 相 消 引 理 ) 907 
cancellation of flow( 流 的 抵消 )，717 
canonical form for task scheduling( 任 务 调度 的 规范 

形式 ) 444 

capacity( 容 量 ) 

of a cut( 切 割 )，721 

of an edge( 边 ) 709 

residual( 残 存 ) 716, 719 

of a vertex( 结 点 的 ) 714 ex. 
capacity constraint( 容 量 限 制 )，709，710 
cardinality of a set( | | )( 集 合 的 基数 ) 1161 
Carmichael number(Carmichael 数 ) 968, 975 ex. 
Cartesian product( X )({§-FJLÆ), 1162 
Cartesian sum( 笛 卡 儿 和 )，906 ex. 
cascading cut( 级 联 切断 ) 520 
CASCADING-CUT，519 
Catalan numbers(Catalan 数 ) 306 pr. , 372 
ceiling function 1)( 上 取 整 函数 ) 54 

in master theorem( 主 定理 ) 103-106 
ceiling instruction( 向 上 取 整 指令 )，23 
certain event( 必 然 事件 )，1190 
certificate( 证 书 ) 

in a cryptosystem( 加 密 系 统 )，964 

for verification algorithms( 验 证 算法 )，1063 
CHAINED-HASH-DELETE, 258 
CHAINED-HASH-INSERT, 258 
CHAINED-HASH-SEARCH, 258 
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chaining( 链 接 法 )，257-260，283 pr. 
chain of a convex hull( 凸 包 链 )，1038 
changing a key (改变 关键 字 )，in a Fibonacci heap 
(在 斐 波 那 契 堆 中 )，529 pr. 
changing variables (改变 变量 )，in the substitution 
method( 在 替换 方法 中 ) 86-87 
character code( 字 符 编码 )，428 
chess-playing program (国际 象棋 博弈 程序 )， 
790-791 
child( AF) 
in a binary tree( 在 二 叉 树 中 ) 1178 
in a multithreaded computation( 在 多 线程 计算 中 )，776 
in a rooted tree( 在 有 根 树 中 ) 1176 
child list in a Fibonacci heap( 斐 波 那 契 堆 中 的 孩子 列 
表 )，507 
Chinese remainder theorem (中 国 余数 定理 )，950- 
954, 983 
chip multiprocessor( 芯 片 多 处 理 器 ) 772 
chirp transform( 线 性 调频 变换 ) 914 ex. 


choose (a, 1185 


chord(5%), 345 ex. 
Cilk, 774, 812 
Cilka 774, 812 
ciphertext (ŒX), 960 
circuit (E BR) 
boolean combinational( 布 尔 组 合 ) 1071 
depth of REF), 919 
for Fast Fourier Transform( 快 速 傅 里 叶 变 换 )， 
919-920 
CIRCUIT-SAT, 1072 
circuit satisfiability( Fa Bf Al W AL YE), 1070-1077 
circular(#@H MY), doubly linked list with a sentinel 
( 带 哨 兵 的 双向 链表 ) ，239 
circular linked list( 循 环 链表 )，236 
参见 linked list 
class( 类 ) 
complexity( 复 杂 )，1059 
equivalence( 等 价 ) 1164 
classification of edges( 边 的 分 类 ) 
in breadth-first search( 广 度 优先 搜索 )，621 pr. 
in depth-first search( 深 度 优先 搜索 )，609-610，611 ex 
in a multitheaded dag，( 在 多 线程 有 向 无 环 图 
中 )，778-779 
clause( 子 句 )，1081-1082 


clean sequence( 清 洁 序列 ) ，208 pr 
clique( 团 ) 1086-1089, 1105 
approximation algorithm for( 近 似 算 法 )，1111 ex ， 
1134 pr. 
CLIQUE, 1087 
closed interval( 闭 区 间 )，348 
closed semiring( 闭 合 半 环 ) 707 
closest pair (最 近 的 对 )，finding (寻找 )，1039- 
1044, 1047 
closest-point heuristic( 最 近 点 的 启发 式 )，1117 ex. 
closure( 闭 包 ) 
group property( 群 的 性 质 )，939 
of a language( 语 言 )，1058 
operator( 操 作 符 )(x* )，1058 
transitive( 传 递 的 ) Ul transitive closure 
cluster( 集 群 ) 
in a bit vector with a superimposed tree of constant 
height( 具 有 恒定 高 度 释 加 的 位 向 量 )，534 
for parallel computing( 并 行 计算 )，772 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 中 ) ，538 
in van Emde Boas tree(van Emde Boas 树 中 ) 546 
clustering #442), 272 
CNF (conjunctive normal form)( 合 取 范 式 )，1049，1082 
CNF satisfiability(CNF 可 满足 性 ) 1127 ex. 
coarsening leaves of recursion( 递 归 的 叶 变 粗 ) 
in merge sort( 归 并 排序 中 )，39 pr. 
when recursively spawning( 当 递归 派生 时 )，787 
code( 编 码 )，428-429 
Huffman( 赫 夫 曼 )，428-437，450 
codeword( 代 码 字 )，429 
codomain( 陪 域 ) 1166 
coefficient( 系 数 ) 
binomial( 二 项 式 )，1186 
of a polynomial( 多 项 式 )，55，898 
in slack form( 松 弛 型 )，856 
coefficient representation( 系 数 表 示 法 )，900 
and fast multiplication( 与 快速 乘法 ) 903-905 
cofactor( 余 子 式 )，1224 
coin changing EMARE), 446 pr. 
collinearity( 共 线性 ) 1016 
collision (p), 257 
resolution by chaining( 通 过 链接 解决 )，257-260 
resolution by open addressing( 通 过 开放 寻 址 法 解 
决 )，269-277 


collision-resistant hash function ($ù 7} R BX J!) A 
), 964 
coloring (44), 1103 pr. , 1180 pr. 
color (Bi f4,) , of a red-black-tree node( 红 黑 树 结 点 )， 
308 
column-major order(¥l] EX FF), 208 pr. 
column rank( 列 秩 ) 1223 
columnsort( 列 排序 ) 208 pr. 
column vector( 列 向 量 ) 1218 
combination( 组 合 ) 1185 
combinational circuit( 组 合 电路 ) 1071 
combinational element( 组 合 元 素 ) 1070 
combine step( 合 并 步 ) in divide-and-coquer( 分 治 法 
中 )，30，65 
comment( 注 释 ) in pseudocode(//)( 伪 代码 中 )，21 
commodity( 商 品 ) 862 
common divisor( 公 因子 ) 929 
greatest( 最 大 的 ) ， 见 greatest common divisor 
common multiple( 公 倍数 ) 939 ex. 
common subexpression( 公 共 子 表达 式 ) 915 
common subsequence( 公 共 子 序列 ) 7, 391 
longest( 最 长 的 )，7，390-397，413 
commutative laws for sets( 集 合 的 交换 律 )，1159 
commutative operation( 交 换 操作 ) ，940 
COMPACTIFY-LIST, 245 ex. 
compact list AZ), 250 pr. 
COMPACT-LIST-SEARCH, 250 pr. 
COMPACT-LIST-SEARCH’, 251 pr. 
comparable line segments( 可 比较 的 线段 ) 1022 
COMPARE-EXCHANGE, 208 pr. 
compare-exchange operation (比较 交换 操作 )， 
208 pr. 
comparison sort( 比 较 排 序 ) 191 
and binary search trees( 与 二 又 搜 索 树 ) 289 ex. 
randomized( 随 机 化 的 )，205 pr. 
and selection( 与 选择 ) 222 
compatible activities( 可 比较 的 活动 )，45 
compatible matrices( 可 比较 的 矩阵 ) 371, 1221 
competitive analysis( 竟 争 分 析 ) 476 pr. 
complement(¥#p) 
of an event( 事 件 ) 1190 
of a graph( 图 )，1090 
of a language( 语 言 )，1058 
Schur( 舒 尔 )，820，834 
of a set( 集 合 ) 1160 
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complementary slackness( 互 补 松 弛 性 ) 894 pr. 
complete graph( 完 全 图 ) 1172 
complete k-ary tree(SZ4z k MI), 1179 

参见 heap 
completeness of a language( 语 言 的 完备 性 ) 1077 ex. 
complete step( 完 成 步 ) 782 
completion time( 完 成 时 间 ) 447 pr. ，1136 pr. 
complexity class( 复 杂 类 )，1059 

co-NP, 1064 

NP, 1049, 1064 

NPC, 1050, 1069 

P, 1049, 1055 
complexity measure( 复 杂 性 度量 ) 1059 
complex numbers( 复 数 ) 
inverting matrices of( 和 矩阵 求 道 ) 832 ex. 
multiplication of( 乘 法 ) 83 ex. 
complex root of unity( 单 位 复 根 )，906 

interpolation at( 插 值 )，912-913 
component( 分 量 ) 

biconnected( 双 连通 ) 621 pr. 

connected( 连 通 ) 1170 

strongly connected( 强 连通 ) 1171 
component graph( 分 量 图 ) 617 
composite number( 合 数 ) 928 

witness to( 证 据 )，968 
composition( 合 成 ) of multithreaded 

computations (REHA), 784 fig. 
computational depth( 计 算 深 度 ) 812 
computational geometry( 计 算 几 何 ) ，1014-1047 
computational problem( 计 算 问 题 ) 5-6 
computation dag( 计 算 有 向 无 环 图 ) 777 
computation( 计 算 ) ，mnultithreaded( 多 线程 ) 777 
COMPUTE-PREFIX-FUNCTION, 1006 
COMPUTE-TRANSITION-FUNCTION, 1001 
concatenation (744) 

of languages A), 1058 

of strings( 字 符 串 ) 986 
concrete problem( 具 体 问 题 ) 1055 
concurrency keywords( 并 发 关键 词 )，774，776，785 
concurrency platform( 并 发 平台 ) 773 
conditional branch instruction( 条 件 分 支 指令 ) 23 
conditional independence( 条 件 独 立 ) 1195 ex. 
conditional probability( 条 件 概 率 ) 1192, 1194 
configuration( 配 置 ) 1074 


conjugate of the golden ration ($) (黄金 分 割 率 的 共 
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HE), 59 
conjugate transpose(tt#p4$ BH), 832 ex. 
conjunctive normal form( 合 取 范 式 )，1049，1082 
connected component( 连 通 分 量 ) 1170-1171 
identified using depth-first search( 用 深度 优先 搜 
索 识 别 ) 612 ex. 
identified using disjoint-set data structures( 用 不 相 
交集 合 数据 结构 识别 )，562-564 
CONNECTED-COMPONENTS，563 
connected graph( 连 通 图 )，1170 
connective( 连 接 词 )，1079 
co-NP(complexity class) (复杂 类 )，1064 
conquer step( 解 决 步 )，in divide-and-conquer( 分 治 
法 中 )，30，65 
conservation of flow( 流 的 守恒 )，709-710 
consistency( 一 致 ) 
of literals( 字 面 上 的 )，1088 
sequential( $47), 779, 812 
CONSOLIDATE, 516 
consolidating a Fibonacci-heap root list( 合 并 一 个 斐 
波 那 契 堆 的 根 列表 ) ，513-517 
constraint( 约 束 )，851 
difference( 差 分 )，665 
equality( 等 式 )，670 ex. ，852-853 
inequality( 不 等 式 )，852-853 
linear( 线 性 ) ，846 
nonnegativity( 非 负 性 )，851，853 
tight( 紧 )，865 
violation of( 违 反 )，865 
constraint graph( 约 束 图 )，666-668 
contain( 包 含 ) ，in a path( 在 路 径 中 )，1170 
continuation edge( 连 续 边 )，778 
continuous uniform probability distribution (连续 均 
匀 概 率 分 布 )，1192 
contraction( 收 缩 ) 
of a dynamic table( 动 态 表 的 ) 467-471 
of a matroid( 拟 阵 的 ) 442 
of an undirected graph by an edge( 无 向 图 沿 一 条 
边 的 )，1172 
control instructions( 控 制 指令 )，23 
convergence property (KAPE), 650, 672-673 
convergent series KARO, 1146 
converting binary to decimal( 将 二 进 制 转换 为 十 进 
制 )，933 ex. 
convex combination of points( 点 的 凸 组 合 ) 934 


convex function( 凸 函数 ) 1015 
convex hull( 凸 包 ) 8, 1029-1039, 1046 pr. 
convex layers( 凸 层 ) 1044 pr. 
convex polygon( 凸 多 边 形 ) 1020 ex. 
convex set( (44), 714 ex. 
convolution( 卷 积 )(CO) 901 
convolution theorem( 卷 积 定理 ) ，913 
copy instruction( 复 制 指令 )，23 
correctness of an algorithm( 算 法 的 正确 性 )，6 
corresponding flow network for bipartite matching 
(二 分 匹配 对 应 的 流 网 络 )，732 

countably infinite set( 可 数 无 限 集 )，1161 
counter( 计 数 器 ) JL binary counter 
counting( 计 数 ) ，1183-1189 

probabilistic HRH), 143 pr. 
counting sort( 计 数 排序 ) 194-197 

in radix sort( 基 数 排序 中 ) 198 
COUNTING-SORT，195 
coupon collector's problem( 礼 券 收集 者 问题 )，134 
cover (4 7H ) 

path( #44), 761 pr. 

by a subset( 用 子 集 )，1118 

vertex( 顶 点 )，1089，1108，1124-1127，1139 
covertical( 共 垂 线 的 ) 1024 
CREATE-NEW-RS-VEB-TREE, 557 pr. 
credit( 存 款 ) 456 
critical edge( 关 键 边 ) 729 
critical path( 关 键 路 径 ) 

of a dag( 有 向 无 环 图 )，657 

of a multithreaded computation( 多 线程 计算 )，779 
cross a cut( 横 跨 切 割 )，626 
cross edge( 交 叉 边 ) 609 
cross product( X R)(X), 1016 
cryptosystem (NÆ RAE), 958-965, 983 
cubic spline( = FFA), 840 pr. 
currency exchange( 货 币 兑 换 ) 390 ex., 679 pr. 
curve fitting( 曲 线 拟 合 ) 835-839 
cut( 切 割 ) 

capacity of( 容 量 ) 721 

cascading( 级 联 )，520 

of a flow network( 流 网 络 )，720-724 

minimum( 最 小 )，721，731 ex. 

net flow across( 净 流 ) 720 

of an undirected graph( 无 向 图 ) 626 

weight of (LH), 1127 ex. 


CUT; 519 
cutting (YJ Wr), in a Fibonacci heap (3E yk Ah 34 HE 
Ht), 519 
cycle of a graph( 图 的 环 ) 1170 
hamiltonian( 哈 密 顿 )，1049，1061 
minimum mean-weight( 最 小 平均 权重 ) 680 pr. 
negative-weight( 负 权重 )， 见 negative-weight cycle 
and shortest paths( 与 最 短路 径 ) ，646-647 
cyclic group( 循 环 群 )，955 
cyclic rotation( 循 环 旋转 ) 1012 ex. 
cycling( 循 环 )，of simplex algorithm (单纯 形 算法 
的 )，875 


D 


dag, Ji, directed acyclic graph 
DAG-SHORTEST-PATHS, 655 
d-ary heap(d SHE), 167 pr. 
in shortest-paths algorithms( 最 短路 径 算法 ) 706 pr. 
data-movement instructions( 数 据 移动 指令 ) 23 
data structure( 数 据 结构 ) 9, 229-355, 481-585 
AA-trees(AA #f), 338 
augmentation of (49k), 339-355 
AVL trees(AVL $f), 333 pr. , 337 
binary search trees(— LHRH), 286-307 
binomial heaps (Z MH), 527 pr. 
bit vectors( 位 向 量 ) 255 ex. 532-536 
B-trees(B #f), 484-504 
deques( 双 端 队 列 ) 236 ex. 
dictionaries( 字 典 ) 229 
direct-address tables( 直 接 寻 址 表 ) 254-255 
for disjoint sets( 不 相交 集合 ) ，561-585 
for dynamic graphs( 动 态 图 ) 483 
dynamic sets( 动 态 集合 ) ，229-231 
dynamic trees( 动 态 树 ) 482 
exponential search trees( 指 数 搜索 树 ) 212, 483 
Fibonacci heaps (SE 7 AB HE) , 505-530 
fusion trees (MAH), 212, 483 
hash tables( 散 列表 ) 256-261 
heaps( 堆 )，151-169 
interval trees( 区 间 树 )，348-354 
k-neighbor trees(k 邻居 树 )，338 
linked lists( 链 表 )，236-241 
order-statistic trees( 顺 序 统计 树 ) 339-345 
persistent( 持 久 的 )，331 pr. 482 
potential of( 势 )，459 
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priority queues( 优 先 队 列 ) 162-166 
proto van Emde Boas stractures( 原 型 van Emde 
Boas 结构 ) 538-545 
queues( 队 列 ) 232, 234-235 
radix trees( 基 树 ) 304 pr. 
red-black trees( 红 黑 树 ) 308-338 
relaxed heaps( 松 弛 堆 ) 530 
rooted trees( 有 根 树 )，246-249 
scapegoat trees( 替 罪 羊 树 ) 338 
on secondary storage( 辅 助 存储 器 ) , 484-487 
skip lists( 跳 表 ) ，338 
splay trees( 伸 展 树 )，338，482 
stacks( 栈 ) 232-233 
treaps, 333 pr. 338 
2-3-4 heaps(2-3-4 HE), 529 pr. 
2-3-4 trees(2-3-4 $f), 489, 503 pr. 
2-3 trees(2-3 $f), 337, 504 
van Emde Boas trees (van Emde Boas 树 )， 
531-560 
weight-balanced trees( 带 权 平 衡 树 ) 338 
deadline( 和 截止 时 间 )，444 
deallocation of objects( 对 象 的 释放 ) 243-244 
decision by an algorithm (由 一 个 算法 决定 )， 
1058-1059 
decision problem( 判 定 问 题 ) 1051, 1054 
and optimization problems( 与 最 优化 问题 ) 1051 
decision tree( 决 策 树 ) 192-193 
DECREASE-KEY, 162, 505 
decreasing a key( 对 一 个 关键 字 减 值 ) 
in Fibonacci heaps( 斐 波 那 契 堆 ) 519-522 
in 2-3-4 heaps(2-3-4 HE), 529 pr. 
DECREMENT, 456 ex. 
degeneracy( 退 化 ) 874 
degree( 度 ) 
of a binomial-tree root( 二 项 树 根 ) 527 pr. 
maximum( 最 大 )，of a Fibonacci heap( 斐 波 那 契 
HE), 509, 523-526 
minimnum( 最 小 ) of a B-tree(B #}), 489 
of a node( 结 点 ) 1177 
of a polynomial( 多 项 式 )，55，898 
of a vertex( 顶 点 ) 1169 
degree-bound( 次 数 界 ) 898 
DELETE, 230, 505 
DELETE-LARGER-HALF, 463 ex. 
deletion (HBR) 
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from binary search trees(— NRH), 295-298, 
299 ex. 
from a bit vector with a superimposed binary tree 
(具有 又 加 二 叉 树 的 位 向 量 )，534 
from a bit vector with a superimposed tree of 
constant height( 具 有 恒定 高 度 倒 加 树 的 位 
向 量 )，535 
from B-trees(B 树 )，499-502 
from chained hash tables( 链 接 的 散 列 表 )，258 
from direct-address tables( 直 接 寻 址 表 ) ，254 
from dynamic tables( 动 态 表 ) 467-471 
from Fibonacci heaps GERAR RHE), 522, 526 pr. 
from heaps(#E), 166 ex. 
from interval trees( 区 间 树 ) 349 
from linked lists( 链 表 ) 238 
from operraddress hash tables( 开 放 寻 址 散 列 表 )，271 
from order-statistic trees( 顺 序 统 计 树 ) 343-344 
from proto van Emde Boas struetures (原型 van 
Emde Boas 结构 )，544 
from queues( 队 列 ) ，234 
from red-black trees( 红 黑 树 ) 323-330 
from stacks( 栈 )，232 
from sweep-line statuses( 扫 描 线 状态 )，1024 
from 2-3-4 heaps(2-3-4 堆 )，529 pr. 
from van Emde Boas tress (van Emde Boas 树 )， 
554-556 
DeMorgan’s laws( 德 。 摩根 律 》 
for propositional logic( 命 题 逻辑 ) 1083 
for sets( 集 合 ) 1160, 1162 ex. 
dense graph( 笛 密 图 ) 589 
e-dense(e 稠密 ) 706 pr. 
density( 密 度 ) 
of prime numbers( 素 数 ) ，965-966 
of a rod( 钢 条 ) 370 ex. 
dependence( 相 关 ) 
and indicator random variables (与 指示 器 随机 变 
量 )，119 
linear( 线 性 )，1223 
参见 independence 
depth RE) 
average (3414), of a node in a randomly built 
binary search tree( 随 机 构造 的 二 义 搜 索 树 中 
结 点 )，304 pr. 
of a circuit( 电 路 )，919 
of a node in a rooted tree( 有 根 树 的 结 点 )，1177 


of quicksort recursion tree (快速 排序 递归 树 )， 
178 ex. 
of a stack(#%), 188 pr. 
depth-determination problem( 深 度 确定 问题 )，583 pr. 
depth-first forest( 深 度 优先 森林 )，603 
depth-first search( 深 度 优先 搜索 )，603-612，623 
in finding articulation points, bridges, and biconn- 
ected components( 寻 找 衔 接点 、 桥 和 双 连 通 
分 量 ) 621 pr. 
in finding strongly connected components( 寻 找 强 
连通 分 量 ) 615-621, 623 
in topological sorting( 拓 扑 排序 ) 612-615 
depth-first tree( 深 度 优 先 树 ) 603 
deque( 双 端 队 列 ) 236 ex. 
DEQUEUE, 235 
derivative of series( 级 数 的 导数 ) 1147 
descendant( 子 孙 )，1176 
destination vertex( 目 的 地 结 点 )，644 
det, W, determinant 
determinacy race( 确 定性 竞争 )，788 
determinant( 行 列 式 )，1224-1225 
and matrix multiplication( 与 矩阵 乘法 ) 832 ex. 
deterministic algorithm( 确 定性 算法 ) 123 
multithreaded( 多 线程 的 ) 787 
DETERMINISTIC-SEARCH, 143 pr. 
DFS, 604 
DFS-VISIT, 604 
DFT(Discrete Fourier Transform) (H #8 E it% 
换 ) 9, 909 
diagonal matrix( 对 角 和 矩阵 ) 1218 
LUP decomposition of(LUP 分 解 ) 827 ex. 
diameter of a tree( 树 的 直径 ) 602 ex. 
dictionary( 字 典 ) 229 
difference constraints( 差 分 约束 )，664-670 
difference equation( 差 分 方程 )， 见 recurrence 
difference of sets( 集 合 的 差 )( 一 )，1159 
symmetric( 对 称 的 ) 763 pr. 
differentiation of series( 级 数 的 微分 )，1147 
digital signature( 数 字 签 名 ) 960 
digraph( 有 向 图 )， 见 directed graph 
DIJKSTRA, 658 
Dijkstra’s algorithm(Dijkstra 算法 )，658-664，682 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 )，684，704 
implemented with a Fibonacci heap( FA 327K Fb HE 


实现 ) 662 
implemented with a mirrheap( 用 最 小 堆 实现 )，662 
with integer edge weights( 带 整数 边 权 重 ) 664 ex. 
in Johnson’s algorithm(Johnson 算法 ) 702 
similarity to breadth-first search( 与 广度 优先 搜索 
的 相似 性 ) 662, 663 ex. 
similarity to Prim's algorithm (与 Prim 算法 的 相 
似 性 )，634，662 
DIRECT-ADDRESS-DELETE, 254 
direct addressing( 直 接 寻 址 )，254-255，532-536 
DIRECT-ADDRESS-INSERT, 254 
DIRECT-ADDRESS-SEARCH, 254 
direct-address table( 直接 地址 表 )，254-255 
directed acyclic graph( 有 向 无 环 图 ，dag)，1172 
and back edges( 与 反 向 边 ) 613 
and component graphs( 与 分 量 图 ) 617 
and hamiltonian-path problem (与 哈密 顿 路 径 问 
题 ) 1066 ex. 
longest simple path in( 最 长 简单 路 径 ) 404 pr. 
for representing a multithreaded computation( 表 示 
多 线程 计算 )，777 
single-source shortest-paths algorithm for( 单 源 最 
短路 径 算法 )，655-658 
topological sort of( 拓 扑 排 序 )，612-615，623 
directed graph% HKI), 1168 
all-pairs shortest paths in( 所 有 结 点 对 的 最 短路 
径 ) 684-707 
constraint graph( 约 束 图 ) 666 
Euler tour of( 欧 拉 回 路 ) 623 pr., 1048 
hamiltonian cycle of( 哈 密 顿 环 ) 1049 
and longest paths( 与 最 长 路 径 ) 1048 
path cover of (路径 覆盖 ) 761 pr. 
PERT chart(PERT KI), 657, 657 ex. 
semiconnected( 半 连通 的 ) 621 ex. 
shortest path in( 最 短路 径 ) ，643 
single-source shortest paths in( 单 源 最 短路 径 )， 
643-683 
singly connected( 单 连通 图 ) ，612 ex. 
square of (平方 )，593 ex. 
transitive closure of( 传 递 闭 包 ) 697 
transpose of( 转 置 ) 592 ex. 
vniversal sink in( 通 用 汇 点 ) 593 ex. 
参见 circuit, directed acyclic graph, graph, network 
directed segment(A mkt), 1015-1017 
directed version of an undirected graph( 无 向 图 的 有 
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向 版 本 ) 1172 


DIRECTION，1018 


dirty data( 脏 数据 ) 208 pr. 


DISCHARGE, 751 


discharge of an overflowing vertex (溢出 结 点 的 释 
TD, 751 
discovered vertex( 被 发 现 的 结 点 ) 594, 603 
discovery time( 发 现时 间 ) in depth-first search( 深 
度 优先 搜索 )，605 
Discrete Fourier Transform (È #X 14 Hl tt 4B #), 
9, 909 
discrete logarithm( 离 散 对 数 ) 955 
discrete logarithm theorem( 离 散 对 数 定理 ) 955 
discrete probability distribution (离散 概率 分 
布 )，1191 
discrete random variable( 离 散 随机 变量 ) 1196-1201 
disjoint-set data structure( 不 相交 集合 数据 结构 )， 
561-585 
analysis of( 分 析 )，575-581，581 ex. 
in connected components( 连 通 分 量 )，562-564 
in depth determination( 深 度 确定 )，583 pr. 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 )，568-572 
in Kruskal’s algorithm(Kruskal 算法 )，631 
linear-time special case of( 线 性 时 间 特 例 ) 585 
linked-list implementation of (链表 实现 ) 564-568 
in off-line least common ancestors( 脱 机 最 小 公共 
祖先 ) 584 pr. 
in off-line minimum( 脱 机 最 小 ) 582 pr. 
in task scheduling( 任 务 调 度 ) 448 pr. 
disjoint-set forest( 不 相交 集合 森林 ) » 568-572 
analysis of 分析) 575-581, 581 ex. 
rank properties of( 秩 性 质 ) 575, 581 ex. 
参见 disjoint-set data structure 
disjoint sets( 不 相交 集合 )，1161 
disjunctive normal form( 析 取 范 式 )，1083 
disk( 磁 盘 )，1028 ex. 
参见 secondary storage 
DISK-READ, 487 
DISK-WRITE, 487 
distance( 距 离 ) 
edit( 4g #8), 406 pr. 
euclidean( 欧 几 里 得 )，1039 
Lms 1044 ex. 
Manhattan( SMS tii), 225 pr., 1044 ex. 
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of a shortest path( 最 短路 径 ) 597 
distributed memory( 分 布 式 存 储 ) 772 
distribution( 分 布 ) 

binomial( 二 项 ) 1203-1206 

continuous uniform( 连 续 均 匀 )，1192 

discrete( 离 散 )，1191 

geometric( 几 何 ) 1202-1203 

of inputs( 输 入 ) 116, 122 

of prime numbers( 素 数 ) 965 

probability( 概 率 ) 1190 

sparsehulled( 稀 朴 包 ) 1046 pr. 

uniform(#j4J), 1191 
distributive laws for sets( 集 合 的 分 配 律 )，1160 
divergent series( 发 散 级 数 )，1146 
divide-and-conquer method( 分 治 法 )，30-35，65 


division theorem( 除 法 定理 )，928 
divisor( 因 子 )，927-928 

common( 公 共 )，929 

参见 greatest common divisor 
DNA, 6-7, 390-391, 406 pr. 
DNF (disjunctive normal form)( 析 取 范 式 )，1083 
does-not-divide relation( 非 整除 关系 ) Ch), 927 
domain( 域 ) 1166 
dominates relation( 支 配 关 系 ) 1045 pr. 
double hashing( 双 散 列 ) 272-274, 277 ex. 
doubly linked list( 双 向 链表 ) 236 

参见 linked list 

downto, in pseudocode( 伪 代码 中 ) 21 
d-regular graph(d 正则 图 ) 736 ex. 
duality( 对 偶 性 ) 879-886, 895 pr 


analysis of (4}47), 34-35 
for binary search( 二 分 查找 ) 39 ex. 
for conversion of binary to decimal( 二 进 制 到 十 进 
制 的 转换 ) ，933 ex. 
for Fast Fourier Transform (快速 傅 里 叶 变 换 )， 
909-912 
for finding the closest pair of points( 寻 找 最 近 点 
对 )，1040-1043 
for finding the convex hull( 寻 找 凸 包 ) 1030 
for matrix inversion (E RF HJ), 829-831 
for matrix multiplication (i KE æ HE), 76-83, 
792-797 
for maximum-subarray problem (最 大 子 数 组 问 
Æ), 68-75 
for merge sort( 归 并 排序 ) ，30-37，797-805 
for multiplication( 乘 法 ) 920 pr. 
for multithreaded matrix multiplication (£ RFE 
阵 乘法 ) 792-797 
for multithreaded merge sort( 多 线程 归并 排序 )， 
170-190 
for quicksort( 快 速 排序 )，145-164 
relation to dynamic programming (与 动态 规划 的 
关系 )，359 
for selection( 选 择 ) ，215-224 
solving recurrences for (求解 递归 式 )，83-106， 
112-113 
for Strassen’s algorithm(Strassen 算法 ) 79-83 
divide instruction( 除 法 指令 ) 23 
divides relation( 整 除 关 系 )( | )，927 
division method( 除 法 ) 263, 268-269 ex. 


weak(3§), 880-881, 886ex. 
dual linear program( 对 偶 线 性 规划 )，879 
dammy key( 伪 关键 字 ) 397 
dynamic graph( 动 态 图 )，562 n. 
all-pairs shortest Paths algorithm for( 所 有 结 点 对 的 
最 短路 径 算 法 )，707 
data structures for( 数 据 结构 )，483 
minimum-spanning-tree algorithm for( 最 小 生成 树 
算法 )，637 ex. 
transitive closure of( 传 递 闭 包 )，705 pr. ，707 
dynamic multithreaded algorithm( 动 态 多 线程 算 
法 ) ， 参 见 mltithreaded algorithm 
dynamic multithreading( 动 态 多 线程 )，773 
dynamic order statistics( 动 态 顺 序 统计 ) 339-345 
dynamic-programming method (动态 规划 方法 )， 
359-413 
for activity selection( 活 动 选择 ) 421 ex. 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
4%), 686-697 
for bitonic euclidean traveling-salesman problem 
( 双 调 欧 几 里 得 旅行 商 问题 )，405 pr. 
bottom-up( 自 底 向 上 )，365 
for breaking a string( 分 解 字 符 串 ) 410 pr. 
compared to greedy algorithms( 与 贪心 算法 比较 )， 
381, 390 ex. , 418, 423-427 
for edit distance( 44828 BS), 406 pr. 
elements of (EMH), 378-390 
for Floyd-Warshall algorithm ( Floyd-Warshall 算 
¥E), 693-697 
for inventory planning( 库 存 规划 )，411 pr. 


for longest common subsequence( 最 长 公共 子 序 
列 )，390-397 
for longest palindrome subsequence( 最 长 回 文子 序 
列 )，405 pr. 
for longest simple path in a weighted directed 
acyclic graph( 加 权 有 向 无 环 图 中 的 最 长 简单 
路 径 ) 404 pr. 
for matrix-chain multiplication (矩阵 链 乘 法 )， 
370-378 
and memoization( 与 备 忘 ) 387-389 
for optimal binary search trees( 最 优 二 又 搜索 树 )， 
397-404 
optimal substructure in( 最 优 子 结构 ) ，379-384 
overlapping subproblems in (重要 子 问 题 )， 
384-386 
for printing neatly( 整 齐 打印 ) 405 pr. 
reconstructing an optimal solution in( 重 新 构造 一 
个 最 优 解 )，387 
relation to divide-and-conquer (与 分 治 法 的 关系 )， 
359 
for rod-cutting( 钢 条 切割 )，360-370 
for seam carving (2# BI), 409 pr. 
for signing free agents( 签 约 自由 球员 ) ，411 pr. 
top-down with memoization ( 带 备 忘 的 自 顶 向 
下 )，365. 
for transitive closure( 传 递 闭 包 ) ，697-699 
for Viterbi algorithm( Viterbi 算法 ) 408 pr. 
for 0-1 knapsack problem(0-1 背包 问题 ) 427 ex 
dynamic set( 动 态 集合 ) 229-231 
参见 data structure 
dynamic table( 动 态 表 ) 463-471 
analyzed by accounting method( 用 核算 法 分 析 )， 
465-466 
analyzed by aggregate analysis( 用 汇聚 分 析 做 分 
析 )，465 
analyzed by potential method (用 势能 法 分 析 )， 
466-471 
load factor of( 装 载 因子 ) 463 
dynamic tree( 动 态 树 ) ，482 


E 


ë, 53 

E [](expected value) (期 望 值 ) 1197 
early-first form( 提 前 优先 形式 ) 444 
early task( 提 前 任务 ) 444 
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edge), 1168 
admissible( 许 可 的 )，749 
antiparallel( 反 平行 )，711-712 
attributes of( 属 性 ) 592 
back( 反 向 的 )，609 
bridge( 桥 ) 621 pr. 
call( 调 用 ) 778 
capacity of( 容 量 ) 709 
classification in breadth-first search( 广 度 优 先 搜索 
中 的 分 类 ) 621 pr. 
classification in depth-first search( 深 度 优先 搜索 
中 的 分 类 )，609-610 
critical( 关 键 的 )，729 
cross( 交 叉 的 ) 609 
forward( 正 向 的 ) 609 
inadmissible( 非 许可 的 ) 749 
light( 轻 的 )，626 
negative-weight( 负 的 权重 ) 645-646 
residual( 残 留 的 )，716 
safe( 安 全 的 ) 626 
saturated( 饱 和 的 )，739 
tree( 树 ) 601, 603, 609 
weight of (lH), 591 
edge connectivity( 边 的 连通 性 ) 731 ex. 
edge set( 边 集合 ) 1168 
edit distance( 4#43 22 BS), 406 pr. 
Edmonds-Karp algorithm(Edmonds-Karp $3%), 727-730 
elementary event( 基 本 事件 )，1189 
elementary insertion( 基 本 插入 )，465 
element of a set( 集 合 的 元 素 )(E)，1158 
ellipsoid algorithm (HERE), 850, 897 
elliptic-curve factorization method (椭圆 曲线 因子 分 
解 方法 )，984 
else if, in pseudocode( 擅 代码 中 ) 20 n. 
else(else 子 句 ) in pseudocode( 伪 代码 中 )，19 
empty language (S A) (Ø), 1058 
empty set(434#2)(@), 1158 
empty set laws (3 %1), 1159 
empty stack( 空 栈 ) 233 
empty string( 空 串 )(e) ，986，1058 
empty tree( 空 树 ) 1178 
encoding of problem instances (问题 实例 的 编码 )， 
1055-1057 
endpoint (Hig #3) 
of an interval( 区 间 )，348 


746 。 & 引 


of a line segment( 线 段 )，1015 
ENQUEUE, 203 
entering a vertex( 进 入 一 个 顶点 )，1169 
entering variable(## A&E), 867 
entropy function( #98, 1187 
e-dense graph(e 稠密 图 ) 706 pr. 
e-universal hash function(e 全 域 散 列 函数 )，269 ex. 
equality( 相 等 ) 
of functions( RAO), 1166 
linear( 线 性 ) 845 
of sets( 集 合 ) 1158 
equality constraint (FRR), 670 ex. ，852 
and inequality constraints( 与 不 等 式 约束 )，853 
tight( 紧 的 )，865 
violation of( 违 反 )，865 
equation( 方 程 ) 
and asymptotic notation( 与 渐 近 记号 ) 49-50 
normal( 正 态 ) 837 
recurrence( 递 归 ) Ji, recurrence 
equivalence class( 等 价 类 ) 1164 
modulo n(# 2)(La],), 928 
equivalence (等 fF), modular ( 模 ) (=), 54, 
1165 ex. 
equivalence relation( 等 价 关系 )，1164 
and modular equivalence( 与 模 等 价 ) 1165 ex. 
equivalent linear programs( 等 价 的 线性 规划 )，852 
error，in pseudocode( 伪 代码 中 )，22 
escape problem( 逃 跑 问 题 ) 760 pr. 
EUCLID，935 
Euclid’s algorithm( 欧 几 里 得 算法 )，933-939，981 
pr. 983 
euclidean distance( 欧 几 里 得 距离 )，1039 
euclidean norm( 欧 几 里 得 范 数 ) ，1222 
Euler's constant( 欧 拉 常 数 ) ，943 
Euler’s phi function( 欧 拉 phi 函数 ) 943 
Euler’s theorem( 欧 拉 定 理 ) 954, 975 ex. 
Euler tour( 欧 拉 回 路 ) 623 pr., 1048 
and hamiltonian cycles( 与 哈密 顿 环 ) ，1048 
evaluation of a polynomial( 多 项 式 的 求 值 ) 41 pr., 
900, 905 ex. 
derivatives of (导数 ) 922 pr. 
at multiple points( 多 点 ) 923 pr. 
event( 事 件 ) 1190 
event point( 事 件 点 ) 1023 
event-point schedule( 事 件 点 调度 )，1023 


EXACT-SUBSET-SUM, 1129 
excess flow(#8 2M Vit), 736 
exchange property( 交 换 性 质 ) , 437 
exclusion and inclusion( 容 斥 ) 1163 ex. 
execute a subroutine( 执 行 子 过 程 )，25 n. 
expansion of a dynamic table (动态 表 的 扩张 )， 
464-467 
expectation( 期 望 ) Jl expected value 
expected running time( 期 望 运 行 时 间 )，28，117 
expected value( 期 望 值 ) 1197-1199 
of a binomial distribution( 二 项 分 布 )，1204 
of a geometric distribution( 几 何 分 布 )，1202 
of an indicator random variable (指示 器 随机 变 
W), 118 
explored vertex( 探 测 过 的 结 点 ) 605 
exponential function( 指 数 函 数 ) 55-56 
exponential height( 指 数 高 度 ) ，300 
exponential search tree( 指 数 搜索 树 ) 212, 483 
exponential series( 指 数 级 数 ) ，1147 
exponentiation instruction( 取 寡 指 令 ) 24 
exponentiation( 取 需 ) ，modular( 模 ) 956 
EXTENDED-BOTTOM-UP-CUYT-ROD，369 
EXTENDED-EUCLID，937 
EXTEND-SHORTEST-PATHS，688 
extension of a set( 集 合 的 扩张 )，438 
exterior of a polygon( 多 边 形 的 外 边界 )，1020 ex. 
external node( 外 部 结 点 )，1176 
external path length( 外 部 路 径 长 度 )，1180 ex. 
extracting the maximum key( 抽 取 最 大 关键 字 ) 
from d-ary heaps(d LH), 167 pr. 
from max-heaps( 最 大 堆 )，163 
extracting the minimum key( 抽 取 最 小 关键 字 ) 
from Fibonacci heaps (SEWAR HHE), 512-518 
from 2-3-4 heaps(2-3-4 HE), 529 pr. 
from Young tableaus( Young 氏 和 矩阵 ) 167 pr. 
EXTRACT-MAX, 162-163 
EXTRACT-MIN, 162, 505 


F 


factor( 因 子 ) 928 
twiddle( 旋 转 ) 912 
factorial function( 阶 乘 函 数 )(!1) 57-58 
factorization( 因 子 分 解 )，975-980，984 
unique( 唯 一 的 ) 931 
failure( 失 败 )，in a Bernoulli trial ( 伯 努 利 试 


iy), 1201 
fair coin( 均 名 硬币 )，1191 
fan-out( SHH), 1071 
Farkas’s lemma( Farkas 引 理 ) 895 pr. 
farthest-pair problem( 最 远 对 问题 )，1030 
FASTER-ALL-PAIRS-SHORTEST-PATHS, 691, 
692 ex. 
Fast Fourier Transform( FFT) (快速 傅 里 叶 变 换 )， 
898-925 
circuit for( 电 路 ) 919-920 
iterative implementation of GÈME), 915-918 
multidimensional (ZH), 921 pr. 
recursive implementation of( 递 归 实 现 ) 909-912 
using modular arithmetic( 利 用 取 模 运算 ) 923 pr. 
feasibility problem( 可 行 性 问题 ) 665, 894 pr. 
feasible linear program( 可 行 线性 规划 )，851 
feasible region( 可 行 区 域 )，847 
feasible solution( 可 行 解 )，665，846，851 
Fermat’s theorem( 费 马 定 理 ) 954 
FFT, J Fast Fourier Transform 
FFTW, 924 
FIB; 775 
FIB-HEAP-CHANGE-KEY, 529 pr. 
FIB-HEAP-DECREASE-KEY, 519 
FIB-HEAP-DELETE, 522 
FIB-HEAP-EXTRACT-MIN, 513 
FIB-HEAP-INSERT, 510 
FIB-HEAP-LINK, 516 
FIB-HEAP-PRUNE, 529 pr. 
FIB-HEAP-UNION, 512 
Fibonacci heap( 斐 波 那 契 堆 ) , 505-530 
changing a key in( 改 变 一 个 关键 字 ) 529 pr. 
compared with binary heaps (与 二 叉 堆 比较 )， 
506-507 
creating( 构 造 )，510 
decreasing a key in( 对 其 中 一 个 关键 字 减 值 )， 
519-522 
deletion from( 删 除 ) 522, 526 pr. 
in Dijkstra’s algorithm(Dijkstra 算法 )，662 
extracting the minimum key from( 抽 取 最 小 关键 
字 )，512-518 
insertion into( 插 入 )，510-511 
in Johnson’s algorithm(Johnson 算法 )，704 
maximum degree of (x KEFRO, 509, 523-526 
minimum key of( 最 小 关键 字 ) 511 
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potential function for( 势 函数 )，509 
in Prim’s algorithm(Prim BYE), 636 
pruning(BY#%), 529 pr. 
running times of operations on( 操 作 的 运行 时 间 )， 
506 fig. 
uniting( 合 并 ) 511-512 
Fibonacci numbers( 斐 波 那 契 数 )，59-60，108 pr. ，523 
computation of (计算 ) 774-780, 981 pr. 
FIFO (first-in, first-out) (先进 先 出 )，232 
参见 queue 
final-state function( 最 终 状态 函数 )，996 
final strand( 最 后 链 )，779 
FIND-DEPTH, 583 pr. 
FIND-MAX-CROSSING-SUBARRAY, 71 
FIND-MAXIMUM-SUBARRAY, 72 
find path( 发 现 路 径 )，569 
FIND-SET, 562 
disjoint-set-forest implementation of( 不 相交 集合 
森林 实现 )，571，585 
linked-list implementation of (链表 实现 ) ，564 
finished vertex( 完 成 结 点 ) 603 
finishing time( 完 成 时 间 )，in depth-first search( 深 
度 优先 搜索 )，605 
and strongly connected components (与 强 连 通 分 
Æ), 618 
finish time( 完 成 时 间 )，in activity selection (75 zhi% 
择 )，415 
finite automaton( 有 限 自 动机 ) ，995 
for string matching( 字 符 串 匹配 ) 996-1002 
FINITE-AUTOMATON-MATCHER，999 
finite group( 有 限 群 )，940 
finite sequence( 有 限 序 列 )，1166 
finite set( 有 限 集 )，1161 
first-fit heuristic( 首 先 适合 启发 式 )，1134 pr. 
first-in( 先 进 )，first-out( 先 出 )，232 
参见 queue 
fixed-length code( 固 定 长 度 编码 )，429 
floating-point data type( 浮 点 数据 类 型 )，23 
floor function( 下 取 整 函数 )(| |), 54 
in master theorem( 主 定理 )，103-106 
floor instruction( 下 取 整 指令 )，23 
flow( 流 ) , 709-714 
aggregate( 聚 合 ) 863 
augmentation of( 扩 张 )，716 
blocking( 块 )，765 
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excess( 溢 出 )，736 
integer-valued( 整 数值 的 )，733 
integer-valued( 整 数值 )，733 
net( 净 的 ) across a cut( 横 跨 切 割 )，720 
value of( 值 )，710 
flow conservation( 流 守恒 )，709-710 
flow network( 流 网 络 ) 709-714 
corresponding to a bipartite graph( 相 应 于 二 分 
图 )，732 
cut of (切割 ) 720-724 
with multiple sources and sinks (多 源 点 和 汇 
mM), 712 
FLOYD-WARSHALL, 695 
FLOYD-WARSHALL’, 699 ex. 
Floyd-Warshall algorithm ( Floyd-Warshall 算法 )， 
693-697, 699-700 ex. 
mnultithreaded( 多 线程 的 ) 797 ex. 
FORD-FULKERSON, 724 
Ford -Fulkerson method ( Ford-Fulkerson 方法 )， 
714-731, 765 
FORD-FULKERSON-METHOD, 715 
forest (ÆR), 1172-1173 
depth-first REE), 603 
disjoint-set( 不 相交 集合 ) 568-572 
formal power series ÉR RRO, 108 pr. 
formula-satisfiability problem( 公 式 可 满足 性 问题 )， 
1079-1081，1105 
forward edge( 正 向 边 )，609 
forward substitution( 正 向 替换 ) 816-817 
fractional knapsack problem( 部 分 背包 问题 ) 426, 
428 ex. 
free agent( 自 由 球员 ) 411 pr. 
freeing of objects( 对 象 的 释放 ) 210-212 
free list( 释 放 列 表 ) 243 
FREE-OBJECT, 244 
free tree( 释 放 树 ) 1172-1176 
frequency domain( 频 率 域 ) ，898 
full binary tree( 满 二 叉 树 ) 1178, 1180 ex. 
relation to optimal code( 和 最 优 编码 的 关系 )，430 
full node( 满 结 点 ) 489 
full rank( 满 秩 ) 1223 
full walk of a tree( 树 的 完全 遍历 ) 1114 
fully parenthesized matrix-chain product( 完 全 括号 化 
矩阵 链 积 )，370 


fully polynomial-time approximation scheme( 完 全 多 


项 式 时 间 近 似 模 式 )，1107 

for subset-sum( 子 集 和 )，1128-1134，1139 
function( AX), 1166-1168 

Ackermann’s, 585 

basis(4E), 835 

convex( 4A), 1199 

final-state( 最 终 状 态 ) 996 

hash( 散 列 )， 见 hash function 

linear( 线 性 的 )，26，845 

objective( HR), 664, 847, 851 

potential), 459 

prefix( 前 缀 ) 1003-1004 

quadratic( 二 次 的 )，27 

reduction( 归 约 )，1067 

suffix GA), 996 

transition( 变 换 ) 995, 1001-1002, 1012 ex. 
functional iteration( KGE), 58 
fundamental theorem of linear programming (24+ #1 

划 的 基本 定理 )，892 

fusion tree RAP), 212, 483 
fuzzy sorting( 模 糊 排 序 ) 189 pr. 


G 


Gabow’s scaling algorithm for single-source shortest 
paths( 单 源 最 短路 径 的 Gabow 定 标 算法 )， 
679 pr. 
gap character( 间 隔 符 ) 989 ex., 1002 ex. 
gap heuristic( 跨 越 式 启发 )，760 ex, 766 
garbage collection( 垃 圾 收集 )，151，243 
gate([J), 1070 
Gaussian elimination( 高 斯 消 元 ) 819, 842 
gcd, J, greatest common divisor 
general number-field sieve( 一 般 数 域 的 筛选 ) 984 
generating function( 生 成 函数 ) 108 pr. 
generator( 生 成 元 ) 
of a subgroup( 子 群 )，944 
of Zr (Zi), 955 
GENERIC-MST, 626 
GENERIC-PUSH-RELABEL, 741 
generic push-relabel algorithm( 通 用 推送 - 重 贴标签 
算法 ) 740-748 
geometric distribution( 几 何 分 布 ) 1202-1203 
and balls and bins( 与 球 和 盒子 ) ，134 
geometric series( 几 何 级 数 ) 1147 
GF(2), 1227 pr. 


gift wrapping 4L 3%), 1037, 1047 
global variable( 全 局 变量 )，21 
Goldberg’s algorithm (Goldberg 算法 )， 见 push- 
relabel algorithm 
golden ratio( 黄 金 分 割 率 ) (9), 59, 108 pr. 
gossiping( 传 布 消息 ) 478 
GRAFT, 583 pr. 
Graham’s scan(Graham #4), 1030-1036, 1047 
GRAHAM-SCAN, 1031 
graph( KI), 1168-1173 
adjacency-list representation of (邻接 链表 表示 法 )，590 
adjacency-matrix representation of (邻接 矩阵 表示 
法 )，591 
algorithms for( 算 法 )，587-766 
and asymptotic notation( 渐 近 记 号 )，588 
attributes of( 属 性 )，588，592 
breadth-first search of (广度 优先 搜索 )，594- 
602，623 
coloring of( 着 色 )，1103 pr. 
complement of( 补 ) 1090 
component( 分 量 ) 617 
constraint( 约 束 ) 666-668 
dense( #2) , 589 
depth-first search of( 深 度 优先 搜索 )，603-612，623 
dynamic( 动 态 的 )，562 n. 
e-dense(e 稠密 的 ) 706 pr. 
hamiltonian GF 4), 1061 
incidence matrix of( 关 联 和 矩阵 ) 448 pr., 539 ex. 
interval( 区 间 ) ，422 ex. 
nonhamiltonian( 非 哈密 顿 )，1061 
shortest path in( 最 短路 径 ) 597 
singly connected( 单 连通 的 ) 612 ex. 
sparse(FiBihy), 589 
static( 静 态 的 ) 562 n. 
tour of( 回 路) 1096 
weighted( 带 权 的 ) 591 
参见 directed acyclic graph, directed graph, flow 
network, undirected graph, tree 
graphic matroid( 图 拟 阵 ) 437-438, 642 
GRAPH-ISOMORPHISM, 1065 ex. 
gray vertex( JK f4 Ji), 594, 603 
greatest common divisor (KZ AF) (ged), 929- 
930, 933ex. 
binary gcd algorithm for (二 进 制 gcd 算法 )， 
981 pr. 
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Euclid’s algorithm for( 欧 几 里 得 算法 )，933-939， 
981pr. ，983 
with more than two arguments( 多 于 两 个 参数 )， 
939 ex 
recursion theorem for( 递 归 定 理 ) 934 
greedoid( 广 义 拟 阵 )，450 
GREEDY，440 
GREEDY-ACTIVITY-SELECTOR, 421 
greedy algorithm( 贪 心算 法 ) 414-450 
for activity selection( 活 动 选择 ) 415-422 
for coin changing( 硬 币 找 零 ) 446 pr. 
compared with dynamic programming( 与 动态 规划 比 
较 )，381，390 ex ，418，423-427 
Dijkstra’s algorithm(Dijkstra BYE), 658-664 
elements of( 因 素 ) 423-428 
for fractional knapsack problem( 用 于 部 分 背包 问 
i), 426 
greedy-choice property in (贪心 选择 性 质 )， 
424-425 
for Huffman code( 赫 夫 曼 编码 )，428-437 
Kruskal’s algorithm(Kruskal 算法 )，631-633 
and matroids( 与 拟 阵 ) 437-443 
for minimum spanning tree (最 小 生成 树 )， 
631-638 
for multithreaded scheduling (多 线程 调度 )， 
781-783 
for off-line caching( 脱 机 缓存 ) 449 pr. 
optimal substructure in( 最 优 子 结构 ) 425 
Prim’s algorithm(Prim 算法 ) 634-636 
for set cover( RAP), 1117-1122, 1139 
for task scheduling (任务 调度 ) 443-446, 447- 
448 pr. 
on a weighted matroid( 在 带 权 拟 阵 上 ) ，439-442 
for weighted set cover( 用 于 带 权 集合 覆盖 ) 1135 
pr. 
greedy-choice property (A bE), 424-425 
of activity selection( 活 动 选 择 ) 417-418 
of Huffman codes( 赫 夫 曼 编码 ) 433-434 
of a weighted matroid( 加 权 拟 阵 ) 441 
greedy scheduler( 贪 心 调度 器 ) 782 
GREEDY-SET-COVER，1119 
grid( 网 格 ) 760 pr. 
group(##), 939-946 
cyclic( 循 环 的 ) 955 
operator(@) (操作 符 ) 939 
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guessing the solution (猜想 的 解 )，in the substitution 
Imethod( 蔡 换 方法 中 ) 84-85 


H 


half 3-CNF satisfiability( 半 3-CNF 可 满足 性 )，1101 ex 
half-open interval( 半 开 区 间 )，348 
Hall’s theorem( Hall Æ), 735 ex. 
halting problem( 停 机 问题 )，1048 
halving lemma( 折 半 引 理 ) 908 
HAM-CYCLE, 1062 
hamiltonian cycle (My # m), 1049, 1061, 1091- 
1096, 1105 
hamiltonian graph( 哈 密 顿 图 ) 1061 
hamiltonian path (哈密 顿 路 径 )，1066 ex., 
1101 ex. 
HAM-PATH, 1066 ex. 
handle(aJ#9), 163, 507 
handshaking lemma( 担 手 引 理 ) 1172 ex. 
harmonic number( 调 和 数 ) 1147, 1153-1154 
harmonic series( 调 和 级 数 )，1147，1153-1154 
HASH-DELETE, 277 ex. 
hash function (#7 RIAD , 256, 262-269 
auxiliary ($8 BA), 272 
collision-resistant( 抗 冲突 )，964 
division method for( 除 法 方法 )，263，268-269 ex. 
e-universal(e 全 域 )，269 ex. 
multiplication method for( 乘 法 方法 ) 263-264 
universal( 全 域 ) ，265-268 
hashing( 散 列 )，253-285 
with chaining( 链 接 )，257-260，283 pr. 
double( 双 )，272-274，277 ex. 
k-universal(k 全 域 )，284 pr. 
in memoization( 备 忘 )，365，387 
with open addressing( 用 开放 寻 址 )，269-277 
perfect( 完 全 的 )，277-282，285 
universal( 全 域 ) 265-268 
HASH-INSERT, 270, 277 ex. 
HASH-SEARCH, 271, 277 ex. 
hash table( 散 列表 ) 256-261 
dynamic( 动 态 的 ) ，471 ex. 
secondary( 二 次 )，278 
参见 hashing 
hash value( 散 列 值 )，256 
hat-check problem( 帽 子 核对 问题 ) 122 ex. 
head( 头 ) 


in a disk drive( 磁 盘 驱动 器 ) 485 
of a linked list( 链 表 ) 236 
of a queue( 队 列 )，234 
heap(#£), 151-169 
analyzed by potential method (用 势能 法 分 析 )， 
462 ex. 
binomial( 二 项 的 )，527 pr. 
building( 构 造 )，156-159，166 pr. 
d-ary(d SL), 167 pr. ; 706 pr. 
deletion from( 删 除 ) 166 ex. 
in Dijkstra’s algorithm(Dijkstra BYE), 662 
extracting the maximum key from( 抽 取 最 大 关键 
字 )，163 
Fibonacci GEAR), JL Fibonacci heap 
as garbage-collected storage( 作 为 垃圾 收集 存 
储 ) 151 
height of (高度 ) 153 
in Huffman’s algorithm (EHR EAH), 433 
to implement a mergeable heap( 实 现 可 合并 堆 )，506 
increasing a key in( 增 大 一 个 关键 字 )，163-164 
insertion into( 插 入 )，164 
in Johnson’s algorithm(Johnson 算法 )，704 
max-heap( fx HE), 152 
maximum key of( 最 大 关键 字 ) 163 
mergeable( 可 合并 的 ) JL mergeable heap 
min-heap( 最 小 堆 )，153 
in Prim’s algorithm(Prim 算法 )，636 
as a priority queue( 作 为 一 个 优先 队列 ) 162-166 
relaxed( 松 弛 的 )，530 
running times of operations on( 操 作 的 运行 时 间 )， 
506 fig, 
and treaps( 与 treap), 333 pr. 
2-3-4, 529 pr. 
HEAP-DECREASE-KEY, 165 ex. 
HEAP-DELETE, 166 ex. 
HEAP-EXTRACT-MAX, 163 
HEAP-EXTRACT-MIN, 165 ex. 
HEAP-INCREASE-KEY, 164 
HEAP-MAXIMUM, 163 
HEAP-MINIMUM, 165 ex. 
heap property Œ HJ PEI), 152 
maintenance of ($), 154-156 
vs. binary-search-tree property( 与 二 叉 搜索 树 的 性 
质 )，289 ex. 
heapsort( 堆 排序 )，151-169 


HEAPSORT, 160 
heel( 高 跟 鞋 ) 602 ex. 
height( 高 度 ) 
of a binomial tree( 二 项 树 ) 527 
black( 黑 )，309 
of a Br-tree(B 树 ) 489-490 
of a d-ary heap(d LH), 167 pr. 
of a decision tree( 决 策 树 ) 193 
exponential( 指 数 ) ，300 
of a heap(#E), 153 
of a node in a heap( 堆 中 结 点 ) 153, 159 ex. 
of a node in a tree( 树 中 结 点 ) 1177 
of a red-black tree( 红 黑 树 ) 309 
of a tree( 树 ) 1177 
height-balanced tree( 高 度 平衡 树 )，333 pr. 
height function( 高 度 函 数 ) ，in push-relabel algorithms 
(推送 - 重 贴标签 算法 ) 738 
hereditary family of subsets( 子 集 的 遗传 族 ) 437 
Hermitian matrix( 埃 尔 米 特 和 矩阵 )，832 ex. 
high endpoint of an interval( 区 间 的 高 端点 )，348 
hing function($ PAD. 573, 546 
HIRE-ASSISTANT, 115 
hiring problem( 雇 用 问题 ) 114-115, 123-124, 145 
on-line( 在 线 ) 139-141 
probabilistic analysis of (概率 分 析 ) 120-121 
hit( 命 中 ) 
cache( 缓 存 ) 449 pr. 
spurious( 假 的 ) 991 
HOARE-PARTITION, 185 pr. 
HOPCROFT-KARP, 764 pr. 
Hopcroft-Karp bipartite matching algorithm ( Hopcroft- 
Karp 二 分 匹配 算法 )，763 pr. 
horizontal ray( 水 平 射线 ) 1021 ex. 
Horner’s rule( 霍 纳 法 则 ) 41 pr. ，900 
in the Rabin-Karp algorithm(Rabin-Karp 算法 )， 
990 
HUFFMAN, 431 
Huffman code( 赫 夫 曼 编码 )，428-437，450 
hull( 包 ) ，convex( 凸 ) 8, 1029-1039, 1046 pr. 
hyperedge( 超 边 ) 1172 
hypergraph( 超 图 )，1172 
and bipartite graphs( 与 二 分 图 ) 1173 ex. 


I 


ideal parallel computer( 理 想 并 行 计 算 机 ) 779 
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idempotency laws for sets (RA KRF), 1159 
identity( 单 位 元 )，939 
identity matrix( 单 位 矩阵 )，1218 
ifGf J), in pseudocode( 伪 代码 中 )，20 
image( 像 )，1167 
image compression( 图 像 压 缩 )，409 pr. ，413 
inadmissible edge( 非 许可 边 )，749 
incidence( 人 射 ) 1169 
incidence matrix( 关 联 和 矩阵 ) 
and difference constraints( 与 差分 约束 )，666 
of a directed graph( 有 疝 图) ，448 pr., 593 ex. 
of an undirected graph( 无 向 图 )，448 pr. 
inclusion and exclusion(A FE), 1163 ex. 
incomplete step( 非 完全 步 )，782 
INCREASE-KEY, 162 
increasing a key( 对 一 个 关键 字 增值 )，in a max- 
heap( 在 最 大 堆 中 ) 163-164 
INCREMENT，454 
incremental design method( 增 量 设 计 方 法 ) 29 
for finding the convex hull( 寻 找 凸 包 ) 1030 
in-degree( 人 度 ) 1169 
indentation in pseudocode( 伪 代码 中 的 缩 进 ) 20 
independence( 独 立 ) 
of events( 事 件 )，1192-1193，1195 ex. 
of random variables( 随 机 变量 ) 1197 
of subproblems in dynamic programming (动态 规 
划 中 子 问题 )，383-384 
independent family of subsets( 子 集 的 独立 族 ) 437 
independent set( 独 立 集 )，1101 pr. 
of tasks( 任 务 ) 444 
independent strands( 独 立 链 ) 789 
index function( 指 标 函 数 )537，546 
index of an element of Z (Z 中 元 素 的 下 标 )，955 
indicator random variable (指示 器 随机 变量 )， 
118-121 
in analysis of expected height of a randomly built 
binary search tree( 随 机 构造 的 二 叉 搜索 树 的 
期 望 高 度 的 分 析 中 )，300-303 
in analysis of inserting into a treap( 问 treap 插入 
的 分 析 中 ) 333 pr. 
in analysis of streaks( 在 序列 的 分 析 中 ) 138-139 
in analysis of the birthday paradox( 在 生日 悖 论 的 
分 析 中 ) 132-133 
in approximation algorithm for MAX-3-CNF 
satisfiability( 在 MAX-3-CNF 可 满足 性 的 近 
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似 算法 中 ) 1124 
in bounding the right tail of the binomial distribution 
(二 项 分 布 的 右 尾 定 界 ) 1212-1213 
in bucket sort analysis (在 桶 排序 分 析 中 )，202- 
204 
expected value of( 期 望 值 ) 118 
in hashing analysis( 散 列 分 析 ) 259-260 
in hiring-problem analysis( 雇 用 问题 分 析 ) 120-121 
and linearity of expectation( 与 期 望 的 线性 性 ) 119 
in quicksort analysis( 快 速 排序 分 析 ) 182-184, 
187 pr. 
in randomized selection analysis( 随 机 选择 分 析 )， 
217-219, 226 ex. 
in universal-hashing analysis (全 域 散 列 分 析 )， 
265-266 
induced subgraph( 导 出 子 图 )，1171 
inequality constraint( 不 等 式 约 束 ) 852 
and equality constraints( 与 等 式 约 束 ) 853 
inequality( 不 等 式 ) ，linear( 线 性 的 ) 846 
infeasible linear program( 不 可 行 的 线性 规划 )，851 
infeasible solution( 不 可 行 解 )，851 
infinite sequence( 无 限 序列 )，1166 
infinite set( 无 限 集 )，1161 
infinite sum( 无 限 和 )，1145 
infinity( 无 限 大 ) arithmetic with( 算 术 )，650 
INITIALIZE-PREFLOW, 740 
INITIALIZE-SIMPLEX, 871, 887 
INITIALIZE-SINGLE-SOURCE, 648 
initial strand( 初 始 链 ) 779 
injective function( 单 射 函 数 ) 1167 
inner product( 内 积 )，1222 
inorder tree walk( 中 序 遍 历 )，287，293 ex ，342 
INORDER-TREE-WALK, 288 
in-place sorting( 原 址 排序 ) 17, 148, 206 pr. 
input( 输 入 ) 
to an algorithm( 算 法 )，5 
to a combinational circuit( 组 合 电路 ) 1071 
distribution of 分布 )，116，122 
to a logic gate( 逻 辑 门 ) ，1070 
size of( 规 模 ) ，25 
input alphabet( 输 入 字母 表 ) 995 
INSERT, 162, 230, 463 ex., 505 
insertion (4 A) 
into binary search trees(— XIRRI), 294-295 


into a bit vector with a superimposed binary tree 


(AABN Ve), 534 
into a bit vector with a superimposed tree of 
constant height( 具 有 恒定 高 度 至 加 二 叉 树 的 
位 向 量 ) 534 
into B-trees(B#}), 493-497 
into chained hash tables( 链 接 散 列表 )，258 
into d-ary heaps(d LH), 167 pr. 
into direct-address tables( 直 接地 址 表 ) 254 
into dynamic tables( 动 态 表 ) 464-467 
elementary( 基 础 ) 465 
into Fibonacci heaps( 斐 波 那 契 堆 ) 510-511 
into heaps(HE), 164 
into interval trees( 区 间 树 ) 349 
into linked lists( 链 表 ) ，237-238 
into open-address hash tables (至 开放 寻 址 散 列 
2 
into order-statistic trees( 顺 序 统 计 树 ) 343 
into proto van Emde Boas structures (原型 van 
Emde Boas 2474), 544 
into queues( BAF), 234 
into red-black trees( 红 黑 树 ) 315-323 
into stacks(#¥), 232 
into sweep-line statuses( 扫 除 线 状 态 ) 1024 
into 2-3-4 heaps(2-3-4 HE), 529 pr. 
into van Emde Boas trees (van Emde Boas 树 )， 
552-554 
into Young tableaus( Young RÆ), 167 pr. 
insertion sort( 插 人 排序 ) 12, 16-20, 25-27 
in bucket sort( 桶 排序 ) 201-204 
compared to merge sort( 与 归并 排序 比较 )，14 ex 
. compared to quicksort( 与 快速 排序 比较 )，178 ex. 
decision tree for( 决 策 树 ) 192 fig. 
in merge sort( 归 并 排序 ) 39 pr. 
in quicksort( 快 速 排序 ) 185 ex. 
using binary search( 用 二 分 查找 ) 39 ex. 
INSERTION-SORT, 18, 26, 208 pr. 
instance( 实 例 ) 
of an abstract problem( 抽 象 问题 ) 1051, 1054 
of a problem( 问 题 )，5 
instructions of the RAM model (RAM 模型 的 指 
令 )，23 
integer data type( 整 数 数据 类 型 ) 23 
integer linear-programming (整数 线性 规划 )，850， 
895 pr. , 1101 ex. 
integers( #3) (Z), 1158 


integer-valued flow( 整 数值 的 流 )，733 
integrality theorem( 整 数 定理 )，734 
integral( 积 分 )，to approximate summations( 近 似 求 
和 )，1154-1156 
integration of series( 级 数 的 积分 )，1147 
interior of a polygon( 多 边 形 的 内 部 )，1020 ex. 
interior-point method( 内 点 法 ) 850, 897 
intermediate vertex( 中 间 结 点 ) 693 
internal node( 内 部 结 点 )，1176 
internal path length( 内 部 路 径 长 度 ) 1180 ex. 
interpolation by a cubic spline( 用 三 次 样 条 插值 )， 
840 pr. 
interpolation by a polynomial( 用 多 项 式 插值 )，901， 
906 ex. 
at complex roots of unity( 在 单位 复 根 处 )，912-913 
intersection( 交 叉 点 ) 
of chords( 弱 ) 345 ex. 
determining( 确 定 ) for a set of line segments(— 
系列 线段 ) 1021-1029, 1047 
determining( 确 定 ) for two line segments( 两 条 
线段 ) 1017-1019 
of languages( 语 言 ) 1058 
of sets( 集 合 )( 门 )，1159 
interval( 区 间 )，348 
fuzzy sorting of( 模 糊 排序 ) 189 pr. 
INTERVAL-DELETE，349 
interval-graph( 区 间 图 ) 422 ex. 
INTERVAL-INSERT, 349 
INTERVAL-SEARCH, 349, 351 
INTERVAL-SEARCH-EXACTLY, 354 ex. 
interval tree( 区 间 树 ) 348-354 
interval trichotomy( 区 间 三 分 法 ) 348 
intractability RF), 1048 
invalid shift( 无 效 偏 移 ) 985 
inverse( 首 元 ) 
of a bijective function( 双 射 函数 ) 1167 
in a group(##), 940 
of a matrix( 和 矩阵 ) 827-831, 842, 1223, 
1225 ex. 
multiplicative( FE), modulo n% n), 949 
inversion (jit FF) 
in a self-organizing list( 自 组 织 表 中 ) 476 pr. 
in a sequence (序列 中 )，41 pr., 122 ex., 
345 ex. 
inverter( 逆 变 器 )，1070 
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invertible matrix( 可 逆 矩 阵 ) 1223 

isolated vertex( 和 孤立 顶点 )，1169 

isomorphic graphs( 同 构图 )，1171 

iterated function( 多 重水 数 )，63 pr. 

iterated logarithm function( 多 重 对 数 函 数 )，58-59 
ITERATIVE-FFT, 917 
ITERATIVE-TREE-SEARCH, 291 

iter function( 迭 代 函 数 )，577 


J 


Jarvis’s march(Jarvis 步 进 法 ) 1037-1038, 1047 
Jensen’s inequality(Jensen 不 等 式 )，1199 
JOHNSON, 704 
Johnson’s algorithm(Johnson 算法 ) 700-706 
joining GE$% ) 

of red-black trees( 红 黑 树 ) 332 pr. 

of 2-3-4 trees(2-3-4 $f), 503 pr. 
joint probability density function (联合 概率 密度 函 

数 )，1197 

Josephus permutation(Josephus 排列 ) ，355 pr. 


K 


Karmarkar’s algorithm(Karmarkar 算法 ) 897 
Karp’s minimum mean-weight cycle algorithm( Karp 
最 小 平均 权 回 路 算法 ) 680 pr. 
k-ary tree(k XMM), 1179 
k-CNF, 1049 
k-coloring(k #4 4,), 1103 pr. , 1180 pr. 
k-combination(k 444), 1185 
k-conjunctive normal form(k 合 取 范式 )，1049 
kernel of a polygon( 多 边 形 的 内 核 )，1038 ex. 
key( 关 键 字 ) 16, 147, 162, 229 
dummy({4), 397 
interpreted as a natural number( 转 换 为 自然 数 )，263 
median (中 位 数 )，of a Btree node (B 树 结 
点 )，493 
public( 公 开 的 )，959，962 
secret( 秘 密 的 )，959，962 
static( 静 态 的 ) 277 
keyowrds (3 # =), in pseudocode ( 伪 代 码 中 )， 
20-22 
mnultithreaded( 多 线程 ) 774, 776-777, 785-786 
“killer adversary”for quicksort( 快 速 排序 的 “杀手 级 
对 手 ”)，190 
Kirchhoff’s current law (kirchhoff 电流 定律 )，708 
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Kleene star(Kleene #)(* )，1058 
KMP algorithm(KMP 算法 ) 1002-1013 
KMP-MATCHER, 1005 
knapsack problem( 背 包 问 题 ) 
fractional( 部 分 的 ) 426, 428 ex. 
0-1, 425, 427 ex., 1137 pr., 1139 
k-neighbor tree(k 邻居 树 ) 338 
knot(4§), of a spline( 样 条 )，840 pr. 
Knuth-Morris-Pratt algorithm ( Knuth-Morris-Pratt 
算法 ) 1002-1013 
k-permutation(k 排列 )，126，1184 
Kraft inequality(Kraft 不 等 式 )，1180 ex. 
Kruskal’s algorithm(Kruskal 算法 ) 631-633, 642 
with integer edge weights( 带 整数 边 权 重 ) 637 ex 
k-sorted(k 有 序 的 ) 207 pr. 
k-string(k FE), 1184 
k-subset(k FÆ), 1161 
k-substring(k FF), 1184 
kth power(k WF), 933 ex. 
# k-universal hashing(k 全 域 散 列 ) 284 pr. 


L 


Lagrange’s formula( 拉 格 朗 日 公式 )，902 
Lagrange’s theorem( 拉 格 朗 日 定理 ) 944 
Lamé’s theorem(Lamé 定理 ) 936 
language( 语 言 )，1057 

completeness of( 完 全 性 ) 1077 ex. 

proving NP-completeness of (NP 完全 性 证 明 )， 

1078-1079 

verification of( 验 证 )，1063 
last-in( 后 进 )，first-out( 先 出 )，232 

参见 stack 
late task( 迟 任务 )，444 
layers( 层 ) 

convex( 4 fj), 1044 pr. 

maximal( 最 大 的 ) 1045 pr. 
LCA, 584 pr. 
lc mCleast common mnultiple)( 最 小 公 倍 数 ) 939 ex 
LCS, 7, 390-397, 413 
LCS-LENGTH, 394 
leading submatrix (EFA), 833, 839 ex. 
leaf( 叶 子 ) 1176 
least common ancestor( 最 小 公共 祖先 ) 584 pr. 
least common mnultiple( 最 小 公 倍 数 ) 939 ex. 
least-squares approximation ( & /|\ — R iB if), 


835-839 
leaving a vertex( 离 开 一 个 顶点 )，1169 
leaving variable( 蔡 出 变量 ) 867 
LEFT, 152 
left child EHF), 1178 
left -child( 左 孩子 ) right-sibling representation( 4 
兄弟 表示 法 ) 246, 249 ex. 
LEFT-ROTATE, 313, 353 ex. 
left rotation(AE fe), 312 
left spine(Æ# 4t), 333 pr. 
left subtree( 左 子 树 ) 1178 


Legendre symbol( =) ( 勒 让 德 符 号 )，982 pr. 


length( 长 度 ) 
of a path( 路 径 )，1170 
of a sequence( 序 列 )，1166 
of a spine }}), 333 pr. 
of a string( 字 符 串 )，986 ，1184 
level( 阶 ) 
of a function( 函 数 的 阶 ) 573 
of a tree( 树 ) 1177 
lexicographically less than( 字 典 序 小 于 ) 304 pr. 
lexicographic sorting( 字 典 排序 ) 304 pr. 
lg(binary logarithm) (2 为 底 的 对 数 ) 56 
lg* (iterated logarithm function) (多 重 对 数 函 数 )， 
58-59 
lgt (exponentiation of logarithms) (对 数 的 指数 ) 56 
lg lg(composition of logarithms)( 对 数 复合 ) 56 
LIFO(last-in，first-out) (后 进 先 出 )，232 
参见 stack 
light edge( 轻 量 级 边 )，626 
linear constraint( 线 性 约束 )，846 
linear dependence( 线 性 相关 ) 1223 
linear equality (REE), 845 
linear equations( 线 性 方程 ) 
solving modular( 求 解 模 ) ，946-950 
solving systems of (组 的 求解 )，813-827 
solving tridiagonal systems of (三 对 角 方 程 组 求 
fÆ), 840 pr. 
linear function( 线 性 函数 ) 26, 845 
linear independence( 线 性 独立 ) 1223 
linear inequality( 线 性 不 等 式 )，846 
linear-inequality feasibility problem( 线 性 不 等 式 可 行 
性 问题 ) ，894 pr. 
linearity of expectation( 期 望 的 线性 性 ) 1198 
and indicator random variables( 指 示 器 随机 变量 )， 


119 
linearity of summations( 和 的 线性 性 ) 1146 
linear order( 线 性 序 ) 1165 
linear permuation( 线 性 排列 ) 1229 pr. 
linear probing( 线 性 探测 ) 272 
linear programming( 线 性 规划 )，7，843-897 
algorithms for( 算 法 ) 850 
applications of( 应 用 ) 849 
duality in( 对 偶 性 )，879-886 
ellopsoid algorithm for ERI), 850, 897 
finding an initial solution for( 寻 找 一 个 初始 解 )， 
886-891 
fundamental theorem of( 基 本 定理 ) 892 
interior-point methods for( 内 点 法 ) 850, 897 
Karmarkar’s algorithm for(Karmarkar 算法 ) 897 
and maximum flow( 与 最 大 流 )，860-861 
and minimum-cost flow( 与 最 小 费用 流 )，861-862 
and minimum-cost multicommodity flow( 与 最 小 费 
用 多 商品 流 )，864 ex. 
and multicommodity flow( 与 多 商品 流 )，862-863 
simplex algorithm for( 单 纯 形 法 )，864-879，896 
and single-pair shortest path (与 单 对 结 点 最 短路 
4%), 859-860 
and single-source shortest paths (与 单 源 最 短路 
径 ) 664-670, 863 ex. 
slack form for( 松 弛 型 )，854-857 
standard form for( 标 准 型 )，850-854 
参见 integer linear-programming problem, 0-1 
integer-programming problem 
linear-programming relaxation( 线 性 规划 松弛 )，1125 
linear search( 线 性 查找 ) 22 ex. 
linear speedup( 线 性 加 速 ) 780 
line segment( 线 段 ) 1015 
determining turn of( 确 定 它 的 转向 )，1017 
determining whether any intersect( 确 定 任 意 线 段 
是 否 相交 ) ，1021-1029，1047 
determining whether two intersect( 确 定 两 条 线段 
是 否 相 交 )，1017-1019 
link( 链 接 ) 
of binomial trees( 二 项 树 ) 527 pr. 
of Fibonacci-heap roots( 斐 波 那 契 堆 的 根 )，513 
LINK, 571 
linked list( 链 表 ) 236-241 
compact H9), 245 ex. ，250 pr. 
deletion from( 删 除 ) 238 
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to implement disjoint sets (实现 不 相交 集合 )， 
564-568 
insertion into( 插 入 )，237-238 
neighbor list( 邻 居 列 表 )，750 
searching( 查 找 )，237，268 ex. 
list( 列 表 )， 见 linked list 
LIST-DELETE, 238 
LIST-DELETE’, 238 
LIST-INSERT, 238 
LIST-INSERT’, 240 
LIST-SEARCH, 237 
LIST-SEARCH’, 239 
literal CFA), 1082 
little-oh notation(/)\ o 记 号) 50-51, 64 
littleomega notation(K Q 记号 ) 51 
L,,-distance(L,, ABS), 1044 ex. 
In(natural logarithm) (自然 对 数 )，56 
load factor( 装 载 因子 ) 
of a dynamic table( 动 态 表 ) 463 
of a hash table( 散 列表 ) 258 
load instruction( 装 载 指令 )，23 
local variable( 局 部 变量 ) 21 
logarithm function( 对 数 函 数 )(log) 56-57 
logical parallelism( 逻 辑 并 行 度 ) 777 
discrete( 离 散 的 ) 955 
iterated( 多 重 的 )(lg* )，58-59 
logic gate( 逻 辑 门 )，1070 
longest common subsequence( 最 长 公共 子 序列 ) 7, 
390-397, 413 
longest palindrome subsequence( 最 长 回 文子 序列 )， 
405 pr. 
LONGEST-PATH, 1060 ex. 
LONGEST-PATH-LENGTH, 1060 ex. 
longest-simple cycle( 最 长 简单 环 ) 1101 ex. 
longest simple path( 最 常 简单 路 径 ) ，1048 
in an unweighted graph( 在 一 个 无 权 图 中 ) 382 
in a weighted directed acyclic graph( 在 带 权 有 向 无 
环 图 中 )，404 pr. 
LOOKUP-CHAIN, 388 
loop( 循 环 ) in pseudocode( 在 伪 代 码 中 )，20 
parallel( 并 行 )，785-787 
loop invariant( 循 环 不 变 式 )，18-19 
for breadth-first search( 广 度 优 先 搜索 )，595 
for building a heap( 构 造 堆 )，157 
for consolidating the root list of a Fibonacci heap 
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(合并 斐 波 那 契 堆 的 根 列 表 ) ，517 

for determining the rank of an element in an order- 
statistic tree( 确 定 顺 序 统计 树 中 一 个 元 素 的 
Fk), 342 

for Dijkstra’s algorithm(Dijkstra 算法 ) 660 

for the generic minimum-spanning-tree algorithm 
(用 于 通用 最 小 生成 树 算法 ) 625 

for the generic push-relabel algorithm( 用 于 通用 推 
送 - 重 贴标签 算法 ) 743 

for heapsort(HEHEFF), 160 ex. 

for Horner’s rule( 霍 纳 法 则 ) 41 pr. 

for increasing a key in a heap( 增 大 堆 中 一 个 关键 
字 )，166 ex. 

initialization of( 初 始 化 )，19 

for insertion sort( 插 入 排序 )，18 

maintenance of( 维 护 )，19 

for merging( 归 并 )，32 

for modular exponentiation FREE), 957 

origin of 起源) 42 

for partitioning(J4}), 171 

for Prim’s algorithm(Prim 算法 ) 636 

for the Rabin-Karp algorithm ( Rabin-Karp @ 

W). 993 

for randomly permuting an array( 随 机 排列 一 个 数 
组 )，127 

for red-black tree insertion( 红 黑 树 插入 )，318 

for the relabel-to-front algorithm( 前 置 重 贴标签 算 
法 )，755 

for searching an interval tree( 搜 索 区 间 树 )，352 

for simplex algorithm( 单 纯 形 算法 )，872 

for string-matching automata (字符 串 匹 配 自动 
机 )，998，1000 

and termination( 与 终止 )，19 

low endpoint of an interval( 区 间 的 低 端点 ) 348 
lower bounds( 下 界 ) 

for average sorting (平均 排序 ) 207 pr. 

on binomial coefficients (Z MRO, 1186 

for comparting water jugs( 区 分 水 壶 ) 206 pr. 

for convex hull( 凸 包 ) 1038 ex., 1047 

for disjoint-set data structures (不 相交 集合 数据 
结构 )，585 

for finding the minimun( 找 最 小 值 ) 214 

for finding the predecessor( 找 前 驱 ) 560 

for length of an optimal traveling-salesman tour 


最 优 旅 行商 回路 的 长 度 ) 1112-1115 


for median finding( 中 位 数 寻 找 )，227 
for merging( 归 并 ) ，208 pr. 
for minimum-weight vertex cover( 最 小 权 顶 点 履 
盖 )，1124-1126 
for multithreaded computations( 多 线程 计算 )，780 
and potential functions( 与 势 函数 ) 478 
for priority-queue operations (优先 队列 操 
作 )，531 
and recurrences， (与 递归 式 )67 
for simultaneous minimum and maximum, (同时 
找到 最 小 值 和 最 大 值 )215 ex. 
for size of optimal vertex cover fi TAN 
规模 ) 1110, 1135 pr. 
for sorting( 排 序 ) 191-194, 205 pr., 211, 531 
for streaks( 序 列 ) 136-138, 142 ex. 
on summations(3R#), 1152, 1154 
lower median( 低 中 位 数 ) 213 


lower square root( CREW). 546 
lower-triangular matrix ( F = ff # ME), 1219, 
1222ex. , 1225ex. 
low function, (low 函数 )537，546 
LU decomposition(LU 4}##), 806 pr. , 819-822 
LU-DECOMPOSITION, 821 
LUP decomposition(LUP 4}##), 806 pr. 815 
computation of( 计 算 ) 823-825 
of a diagonal matrix( 对 角 和 矩阵 ) 827 ex. 
in matrix inversion( 和 矩阵 求 道 ) 828 
and matrix multiplication( 与 矩阵 乘法 )，832 ex. 
of a permutation matrix( 置 换 矩 阵 ， 排 列 矩 阵 )， 
827 ex. 
use of (用 途 ) 815-819 
LUP-DECOMPOSITION, 824 
LUP-SOLVE, 817 
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main memory( fF), 484 
MAKE-HEAP, 505 
MAKE-SET, 561 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 )，571 
linked-list implementation of (链表 实现 ) 564 
makespan( 跨 度 ) 1136 pr. 
MAKE-TREE, 583 pr. 
Manhattan distance (曼哈顿 距离 )，225 pr., 
1044 ex. 


marked node( 带 标记 的 结 点 )，508，519-520 
Markov’s inequality( 马 尔 可 夫 不 等 式 )，1201 ex. 
master method for solving a recurrence( 解 递归 式 的 
主 方法 ) ，93-97 
master theorem( 主 定理 ) 94 
proof of EHH), 97-106 
matched vertex( 匹 配 的 结 点 )，732 
matching( 匹 配 ) 
bipartite( 二 分 )，732，763 pr. 
maximal( 极 大 )，1110，1135 pr. 
maximum( 最 大 )，1135 pr. 
and maximum flow( 与 最 大 流 )，732-736，747 ex 
perfect( 完 全 ) 735 ex. 
of strings), 985-1013 
weighted bipartite( 加 权 二 分 )，530 
matric matroid (4E MIU), 437 
matrix( fi), 1217-1229 
addition of( 加 法 ) 1220 
adjacency( 邻 接 ) 591 
conjugate transpose of (4tik E), 832 ex. 
determinant of (行列 式 )，1224-1225 
diagonal( 对 角 )，1218 
Hermitian( 埃 尔 米 特 ) 832 ex. 
identity( 单 位 )，1218 
incidence( 关 联 )，448 pr. ，593 ex. 
inversion of(j,)806 pr. , 827-831, 842 
lower-triangular( F =f), 1219, 1222 ex. , 1225ex. 
multiplication of( 乘 法 ) Yl matrix multiplication 
negative of (1), 1220 
permutation( 排 列 ， 置 换 ) 1220, 1222 ex. 
predecessor( 前 驱 )，685 
product of ( 积 ) with a vector( 与 向 量 )，785-787， 
789-790, 792 ex. 
pseudoinverse of (4), 837 
scalar multiple of( 标 量 乘法 ) 1220 
subtraction of( 减 法 ) 1221 
symmetric( 对 称 )，1220 
symmetric positive-definite (对 称 正 定 )，832- 
835，842 
Toeplitz( 特 普 利 蒋 )，921 pr. 
transpose of( 转 置 ) 797 ex., 1217 
transpose of( 转 置 )，multithreaded( 多 线程 )，792 ex 
tridiagonal( 三 对 角 )，1219 
unit lower-triangular( 单 位 下 三 角 )，1219 
unit upper-triangular( 单 位 上 三 角 )，1219 
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upper-triangular( 上 三 角 )，1219，1225 ex. 
Vandermonde( 范 德 蒙 德 ) 902, 1226 pr. 
matrix-chain multiplication( 和 矩阵 链 乘 法 )，370-378 
MATRIX-CHAIN-MULTIPLY 
MATRIX-CHAIN-ORDER, 336 
matrix inversion( 和 矩阵 求 道 )，75-83，1221 
matrix multiplication ERER), 75-83, 1221 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
4%), 686-693, 706-707 
boolean( 布 尔 ) 832 ex. 
and computing the determinant( 与 计算 行列 式 )， 
832 ex. 
divide-and-conquer method for( 分 治 法 ) 76-83 
and LUP decomposition (与 LUP 分 解 ) 832 ex. 
and matrix inversion SJE RERI), 828-831, 842 
multithreaded algorithm for( 多 线程 算法 )，792- 
797, 806 pr. 
Pan’s method for(Pan 方法 ) 82 ex. 
Strassen’s algorithm for(Strassen 算法 )，79-83， 
111-112 
MATRIX-MULTIPLY, 371 
matrix-vector multiplication (#1 ME m E R HE), 
multithreaded( 422)» 785-787, 792 ex. 
with race($z4), 789-790 
matroid( 拟 阵 ) 437-443, 448 pr, 450-647. 
for task scheduling (E45 JHE), 443-446 
MAT-VEC, 785 
MAT-VEC-MAIN-LOOP, 786 
MAT-VEC-WRONG, 790 
MAX-CMF satisfiability ( MAX-CNF 可 满足 性 )， 
1127 ex. 
MAX-CUT problem(MAX-CUT 问题 ) 1127 ex. 
MAX-FLOW-BY-SCALING, 763 pr. 
max-flow min-cut theorem( 最 大 流 最 小 切割 定理 )， 
T23 
max-heap ( RAKHE), 152 
building #4##), 156-159 
d-ary(d XL), 167 pr. 
deletion from( 删 除 ) 142 ex. 
extracting the maximum key from( 抽 取 最 大 关键 
字 )，163 
in heapsort( 扒 排序 ) 159-162 
increasing a key in( 增 大 一 个 关键 字 ) 163-164 
insertion into(##A), 164 
maximum key of RAKES), 163 
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as a max priority queue( 作 为 一 个 最 大 优先 队列 )， 
162-166 
mergeable( 可 合并 的 )，250 n., 481 n., 505 n. 
MAX-HEAPIFY, 154 
MAX-HEAP-INSERT, 164 
building a heap with( 构 造 堆 )，166 pr. 
max-heap property( 最 大 堆 的 性 质 ) 152 
maintenance of( 维 护 ) 154-156 
maximal element( 最 大 元 ) ，of a partially ordered set 
〈 偏 序 集 )，1165 
maximal layers( 最 大 层 ) ，1045 pr. 
maximal matching( 极 大 匹配 ) 1110, 1135 pr. 
maximal point( 极 大 点 )，1045 pr. 
maximal subset (最 大 子 集 )，in a matroid( 拟 阵 
中 )，438 
maximization linear program( 最 大 化 线性 规划 )， 
846 
and minimization linear programs (与 最 小 化 线性 
规划 )，852 
maximum( 最 大 值 )，213 
in binary search trees( 二 叉 搜 索 树 )，291 
of a binomial distribution( 二 项 分 布 )，1207 ex. 
in a bit vector with a superimposed binary tree( 具 
有 登 加 二 又 树 的 位 向 量 )，533 
in a bit vector with a superimposed tree of constant 
height( 具 有 恒定 高 度 合 加 树 的 位 向 量 )，535 
finding( 寻 找 )，214-215 
in heaps(HE), 163 
in order-statistic trees( 顺 序 统计 树 ) 347 ex. 
in proto van Emde Boas strctures( 原 型 van Emde 
Boas 结构 ) ，544 ex. 
in red-black trees( 红 黑 树 ) 311 
in van Emde Boas trees( Van Emde Boas 树 ) 550 
MAXIMUM, 162-163, 230 
maximum bipartite matching (4% K — 4} Vl He), 732- 
736, 747 ex: » 766 
Hopcroft-Karp algorithm for ( Hopcroft-Karp 算 
¥%E), 763 pr. 
maximum degree (最 大 度数 )，in a Fibonacci heap 
( 斐 波 那 契 堆 ) 509, 523-526 
maximum flow( 最 大 流 )，708-766 
Edmonds-Karp algorithm for (Edmonds-Karp 算 
W), 727-730 
Ford -Fulkerson method for ( Ford-Fulkerson 7 
YE), 714-731, 765 


as a linear program( 作 为 一 个 线性 规划 )，860-861 
and maximum bipartite matching (与 最 大 二 分 匹 
配 )，732-736 ，747 ex. 
push-relabel algorithms for (推送 - 重 贴 标签 算 
法 )，736-760，765 
relabel-to-front algorithm for( 前 量 重 贴 标签 算 
法 )，748-760 
scaling algorithm for( 伸 缩 算法 )，762 pr., 765 
updating( 更 新 )，762 pr. 
maximum matching( 最 大 匹配 ) 1135 pr. 
maximum spanning tree( 最 大 生成 树 ) 1137 pr. 
maximum-subarray problem( 最 大 子 数 组 问题 )，68- 
75, 111 
max-priority queue( 最 大 优先 队列 ) 162 
MAX-3-CNF satisfiability(MAX-3-CNF 可 满足 性 )， 
1123-1124, 1139 
MAYBE-MST-A, 641 pr. 
MAYBE-MST-B, 641 pr. 
MAYBE-MST-C, 641 pr. 
mean( 均 值 )， 见 expected value 
mean weight of a cycle( 环 的 平均 权重 ) ，680 pr. 
median( 中 位 数 ) 213-227 
multithreaded algorithm for( 多 线程 算法 ) 805 ex. 
of sorted lists( 排 序 表 ) 223 ex. 
of two sorted lists( 两 个 有 序列 表 ) 804 ex. 
weighted( 带 权 的 )，225 pr. 
median key( 中 位 数 关 键 字 )，of a Btree node(B 树 
结 点 )，493 
median-of-3 method( 三 数 取 中 方法 )，188 pr. 
member of a set( 集 合 的 成 员 )(E)，1158 
membership( 成 员 ) 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 )，540-541 
in van Emde Boas tress(van Emdle Boas 树 )，550 
memoization( 备 忘 )，365，387-389 
MEMOIZED-CUT-ROD, 365 
MEMOIZED-CUT-ROD-AUX, 366 
MEMOIZED-MATRIX-CHAIN, 388 
memory( 内 存 ， 存 储 器 ) 484 
memory hierarchy( 存 储 器 分 层 体系 )，24 
MERGE, 31 
mergeable heap( 可 合并 堆 )，481，505 
binomial heaps (Z mHE), 527 pr. 
linked-list implementation of( 链 表 实 现 ) 250 pr. 
relaxed heapbs( 松 弛 堆 ) 530 


running times of operations on( 操 作 的 运行 时 间 )， 
506 fig. 
2-3-4 heaps(2-3-4 堆 )，529 pr. 
参见 Fibonacci heap 
mergeable max-heap (可 合并 的 最 大 堆 )，250 n., 
481 n. , 505 n. 
mergeable min-heap (可 合并 的 最 小 堆 )，250 n., 
481 n., 505 
MERGE-LISTS, 1129 
merge sort( 归 并 排序 ) 12, 30-37 
compared with insertion sort( 与 插入 排序 比较 ),14 ex. 
multithreaded algorithm for( 多 线程 算法 )，797- 
805, 812 
use of insertion sort in( 用 插入 排序 ) 39 pr. 
MERGE-SORT, 34 
MERGE-SORT’, 797 
merging (J53+) 
of k sorted lists(k 有 序列 表 ) 166 ex. 
lower bounds for( > #), 208 pr. 
mult ithreaded algorithm for (多 线程 算法 )， 
798-901 
of two sorted arrays( 两 个 有 序数 组 ) 30 
MILLER-RABIN，970 
Miller-Rabin primality test(Miller-Rabin 素数 测试 )， 
968-975，983 
MIN-GAP, 354 ex. 
min-heap( 最 小 堆 )，153 
analyzed by potential method (用 势能 法 分 析 )， 
462 ex. 
building), 156-159 
d-ary(d XL), 706 pr. 
in Dijkstra’s algorithm(Dijkstra BYE), 662 
in Huffman’s algorithm ARZA), 433 
in Johnson’s algorithm(Johnson 算法 ) 704 
mergeable( 可 合并 的 ) 250 n., 481 n., 505 
as a mimpriority queue( 作 为 最 小 优先 队列 ) 165 ex. 
in Prim’s algorithm(Prim 算法 ) 636 
MIN-HEAPIFY, 156 ex. 
MIN-HEAP-INSERT, 165 ex. 
min-heap-ordering( 最 小 堆 顺 序 的 ) 507 
min-heap property( 最 小 堆 性 质 ) 153, 507 
maintenance of (维护 ) 156 ex. 
in treaps(treap 中 ) 333 pr. 
vs. binary-search-tree property (5 — N H R py HE 
质 ) 289 ex. 
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minimization linear program( 最 小 化 线性 规划 ) ，846 
and maximization linear programs( 与 最 大 化 线性 
规划 )，852 
minimum( 最 小 值 )，213 
in binary search trees( 二 又 搜索 树 ) 291 
in a bit vector with a superimposed binary tree( 具 
有 丢 加 二 又 树 的 位 向 量 )，533 
in a bit vector with a superimposed tree of constant 
height RA fH xe i ES TY aE), 535 
in B-trees(B $), 497 ex. 
in Fibonacci heaps (GEAR RHE), 511 
finding (44%), 214-215 
off-line( ARAL), 582 pr. 
in order-statistic trees( 顺 序 统 计 树 ) 347 ex. 
in proto van Emde Boas structurs( 原 型 Van Emde 
Boas 结构 ) 541-542 
in red-black trees( 红 黑 树 ) 311 
MINIMUM, 162, 214, 230, 505 
minimum-cost circulation( 最 小 代价 电路 ) 896 pr. 
minimum-cost flow( 最 小 代价 流 ) 861-862 
minimum-cost multicommodity flow( 最 小 代价 多 商 
品 流 ) 864 ex. 
minimum-cost spanning tree( 最 小 代价 生成 树 ) TL 
minimum spanning tree 
minimum cut( 最 小 切割 )，721，731 ex. 
minimum degree (最 小 度数 )，of a Btree (B $ 
的 )，489 
minimum mear weight cycle( 最 小 平均 权重 环 路 ) ，680 
pr. 
minimum node of a Fibonacci heap( 斐 波 那 契 堆 的 最 
小 结 点 )，508 
minimum path cover( 最 小 路 径 覆 盖 ) 761 pr. 
minimum spanning tree( 最 小 生成 树 ) 624-642 
in approximation algorithm for traveling-salesman 
problem( 旅 行商 问题 的 近似 算法 ) 1112 
Bortivka’s algorithm for(Boruvka 算法 )，641 
on dynamic graphs( 动 态 图 ) 637 ex. 
generic method for( 一 般 方法 ) 625-630 
Kruskal’s algorithm for(Kruskal 算法 ) 631-633 
Prim’s algorithm for(Prim #7), 634, 636 
relation to matroids( 与 拟 阵 的 关系 )，437，439-440 
second-best( 次 优 ) 638 pr. 
minimum weight spanning tree (最 小 权 生 成 树 )， 见 
minimum spanning tree 
minimum-weight vertex cover( 最 小 权 顶 点 覆盖 )， 
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1124-1127, 1139 
minor of a matrix( 矩 阵 的 子 式 )，1224 
mim priority queue( 最 小 优先 队列 ) 162 
in constructing Huffman codes (构造 赫 夫 曼 编 
码 )，431 
in Dijkstra’s algorithm(Dijkstra 算法 )，661 
in Prim’s algorithm(Prim 算法 ) 634-636 
miss( 缺 失 ) 449 pr. 
missing child( 缺 孩子 ) 1178 
mod( 模 )，54，928 
modifying operation( 修 改 操作 )，230 
modular arithmetic ( 模 运 算 )，54，923 pr., 
939-946 
modular equivalence( 模 等 价 ) 54, 1165 ex. 
modular exponentiation ($ FE), 956 
MODULAR-EXPONENTIATION, 957 
modular linear equations( 模 线性 方程 )，946-950 
MODULAR-LINEAR-EQUATION-SOLVER, 949 
modulo( 模 )，54，928 
Monge array(Monge 数组 )，110 pr. 
monotone sequence( 单 调 序列 )，168 
monotonically decreasing( 单 调 递 减 )，53 
monotonically increasing( 单 调 递 增 ) 53 
Monty Hall problem(Monty Hall 问题 ) 1195 ex. 
move-to-front heuristic( 移 至 前 端 启发 式 策 略 ) 476 
Dr., 478 
MST-KRUSKAL, 631 
MST-PRIM, 634 
MST-REDUCE, 639 pr. 
much-greater-than(>>) G@KF), 574 
much-less-than(<) ( 远 小 于 ) 783 
multicommodity flow( 多 商品 流 )，862-863 
minimnum-cost( 最 小 代价 ) 864 ex. 
multicore computer( 多 核 计 算 机 )，772 
multidimensional Fast Fourier Transform( 多 维 快速 
EER), 921 pr. 
multigraph( 多 重 图 )，1172 
converting to equivalent undirected graph( 转 换 成 
等 价 的 无 向 图 ) ，593 ex. 
multiple( 倍 数 ) 927 
of an element modulo 2( 元 素 模 n), 946-950 
least common( 最 小 公共 ) 939 ex. 
scalar( 标 量 ) 1220 
multiple assignment( 多 重 赋值 ) 21 
multiple sources and sinks( 多 个 源 点 和 汇 点 )，647 


multiplication( Fe) 
of complex numbers( 复 数 ) 83 ex. 
divide-and-conquer method for( 分 治 法 ) 920 pr. 
of matrices( 和 矩阵 ) J matrix multiplication 
of a matrix chain( 和 矩阵 链 ) 370-378 
matrix-vector (矩阵 向 量 )，multithreaded (多 线 
程 )，785-787，789-790，792 ex. 
modulo n(#i2)€*,), 940 
of polynomials( 多 项 式 )，899 
multiplication method( 乘 法 方法 ) 263-264 
multiplicative group modulo n% ”的 乘法 群 )，941 
multiplicative inverse RJT), modulo n( 模 n)，949 
multiply instruction( 乘 法 指令 )，23 
MULTIPOP，453 
multiprocessor( 多 处 理 器 ) 772 
MULTIPUSH, 456 ex. 
multiset( 多 重 集合 ) 1158 n. 
multithreaded algorithm (多 线程 算法 )，10， 
772-812 
for computing Fibonacci numbers( 计 算 翡 波 那 契 
数 ) 774-780 
for fast Fourier transformn( 快 速 傅 里 时 变换 ) 804 ex 
Floyd-Warshall algorithm ( Floyd-Warshall 算 法 )， 
797 ex. 
for LU decomposition(LU 4}/#), 806 pr. 
for LUP decomposition(LUP 44), 806 pr. 
for matrix inversion( 和 矩阵 求 道 )，806 pr. 
for matrix multiplication (4E 阵 RÆ 法 )，792-797， 
806 pr. 
for matrix transpose( 和 矩阵 转 置 )，792 ex., 797 ex. 
for matrix-vector product( 和 矩阵 -向 量 积 )，785- 
787, 789-790, 792 ex. 
for median( 中 位 数 ) 805 ex. 
for merge sorting( 归 并 排序 ) 797-805, 812 
for merging( 上 归并 ) 798-801 
for order statistis( 顺 序 统 计量 ) 805 ex. 
for partitioning( 划 分 ) 804 ex. 
for prefix computation( 前 缀 计算 ) 807 pr. 
for quicksort( 快 速 排序 ) 811 pr. 
for reduction(J4#), 807 pr. 
for a simple stencil calculation( 简 单 的 模板 计算 )， 
809 pr. 
for solving systems of linear equations (求解 线性 
方程 组 )，806 pr. 
Strassen’s algorithm(Strassen 算法 )，795-796 


multithreaded composition( 多 线程 混合 计算 )，784 fig. 
multithreaded computation( 多 线程 计算 ) 777 
multithreaded scheduling( 多 线程 调度 ) 781-783 
mutually exclusive events( 互 斥 事件 )，1190 
mutually independent events( 相 互 独立 事件 )，1193 


N 


N(set of natural numbers) (自然 数 的 集合 ) 1158 
naive algorithm( 朴 素 算 法 ) for string matching ( 
匹配 ) ，988-990 
NAIVE-STRING-MATCHER, 988 
natural cubic spline( 自 然 三 次 样 条 ) 840 pr. 
natural numbers( 自 然 数 ) (N), 1158 
keys interpreted as( 关 键 字 解释 为 )，263 
negative of a matrix E E), 1220 
negative-weight cycle( 负 权重 环 路 ) 
and difference constraints( 与 差分 约束 ) 667 
and relaxation( 与 松弛 ) ，677 ex. 
and shortest paths( 与 最 短路 径 ) 645, 653-654, 
692 ex. , 700 ex. 
negative-weight edges( 负 权重 的 边 ) 645-646 
neighbor( 邻 居 ) ，1172 
neighborhood( 邻 近 ) 735 ex. 
neighbor list( 邻 居 列 表 )，750 
nested parallelism ÆJ), 776, 805 pr. 
nesting boxes (REHAT), 678 pr. 
net flow across a cut( 横 跨 切 割 的 净 流 量 ) 720 
network( 网 络 ) 
admissible( 许 可 的 ) 749-750 
flow( 流 )， 见 flow network 
residual( 残 留 )，715-719 
for sorting( 排 序 )，811 
NEXT-TO-TOP, 1031 
NIL, 21 
node(44 4), 1176 
参见 vertex 
nonbasic variable( 非 基本 变量 ) 855 
nondeterministic multithreaded algorithm( 非 确定 多 
线程 算法 )，787 
nondeterministic polynomial time( 非 确定 多 项 式 时 
间 )，1064 n. 
参见 NP 
nonhamiltonian graph( 非 哈密 顿 图 ) 1061 
noninstance( 非 实例 )，1056 n. 
noninvertible matrix PAJ B46 RE), 1223 
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nonnegativity constraint( 非 负 性 约束 )，851，853 
nonoverlappable string pattern( 不 可 重叠 的 字符 串 模 
式 )，1002 ex. 
nonsaturating push( 非 饱和 推送 )，739，745 
nonsingular matrix GEF RERE), 1223 
nontrivial power(4E*F JLE), 933 ex. 
nontrivial square root of 1(1 的 非 平凡 平方 根 )，modulo 
n( 模 n)，956 
no-path property( 无 路 径 性 质 ) ，650，672 
normal equation( 正 态 方程 )，837 
norm of a vector( 向 量 的 范 数 ) 1222 
NOT function(4E RO ), 1071 
not a set member( ¢) (不 属于 ) 1158 
not equivalent (Æ) (不 等 价 )，54 
NOT gate( 非 门 )，1070 
NP( complexity class) (复杂 类 )，1049，1064，1066 
ex.» 1105 
NPC(complexity class) (4 426), 1050, 1069 
NP-complete( NP 完全 的 ) 1050, 1069 
NP-completeness( NP 完全 ) 9-10, 1048-1105 
of the circuit-satisfiability problem( 电 路 可 满足 性 
问题 ) 1070-1077 
of the clique problem( 团 问题 )，1086-1089，1105 
of determining whether a boolean formula is a tautology 
(确定 一 个 布尔 公式 是 否 为 重 言 式 )，1086 ex. 
of the formula-satisfiability problem (公式 可 满足 
性 问题 )，1079-1081，1105 
of the graph-coloring problem( 图 着 色 问 题 )，1103 pr. 
of the half 3-CNF satisfiability problem( 半 3-CNF 
可 满足 性 问题 )，1101 ex. 
of the hamiltonian-cycle problem (哈密 顿 回路 问 
题 ) 1091-1096, 1105 
of the hamiltonian-path problem( 哈 密 顿 路 径 问题 )， 
1101 ex 
of the independent-set problem (独立 集 问 题 )， 
1101 pr. 
of the integer linear-programming (整数 线性 规 
Rj), 1101 ex. 
of the longest-simple-cycle problem( 最 长 简单 回路 
问题 ) 1101 ex. 
proving( 证 明 ) of a language( 语 言 ) 1078-1079 
of scheduling with profits and deadlines( 带 有 收益 
和 完工 期 限 的 调度 ) 1104 pr. 
of the set-covering problem( 集 合 履 盖 问 题 ) 1122 ex 
of the set-partition problem (集合 划分 问题 )， 
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1101 ex 
of the subgraph-isomorphism problem ( 子 图 同 构 
问题 ) ，1100 ex. 
of the subset-sum problem( 子 集 和 问题 )，1097-1100 
of the 3-CNF-satisfiability problem(3-CNF- 可 满足 
性 问题 ) ，1082-1085，1105 
of the traveling-salesman problem( 旅 行商 问题 )， 
1096-1097 
of the vertex-cover problem( 顶 点 覆盖 问题 )，1089- 
1091, 1105 
of the 0-1 integer-programming problem(0-1 整数 
规划 问题 ) 1100 ex. 
NP-hard(NP XE), 1069 
n-set(n 集 )，1161 
n-tuple(n 元 组 )，1162 
null event( 零 事件 )，1190 
null tree( 空 树 ) 1178 
null vector( 空 向 量 ) 1224 
number-field sieve( 数 域 的 筛选 ) 984 
numerical stability( 数 值 稳定 性 )，813，815，842 
n-vector(n 向 量 ) 1218 


o 


o-notation(o 记号 ) 50-51, 64 
O-notation(O 记号 ) 45 fig. , 47-48, 64 
O'-notation(O' 72S), 62 pr. 
O-notation(O 记号 ) ，62 pr. 
Object( 对 象 )，21 
allocation and freeing of 分配 与 释放 ) 243-244 
array implementation of( 数 组 实现 ) 241-246 
passing as parameter( 作 为 参数 传递 )，21 
objective function( 目 标 函 数 ) 664, 847, 851 
objective value( 目 标 值 )，847，851 
optimal( 最 优 的 ) 778 
oblivious compare-exchange algorithm( 遗 忘 比 较 交 
RAY), 208 pr. 
occurrence of a pattern( 模 式 的 出 现 )，985 
OFF-LINE-MINIMUM, 583 pr. 
off-line problem( 脱 机 问题 ) 
caching( 缓 存 ) 449 pr. 
least common ancestors( 最 小 公共 祖先 ) 584 pr. 
minimum( 最 小 的 ) 582 pr. 
Omega-notation(Q 记号 ) 45 fig., 48-49, 64 
l1-approximation algorithm(1 近似 算法 ) 1107 
one-pass method( 一 趟 扫描 法 ) 585 


one-to-one correspondence( 一 一 对 应 ) 1167 
one-to-one function( 一 对 一 函数 )，1167 
orrline convex-hull problem( 联 机 凸 包 问 题 )，1039 ex 
on-line hiring problem( 在 线 雇 用 问题 )，139-141 
ON-LINE-MAXIMUM, 140 
on-line multithreaded scheduler (在 线 多 线程 调度 
器 )，781 
ON-SEGMENT，1018 
onto function( 映 上 函数 )，1167 
open-address hash table( 开 放 寻 址 散 列 表 ) 269-277 
with double hashing( 双 散 列 ) 272-274, 277 ex. 
with linear probing( 线 性 探测 ) ，272 
with quadratic probing( 二 次 探测 )，272，283 pr. 
open interval( 开 区 间 )，348 
OpenMP, 774 
optimal binary search tree (RZ MiB BM), 397- 
404, 413 
OPTIMAL-BST, 402 
optimal objective value( 最 优 目标 值 ) 851 
optimal solution( 最 优 解 )，851 
optimal subset (最 优 子 集 )，of a matroid ( 拟 
ME), 439 
optimal substructure( 最 优 子 结构 ) 
of activity selection( 活 动 选择 ) 416 
of binary search trees( 二 又 搜索 树 ) 399-400 
in dynamic programming( 动 态 规划 ) ，379-384 
of the fractional knapsack problem (部 分 背包 问 
题 ) 426 
in greedy algorithms( 贪 心算 法 ) 425 
of Huffman codes( 赫 夫 曼 编码 )，435 
of longest common subsequences (最 长 公共 子 序 
列 )，392-393 
of matrix-chain multiplication E pE), 373 
of rod-cutting( 钢 条 切割 )，362 
of shortest paths( 最 短路 径 ) 644-645, 687, 693-694 
of unweighted shortest paths( 无 权重 最 短路 径 )，382 
of weighted matroids( 加 权 拟 阵 ) 442 
of the 0-1 knapsack problem(0-1 背包 问题 ) 426 
optimal vertex cover (RAMA A), 1108 
optimization problem( 最 优化 问题 )，359，1050，1054 
approximation algorithms for (近似 算法 )，10， 
1106-1140 
and decision problems( 与 判定 问题 ) 1051 
OR function( 或 函数 )(V)，697，1071 
order( 序 ) 


of a group( 群 的 )，945 
linear( 线 性 )，1165 
partial( 偏 )，1165 
total( 全 )，1165 
ordered pair( 有 序 对 )，1161 
ordered tree( 有 序 树 ) 1177 
order of growth Ñ KØER), 28 
order statistics( 顺 序 统计 )，213-227 
dynamic( 动 态 的 ) ，339-345 
multithreaded algorithm for (多 线程 算法 )， 
805 ex. 
order-statistic tree( 顺 序 统 计 树 ) 339-345 
querying( 查 询 ) 347 ex. 
OR gate( 或 门 )，1070 
origin( 源 ) 1015 
or( 或 ) in pseudocode( 伪 代码 中 )，22 
orthonormal( 正 交 的 )，842 
OS-KEY-RANK, 344 ex. 
OS-RANK, 342 
OS-SELECT, 341 
out-degree( Hi), 1169 
outer product( 外 积 ) 1222 
output( 输 出 ) 
of an algorithm( 算 法 )，5 
of a combinational circuit( 组 合 电路 )，1071 
of a logic gate( 逻 辑 门 )，1070 
overdetermined system of linear equations( 超 定 线性 
方程 组 )，814 
overflow (#2 1) 
of a queue( BAF), 235 
of a stack(#¥), 233 
overflowing vertex( 洲 出 顶点 )，736 
discharge of( 释 放 )，751 
overlapping intervals (##KE]), 348 
finding all (FRM PTA AY), 354 ex. 
point of maximum overlap ($ A E&W A), 
354 pr. 
overlapping rectangles( 重 至 矩 形 )，354 ex. 
overlapping subproblems( 重 释 子 问题 ) 384-386 
overlapping-suffix lemma( 重 有 后 级 引 理 )，987 


P 


P(complexity class) (4 4828), 1049, 1055, 1059, 
1061 ex. , 1105 
package wrapping(4]), 1037, 1047 
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page on a disk (磁盘 上 的 页 )，486，499 ex., 
502 pr. 
pair( 对 ) ordered FF), 1161 
pairwise disjoint sets( 两 两 不 相交 集合 ) 1161 
pairwise independence( 两 两 独立 )，1193 
pairwise relatively prime( 两 两 互 质 的 数 )，931 
palindrome( 回 文 )，405 pr. 
Pan's method for matrix multiplication(Pan 的 矩阵 
乘法 方法 ) 82 ex. 
parallel algorithm( 并 行 算法 ) 10, 772 
参见 multithreaded algorithm 
parallel computer( 并 行 计算 机 )，772 
ideal( 理 想 的 )，779 
parallel for，inpseudocode( 伪 代码 中 )，785-786 
parallelism( 并 行 ， 并 行 性 ， 并 行 度 ) 
logica( 逻 辑 ) 777 
of a multithreaded computation (多 线程 计 
$E), 780 
nested (xÆ), 776 
of a randomized multithreaded algorithm (KE HLE 
线程 算法 ) 811 pr. 
parallel loop( 并 行 循环 ) 785-787, 805 pr. 
parallel-machine-scheduling problem (并 行 机 调度 问 
题 )，1136 pr. 
parallel prefix( 并 行 前 级)，807 pr. 
parallel random-access machine( 并 行 随机 存 取 机 )， 
811 
parallel slackness( 并 行 松 弛 )，781 
rule of thumb( 经 验 法 则 )，783 
parallel( 并 行 )，strands being logically in( 逻 辑 上 的 
链 ) ，778 
Parameter( 人 参数 ) 21 
costs of passing( 传 递 的 代价 ) 107 pr. 
parent( 双 亲 ) 
in a breadth-first tree( 广 度 优 先 树 ) ，594 
in a multithreaded computation( 多 线程 计算 )，776 
in a rooted tree( 有 根 树 ) 1176 
PARENT，152 
parenthesis structure of depth-first search( 深 度 优先 
搜索 的 括号 化 结构 ) 606 
parenthesis theorem( 括 号 化 定理 ) 606 
parenthesization of a matrix-chain product( 和 矩阵 链 乘 
积 的 括号 化 ) 370 
parse tree( 语 法 分 析 树 ) 1082 
partially ordered set( 偏 序 集 )，1165 
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partial order( 偏 序 ) 1165 
PARTITION，171 
PARTITION’, 186 pr. 
partition function( 划 分 函数 )，361 n. 
partitioning( 划 分 )，171-173 
around median of 3 elements (在 3 个 元 素 的 中 位 数 
附近 )，185 ex. 
Hoare’s method for(Hoare 方法 )，185 pr. 
multithreaded algorithm for( 多 线程 算法 )，804 ex. 
randomized( 随 机 的 )，179 
partition of a set( 集 合 的 划分 )，1161，1164 
Pascal’s triangle(Pascal 三 角 )，1188 ex. 
path( 路 径 ) 1170 
augmenting( 增 广 )，719-720，763 pr. 
critical( 关 键 ) 657 
find( 找 出 )，569 
Hamiltonian( 哈 密 顿 ) 1066 ex. 
longest( 最 长 的 ) 382, 1048 
shortest( 最 短 的 ) Ji shortest paths 
simple( 简 单 的 ) 1170 
weight of (XH), 643 
PATH, 1051, 1058 
path compression( 路 径 压 缩 ) 569 
path cover( 路 径 覆 盖 ) 761 pr. 
path length( 路 径 长 度 )，of a tree ($), 304 pr., 
1180 ex. 
path-relaxation property( 路 径 松 弛 性 质 ) 650, 673 
pattern (模式 )，in string matching (字符 串 匹 
配 )，985 
nonoverlappable( PEH), 1002 ex. 
pattern matching( 模 式 匹 配 ) JL string matching 
penalty (k7), 444 
perfect hashing( 完 全 散 列 ) 277-282, 285 
perfect linear speedup( 完 美 线性 加 速 ) 780 
perfect matching( 完 全 匹配 ) 735 ex. 
permnutation( 排 列 ) ，1167 
bit-reversal( 位 逆序 )，472 pr. 918 
Josephus, 355 pr. 
k-permutation(k 排列 )，126,，1184 
linear( 线 性 )，1229 pr. 
in place( 原 址 ) 126 
random( 随 机 ) 124-128 
of a set( 集 合 ) 1184 
uniform random( 均 名 随机 )，116，125 
permutation matrix (Hf 9] 4E ME), 1220, 1222 ex., 


1226 ex. 

LUP decomposition of (LUP 分 解 ) 827 ex. 
PERMUTE-BY-CYCLIC, 129 ex. 
PERMUTE-BY-SORTING, 125 
PERMUTE-WITH-ALL, 125 ex. 
PERMUTE-WITHOUT-IDENTITY, 128 ex. 
persistent data structure (持久 的 数据 结构 )，331 

pis 482 
PERSISTENT-TREE-INSERT, 331 pr. 
PERT chart(PERT #2), 657, 657 ex. 
P-FIB, 776 
phase( XB), of the relabel-40-front algorithm( 前 置 
重 贴标签 算法 ) 758 
phi function(%(z) ) (phi 函数 ) 943 
PISANO-DELETE, 526 pr. 
pivot( 主 元 ) 
in linear programming (线性 规划 )，867，869- 
870, 878 ex. 

in LU decomposition(LU 分 解 ) 821 

in quicksort (HEF), 171 
PIVOT, 869 
platter(#), 485 
P-MATRIX-MULTIPLY-RECURSIVE, 794 
P-MERGE, 800 
P-MERGE-SORT, 803 
pointer( 指 针 )，21 

array implementation of( 数 组 实现 ) ，241-246 

trailing( 尾 )，295 
point-value representation( 点 值 表 示 法 ) 901 
polar angle( 极 角 ) ，1020 ex. 

Pollard’s rho heuristic(Pollard 的 rho 启发 式 ) 976- 
980, 980 ex. , 984 

POLLARD-RHO, 976 

polygon( 多 边 形 )，1020 ex. 

kernel of ( 核 ) 1038 ex. 

star-shaped( 星 形 )，1038 ex. 
polylogarithmically bounded( 多 项 对 数 界 的 ) 57 
polynomial( 多 项 式 )，55，898 

addition of( 加 法 )，898 

asymptotic behavior of ( 渐 近 行为 )，61 pr. 

coefficient representation of( 系 数 表 示 法 )，900 

evaluation of ( 求 值 ), 41 pr., 900, 905 ex, 
923 pr. 

interpolation by( 插 值 )，901，906 ex. 

multiplication of FEE), 899, 903-905, 920 pr. 


point-value representation of( 点 值 表示 法 )，901 
polynomial-growth condition (多 项 式 增长 条 
件 )，113 
polynomially bounded( 多 项 式 界 的 )，55 
polynomially related( 多 项 式 相关 的 )，1056 
polynomial-time acceptance( 多 项 式 时 间接 受 ) 1058 
polynomial-time algorithm (多 项 式 时 间 算 法 )， 
927, 1048 
polynomial-time approximation scheme ( # Jil xt Ay [i] 
近似 模式 )，1107 
for maximum clique( 最 大 团 ) 1134 pr. 
polynomial-time computability (多 项 式 时 间 可 计算 
性 )，1056 
polynomial-time decision( 多 项 式 时 间 判 定 ) 1059 
polynomial-time reducibility( 多 项 式 时 间 可 归 约 性 ) 
(<P), 1067, 1077 ex. 
polynomial-time solvability (多 项 式 时 间 可 求解 
性 )，1055 
polynomial-time verification (多 项 式 时 间 验 证 )， 
1061-1066 
POP 
pop from a run-time stack( 从 运行 时 间 栈 弹出 )， 
188 pr. 
positional tree( 位 置 树 ) 1178 
positive-definite matrix( [E72 48), 1225 
post-office location problem (邮局 选 址 问题 )， 
225 pr. 
postorder tree walk( 后 序 遍 历 ) 287 
potential function A KO, 459 
for lower bounds( F), 478 
potential method( 势 能 法 ) 459-463 
for binary counters( 二 进 制 计数 器 ) ，461-462 
for disjoint-set data structures( 不 相交 集合 数据 结 
#59), 575-581, 582 ex. 
for dynamic tables( 动 态 表 ) 466-471 
for Fibonacci heaps( 斐 波 那 契 堆 )，509-512，517- 
518，520-522 
for the generic push-relabel algorithm( 通 用 推送 - 
重 贴标签 算法 ) ，746 
for min-heaps( 最 小 堆 ) 462 ex. 
for restructuring red-black trees ( 重 构 红 黑 树 )， 
ATA pr. 
for self-organizing lists with move-to-front( 移 至 前 
端 自 组 织 列表 )，476 pr. 
for stack operations( 栈 操作 ) ，460-461 


索 引 。 765 


potential( 势 )，of a data structure( 数 据 结构 )，459 
power (#¥) 
of an element( 元 素 ) modulo n$ n), 954-958 
kth(k 次 )，933 ex. 
nontrivial( 非 平凡 的 ) 933 ex. 
power series( 寡 级 数 ) 108 pr. 
power set (RÆ), 1161 
Pr {} (probability distribution) (概率 分 布 );，1190 
PRAM, 811 
predecessor( fi 3K) 
in binary search trees( 二 又 搜索 树 ) 291-292 
in a bit vector with a superimposed binary tree( 具 
AI SUN iL), 534 
in a bit vector with a superimposed tree of constant 
height (RA {Hi xe fe BET ME), 535 
in breadth-first trees( 广 度 优先 树 ) 594 
in Br-trees( 卫 树 ) 497 ex. 
in linked lists( 链 表 ) 236 
in order-statistic trees( 顺 序 统计 树 ) 347 ex. 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 ) 544 ex. 
in red-black trees( 红 黑 树 ) 311 
in shortest-paths trees( 最 短路 径 树 ) 647 
in Van Emde Boas trees (van Emde Boas 树 )， 
551-552 
PREDECESSOR, 230 
predecessor matrix( 前 驱 和 矩阵 ) 685 
predecessor subgraph( 前 驱 子 图 ) 
in all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 )，685 
in breadth-first search( 广 度 优先 搜索 )，600 
in depth-first search( 深 度 优 先 搜索 ) 603 
in single-source shortest paths( 单 源 最 短路 
径 )，647 
predecessor-subgraph property (前驱 子 图 的 性 质 )， 
650, 676 
preemption( 抢 占 ) 447 pr. 
prefix( Ay) 
of a sequence( 序 列 的 ) 392 
of a string(C) (字符 串 ) 986 
prefix code( 前 缀 码 ) 429 
prefix computation( 前 缀 计算 ) 807 pr. 
prefix function HJ 2% PA BO » 1003-1004 
prefix-function iteration lemma (前 缀 函数 迭代 引 
理 )，1007 
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preflow( 预 流 )，736，765 
preimage of a matrix( 和 矩阵 的 ) 1228 pr. 
preorder( 先 序 ) ，tota( 总 ) 1165 
preorder tree walk( 先 序 遍 历 ) 287 
presorting( 预 排序 ) ，1043 
Prim’s algorithm(Prim BYE), 634-636, 642 
with an adjacency matrix(4h#2 ERE), 637 ex. 
in approximation algorithm for traveling-salesman 
problem( 旅 行商 问题 的 近似 算法 )，1112 
implemented with a Fibonacci heap( 用 斐 波 那 契 堆 
实现 ) 636 
implemented with a min-heap (用 最 小 堆 实 
现 )，636 
with integer edge weights( 带 整数 边 权 重 ) 637 ex. 
similarity to Dijkstra’s algorithm( 与 Dijkstra 算法 
的 相似 之 处 ) 634, 662 
for sparse graphs (AmE), 638 pr. 
primality testing( 素 数 测试 ) 965-975, 983 
Miller-Rabin test ( Miller-Rabin 测试 )，968- 
975, 983 
pseudoprimality testing( 人 擅 素 数 测试 ) 966-968 
primal linear program( 原 始 线性 规划 )，880 
primary clustering( 一 次 群集 )，272 
primary memory( 主 存 ) 484 
prime distribution function( 素 数 分 布 函数 )，965 
prime number( 素 数 ) 928 
density of (密度 ) 965-966 
prime number theorem( 素 数 定理 ) 965 
primitive root of Z; (Zi 的 原 根 )，955 
principal root of unity( 单 位 主根 )，907 
principle of inclusion and exclusion ( 容 斥 原理 )， 
1163 ex. 
PRINT-ALL-PAIRS-SHORTEST-PATH, 685 
PRINT-CUT-ROD-SOLUTION, 369 
PRINT-INTERSECTING-SEGMENTS, 1028 ex. 
PRINT-LCS, 395 
PRINT-OPTIMAL-PARENS, 377 
PRINT-PATH, 601 
PRINT-SET, 572 
priority queue( 优 先 队 列 )，162-166 
in constructing Huffman codes (构造 赫 夫 曼 编 
#3), 431 
in Dijkstra’s algorithm(Dijkstra 算法 ) 661 
heap implementation of CŒ), 162-166 
lower bounds for( 下 界 ) 531 


max-priority queue( 最 大 优先 队列 )，162 
min-priority queue( 最 小 优先 队列 ) 162, 165 ex. 
with monotone extractions( 用 单调 抽取 )，168 
in Prim’s algorithm(Prim 算法 )，634，636 
proto van Emde Boas structure( 原 型 van Emde 
Boas 4§ #4), implementation of (实现 )， 
538-545 
van Emde Boas tree implementation of (van Emde 
Boas 树 实现 )，531-560 
参见 binary search tree, binomial heap, Fibonacci 
heap 
probabilistically checkable proof( 概 率 意义 下 可 检验 
的 证 明 )，1105，1140 
probabilistic analysis( 概 率 分 析 )，115-116，130-142 
of approximation algorithm for MAX-3-CNF satisfiability 
(MAX-3-CNF 可 满足 性 的 近似 算法 )，1124 
of average node depth in a randomly built binary 
search tree( 随 机 构造 的 二 叉 搜 索 树 中 结 点 的 
平均 深度 )，304 pr. 
of balls and bins( 球 与 盒子 ) ，133-134 
of birthday paradox( 生 日 悖 论 ) 130-133 
of bucket sort( 桶 排序 ) 201-204, 204 ex. 
of collisions( 冲 突 )，26] ex., 282 ex. 
of convex hull over a sparse-hulled 
distribution( 和 稀疏 包 分 布 上 的 凸 包 ) 1046 pr. 
of file comparison( 文 件 比较 )，995 ex. 
of fuzzy sorting of intervals( 区 间 的 模糊 排序 ) 
of hashing with chaining( 链 接 散 列 ) ，258-260 
of the height of a randomly built binary search tree 
〈 随 机 构造 的 二 又 搜索 树 的 高 度 ) 299-303 
of the hiring problem (雇用 问题 的 )，120-121， 
139-141 
of insertion into a binary search tree with equal keys 
(把 相等 关键 字 插入 二 叉 搜 索 树 ) 303 pr. 
of longest-probe bound for hashing( 散 列 的 最 长 探 
WR), 282 pr. 
of lower bound for sorting( 排 序 的 下 界 ) 205 pr. 
of the Miller-Rabin primality test(MillerRabin 素 
数 测试 ) 971-975 
and multithreaded algorithms( 多 线程 算法 )，811 pr. 
of orrline hiring problem( 在 线 雇用 问题 )，139-141 
of open-address hashing (开放 寻 址 散 列 )，274- 
276, 277 ex. 
of partitioning (划分 )，179 ex., 185 ex., 187- 
188 pr. 


of perfect hashing( 完 全 散 列 ) 279-282 
of Pollard's rho heuristic(Pollard 的 rho 启发 式 )， 
977-980 
of probabilistic counting( 概 率 计 数 ) 143 pr. 
of quicksort( 快 速 排序 ) 181-184, 187-188 pr. , 
303 ex. 
of the Rabin-Karp algorithm(Rabin-Karp 算法 ) 994 
and randomized algorithms( 随 机 算法 ) 123-124 
of randomized selection( 随 机 选择 )，217-219，226 pr. 
of searching a compact list RR ZAK), 250 pr. 
of slot-size bound for chaining( 链 接 槽 大 小 的 界 )， 
283 pr. 
of sorting points by distance from origin( 按 距 源 点 
距离 对 点 排序 )，204 ex. 
of streaks( 序 列 ) 135-139 
of universal hashing( 全 域 散 列 ) 265-268 
probabilistic counting( 概 率 计 数 ) 143 pr. 
probability( 概 率 ) 1189-1196 
probability density function( 概 率 密 度 函 数 ) 1196 
probability distribution( 概 率 分 布 )，1190 
probability distribution function (概率 分 布 图 数 )， 
204 ex. 
probe sequence( 探 测序 列 ) 270 
probing FRY), 270, 882 pr. 
参见 linear probing, quadratic probing, double 
hashing 
problem ( [5] 1) 
abstract (FHA Ay), 1054 
computational( 计 算 的 )，5-6 
concrete( 具 体 的 )，1055 
decision(#I%), 1051, 1054 
intractable( 难 处 理 的 )，1048 
optimization( 最 优化 ) 359, 1050, 1054 
solution to( 解 )，6，1054-1055 
tractable( 易 处 理 的 ) 1048 
procedure( 过 程 )，6，16-17 
product(r)( 积 )，1148 
Cartesian( FJL), 1162 
cross(X), 1016 
inner( %8), 1222 
of matrices( 和 矩阵 ) 1221, 1226 ex. 
outer( 外 部 )，1222 
of polynomials( 多 项 式 )，899 
rule of (ARM), 1184 
scalar flow( 标 量 流 ) 714 ex. 
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professional wrestler( 职 业 摔跤 选手 ) 602 ex. 
program counter( 程 序 计数 器 ) 1073 
programming (规划 )， 见 dynamic programming, 
linear programming 
proper ancestor( 真 祖先 ) 1176 
proper descendant( 真 子孙 )，1176 
proper subgroup( 真 子 群 ) 944 
proper subset( 真 子 集 )(C)，1159 
proto van Emde Boas structure( 原 型 van Emde Boas 
结构 ) 538-545 
cluster in(##), 538 
compared with van Emde Boas trees(4j van Emde 
Boas 树 比 较 ) 547 
deletion from( 删 除 ) 544 
insertion into( 择 人 )，544 
maximum in( 最 大 元 素 ) 544 ex. 
membership in( 成 员 ) 540-541 
minimum in( 最 小 元 素 ) ，541-542 
predecessor in( 前 驱 ) ，544 ex. 
successor in( 后 继 ) 543-544 
summary in, 540 
PROTO-vEB-INSERT, 544 
PROTO-vEB-MEMBER, 541 
PROTO-vEB-MINIMUM, 542 
proto-vEB structure( proto-vEB 4444), ， 见 proto van 
Emde Boas structure 
PROTO-vEB-SUCCESSOR, 543 
prune-and-search method( 剪 枝 -搜索 方法 ) 1030 
pruning a Fibonacci heap( 斐 波 那 契 堆 剪 枝 ) 529 pr. 
P-SCAN-1, 808 pr. 
P-SCAN-2, 808 pr. 
P-SCAN-3, 809 pr. 
P-SCAN-DOWN, 809 pr. 
P-SCAN-UP, 809 pr. 
pseudocode( 伪 代码 ) 16, 20-22 
pseudoinverse( 伪 逆 )，837 
pseudoprime( 伪 素数 )，966-968 
PSEUDOPRIME, 867 
pseudorandom-number generator( 伪 随机 数 生 成 器 )，117 
P-SQUARE-MATRIX-MULTIPLY, 793 
P-TRANSPOSE, 792 ex. 
public key( 公 钥 )，959，962 
public-key cryptosystem ( 公 钥 加 密 系 统 )，958- 
965，983 
PUSH 
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push -relabel operation( 推 送 - 重 贴标签 操作 )，739 
stack operation( 栈 操作 ) 233, 452 
push onto a run-time stack( 压 人 运行 时 间 栈 )， 
188 pr. 
push operation ( 压 人 操作 ) (in push-relabel algorithms) 
(推送 - 重 贴标签 算法 )，738-739 
nonsaturating( 非 饱和 )，739，745 
saturating( 饱 和 ) ，739，745 
push-relabel algorithm( 推 送 - 重 贴 标签 算法 )，736- 
760, 765 
basic operations in( 基 本 操作 ) 738-740 
by discharging an overflowing vertex of maximum 
height( 通 过 释放 一 个 最 大 高 度 的 溢出 顶点 )， 
760 ex. 
to find a maximum bipartite matching( 来 找 出 最 大 
二 分 匹配 ) 747 ex. 
gap heuristic for FEE AR), 760 ex., 766 
generic algorithm( 通 用 算法 ) 740-748 
with a queue of overflowing vertices( 带 有 溢出 顶 
点 的 队列 ) 759 ex. 
relabel-to-front algorithm (前 置 重 贴标签 算法 )， 
748-760 


Q 


quadratic function( 二 次 函数 ) 27 

quadratic probing( 二 次 探测 ) ，272，283 pr. 

quadratic residue( 二 次 余数 ) 982 pr. 

quantile( 分 位 数 ) 223 ex. 

query( 查 询 )，230 

queue( 队 列 )，232，234-235 
in breadth-first search( 广 度 优 先 搜 索 )，595 
implemented by stacks( 用 栈 实 现 ) ，236 ex. 
linked-list implementation of( 链 表 实 现 ) 240 ex. 
priority( 优 先 级 )， 见 priority queue 

in push-relabel algorithms (推送 - 重 贴标签 算法 )， 

759 ex. 

quicksort( 快 速 排序 ) 170-190 
analysis of 分析) 174-185 
average-case analysis of (平均 情况 分 析 ) 181-184 
compared to insertion sort (与 插入 排序 比较 )， 

178 ex. 
compared to radix sort( 与 基数 排序 比较 )，199 
with equal element valuse( 有 相同 元 素 值 ) 186 pr. 
good worst-case implementation of( 好 的 最 坏 情 况 
实现 ) 192 ex. 


“killer adversary”for( 杀 手 级 对 手 )，190 
with median-of-3 method (用 三 数 取 中 方法 )， 
188 pr. 
randomized version of (随机 化 版 本 )，179-180， 
187 pr. 
stack depth of FRYE), 188 pr. 
tail-recursive version of( 尾 递归 版 本 ) 188 pr. 
use of insertion sort in( 用 插入 排序 ) 185 ex. 
worst-case analysis of( 最 坏 情 况 分 析 ) 180-181 
QUICKSORT, 171 
QUICKSORT’, 186 pr. 
quotient( 商 ) 928 


R 


R(set of real numbers) (实数 集 )，1158 
Rabin-Karp algorithm ( Rabin-Karp 算 法 )，990- 
995, 1013 
RABIN-KARP-MATCHER, 993 
race( #24), 787-790 
RACE-EXAMPLE, 788 
radix sort( 基 数 排序 ) 197-200 
compared to quicksort( 与 快速 排序 比较 )，199 
RADIX-SORT，198 
radix tree( 基 数 树 ) 304 pr. 
RAM，23-24 
RANDOM，117 
random-access machine( 随 机 访问 机 )，23-24 
parallel( 并 行 )，811 
randomized algorithm (随机 算法 )， 
122-130 
and average inputs( 与 平均 输入 )，28 
comparison sort( 比较 排序 )，205 pr. 
for fuzzy sorting of intervals( 区 间 的 模糊 排序 )， 
189 pr. 
for the hiring problem( 雇 用 问题 ) 123-124 
for insertion into a binary search tree with equal 
keys( 把 相等 关键 字 插 入 二 又 搜索 树 )， 
303 pr. 
for MAX-3-CNF satisfiability (MAX-3-CNF 可 满 
是 性 )，1123-1124，1139 
Miller-Rabin primality test (Miller-Rabin 素数 测 
W), 968-975, 983 
multithreaded( 多 线程 ) 811 pr. 
for partitioning (划分 )，179，185 ex., 187- 
188 pr. 


116-117, 


for permuting an array( 排 列 数组 ) 124-128 
Pollard's rho heuristic(Pollard 的 rho 启发 式 )， 
976-980, 980 ex. ，984 
and probabilistic analysis( 与 概率 分 析 ) 123-124 
quicksort (快速 排序 )，179-180，185 ex., 187- 
188 pr. 
randomized rounding(A#L4 A), 1139 
for searching a compact list (搜索 紧 姿 表 )， 
250 pr. 
for selection( 选 择 ) 215-220 
universal hashing( 全 域 散 列 ) ，265-268 
worst-case performance of (最 坏 情 况 性 能 )， 
180 ex. 
RANDOMIZED-HIRE-ASSISTANT, 124 
RANDOMIZED-PARTITION, 179 
RANDOMIZED-QUICKSORT, 179, 303 ex. 
relation to randomly built binary search trees( 与 随 
机 构造 的 二 又 搜索 树 的 关系 )，304 pr. 
randomized rounding( 随 机 伟人 )，1139 
RANDOMIZED-SELECT，216 
RANDOMIZE-IN-PLACE，126 
randomly built binary search tree( 随 机 构造 的 二 叉 搜 
索 树 ) 299-303, 304 pr. 
random-number generator( 随 机 数 生 成 器 ) 117 
random permutation( 随 机 排列 ) 124-128 
uniform(#j4J), 116, 125 
RANDOM-SAMPLE, 130 ex. 
random sampling( 随 机 取样 )，129 ex. , 179 
RANDOM-SEARCH, 143 pr. 
random variable( 随 机 变量 ) 1196-1201 
indicator( 指 示 器 )， 见 indicator random variable 
range( 范 围 ) 1167 
of a matrix( 和 矩阵 ) 1228 pr. 
rank( 秩 ， 排 序 ) 
column( 列 ) ，1223 
full( 满 ) 1223 
of a matrix( 和 矩阵 ) 1223, 1226 ex. 
of a node in a disjoint-set forest( 不 相交 集合 森林 
Heh), 569, 575, 581 ex. 
of a number in an ordered set( 有 序 集合 中 的 
数 )，300，339 
in order-statistic trees (顺序 统计 树 )，341-343， 
344-345 ex. 
row( 行 )，1223 
rate of growth( 增 长 率 )，28 


ray( 射 线 ) 1021 ex. 
RB-DELETE, 324 
RB-DELETE-FIXUP, 326 
RB-ENUMERATE, 348 ex. 
RB-INSERT, 315 
RB-INSERT-FIXUP, 316 
RB-JOIN, 332 pr. 
RB-TRANSPLANT, 323 
reachability in a graph( 图 中 的 可 达 性 )(~>)，1170 
real numbers( 实 数 )(R) 1158 
reconstructing an optimal solution( 重 构 最 优 解 )，in 
dynamic programming( 动 态 规划 )，387 
record( 记 录 )，147 
rectangle( 和 矩形 )，354 ex. 
recurrence(j#JGst), 34, 65-67, 83-113 
solution by Akra-Bazzi method( 用 Akra-Bazzi 方法 
SR AB), 112-113 
solution by master method (用 主 方法 求解 )， 
93-97 
solution by recursion-tree method( 用 递归 树 方法 
求解 )，83-88 
solution by substitution method (用 替换 方法 求 
解 )，83-88 
recurrence equation( 递 归 方 程 )， 见 recurrence 
recursion( 递 归 )，30 
recursion tree( 递 归 树 ) 37, 88-93 
in proof of master theorem( 主 定理 的 证 明 ) 98-100 
and the substitution method( 与 替换 方法 ) 91-92 
RECURSIVE-ACTIVIT Y-SELECTOR, 419 
recursive case JJ MEAL), 65 
RECURSIVE-FFT, 911 
RECURSIVE-MATRIX-CHAIN, 385 
red-black tree( 红 黑 树 ) 308-338 
compared to B-trees( 5 B 树 比较 ) 484, 490 
deletion from( 删 除 ) ，323-330 
in determining whether any line segments intersect 
(确定 任意 线段 是 否 相交 )，1024 
for enumerating keys in a range( 列 举 一 个 范围 内 
的 关键 字 ) 348 ex. 
height of( 高 度 )，309 
insertion into( 捅 人 )，315-323 
joining of( 连 接 ) 332 pr. 
maximum key of (最 大 关键 字 ) 311 
minimum key of( 最 小 关键 字 ) 311 
predecessor in( 前 驱 )，311 
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properties of( 性 质 ) 308-312 
relaxed( 松 弛 的 ) 311 ex. 
restructuring( #4), 474 pr. 
rotation in( 旋 转 ) 312-314 
searching in( 搜 索 )，311 
successor in( 后 继 ) ，311 
参见 interval tree, order-statistic tree 
REDUCE, 807 pr. 
reduced-space van Emde boas tree( 缩 减 空间 的 van 
Emde Boas 树 ) 557 pr. 
reducibility( 可 归 约 性 )，1067-1068 
reduction algorithm( 归 约 算 法 ) 1052, 1067 
reduction function( 归 约 函 数 )，1067 
reduction( 归 约 )，of an array( 数 组 ) 807 pr. 
reflexive relation( 自 反 关 系 )，1163 
reflexivity of asymptotic notation( 渐 近 记 号 的 自 反 
性 )，51 
region( 区 域 ) ，feasible( 可 行 的 )，847 
rejection( 拒 绝 ) 
by an algorithm( 被 算法 ) ，1058 
by a finite automaton( 被 有 限 自 动机 ) 996 
RELABEL，740 
relabeled vertex( 重 新 标记 的 结 点 ) 740 
relabel operation( 重 新 标记 操作 )，(in push-relabel 
algorithms) (推送 - 重 贴标签 算法 ) 740, 745 
RELABEL-TO-FRONT, 755 
relabel-to-front algorithm (前 置 重 贴 标签 算法 )， 
748-760 
phase of( 区 段 )，758 
relation( 关 系 )，1163-1166 
relatively prime( 互 质 )，931 
RELAX, 649 
relaxation( 松 弛 ) 
of an edge( 边 )，648-650 
linear programming( 线 性 规划 )，1125 
relaxed heap( 松 弛 堆 )，530 
relaxed red-black tree( 松 弛 红 黑 树 ) 311 ex. 
release time( 释 放 时 间 ) 447 pr. 
remainder( 余 数 ) 54, 928 
remainder instruction( 余 数 指令 ) 23 
repeated squaring( 重 复 平方 ) 
for all-pairs shortest paths( 所 有 顶点 对 的 最 短路 
径 )，689-691 
for raising a number to a power( 求 数 的 究 )，956 
repeat，in pseudocode( 伪 代码 中 )，20 


repetition factor (重复 因子 )，of a string (字符 串 
中 )，1012 pr. 
REPETITION-MATCHER, 1013 pr. 
representative of a set( 集 合 的 代表 )，561 
RESET, 459 ex. 
residual capacity RAFRE), 716, 719 
residual edge( 残 存 边 ) 716 
residual network HRR), 715-719 
residue (HÆ), 54, 928, 982 pr. 
respecting a set of edges( 尊 重 边 集 合 ) 626 
return edge( 返 回 边 ) ，779 
repeat, in pseudocode( 伪 代码 中 ) 22 
return instruction( 返 回 指令 ) 23 
reweighting( 重 新 赋 权 ) 
in all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
径 )，700-702 
in single-source shortest paths( 单 源 最 短路 径 )， 
679 pr. 
rho heuristic(rho HÆJ), 976-980, 980 ex. , 984 
p(n) -approximation algorithm (p(n) 近似 算法 )， 
1106, 1123 
RIGHT, 152 
right child AF), 1178 
right-conversion( 右 变换 ) 314 ex. 
right horizontal ray( 右 水 平 射 线 ) 1021 ex. 
RIGHT-ROTATE，313 
right rotation( 右 旋转 ) ，312 
right spine A # +E), 333 pr. 
right subtree A F), 1178 
root( 根 ) 
of a tree( 树 ) 1176 
of unity( 单 位 ) 906-907 
of Zr (Zr), 955 
rooted tree( 有 根 树 ) 1176 
representation of( 表 示 法 ) 246-249 
root list( 根 列表 )，of a Fibonacci heap( 斐 波 那 契 
HE), 509 
rotation( 旋 转 ) 
cyclic( 循 环 ) 1012 ex. 
in a red-black tree( 红 黑 树 ) 312-314 
rotational sweep( 旋 转 扫 除 ) 1030-1038 
rounding(# A), 1126 
randomized( 随 机 的 ) ，1139 
row-major order( 行 主 次 序 ) 394 
row rank( 行 秩 ) 1223 


row vector(4 [i] Ht), 1218 
RSA public-key cryptosystem(RSA 公 钥 加 密 系统 )， 
958-965，983 

RS-vEB tree(RS-vEB 树 ) 557 pr. 

rule of product( 求 积 准则 )，1184 

rule of sum( 求 和 准则 ) ，1183 

running time( 运 行 时 间 )，25 
average-case( 平 均 情况 )，28，116 
best-case( 最 好 情况 )，29 ex., 49 
of a graph algorithm( 图 算法 )，588 
and multithreaded computation( 与 多 线程 计算 )， 

779-780 

order of growth( 增 长 的 量 级 )，28 
rate of growth( 增 长 率 )，28 
worst-case( 最 坏 情 况 )，27，49 
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sabermetrics( 评 价 指标 ) ，412 n. 
safe edge( 安 全 边 ) 626 
SAME-COMPONENT，563 
sample space( 样 本 空间 ) 1189 
sampling( 取 样 ) 129 ex ，179 
SAT，1079 
satellite data( 卫 星 数据 )，147，229 
satisfiability( 可 满足 性 )，1072，1079-1081，1105， 
1123-1124, 1127 ex., 1139 
satisfiable formula( FJ #j E230), 1049, 1079 
satisfying assignment (jf Æ MRIH), 1072, 1079 
saturated edge( 饱 和 边 ) 739 
saturating push( 饱 和 推 )，739，745 
scalar flow product( 标 量 流 积 ) 714 ex. 
scalar multiple( 标 量 倍数 ) 1220 
scaling( 定 标 ) 
in maximum flow( 最 大 流 )，762 pr., 765 
in single-source shortest paths( 单 源 最 短路 径 )， 
679 pr. 
scan( 扫 描 ) 807 pr. 
SCAN, 807 pr. 
scapegoat tree(scapegoat $), 338 
schedule JE), 444, 1136 pr. 
event-point( 事 件 点 ) 1023 
scheduler( 调 度 器 ) ，for multithreaded computations( 多 线 
程 计 算 )，777，781-783，812 
centralized (P), 782 
greedy( A- ù), 782 
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work-stealing algorithm for( 工 作 窃取 算法 )，812 
scheduling( 调 度 ) 443-446, 447 pr., 450, 1104 
pr. , 1136 pr. 
Schur complement(4¥7K#h), 820, 834 
Schur complement lemma( 舒 尔 补 引 理 ) 834 
SCRAMBLE-SEARCH, 143 pr. 
seam carving (F22ERR 59), 409 pr., 413 
SEARCH, 230 
searching ZR, 查找) 22 ex. 
binary search( 二 分 查找 ) 39 ex. ，799-800 
in binary search trees( 二 又 搜 索 树 ) 289-291 
in B-trees(B $), 491-492 
in chained hash tables( 链 接 散 列表 ) 258 
in compact lists( 紧 凑 列 表 ) 250 pr. 
in direct-address tables( 直 接地 址 表 ) 254 
for an exact interval( 正 合 区 间 )，354 ex. 
in interval trees( 区 间 树 )，350-353 
linear search( 线 性 查找 ) ，22 ex. 
in linked lists( 链 表 ) 237 
in open-address hash tables (开放 寻 址 散 列 表 )， 
270-271 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 ) 540-541 
in red-black trees( 红 黑 树 ) 311 
an unsorted array( 无 顺序 数组 ) 143 pr. 
in van Emde Boas tress(van Emde Boas 树 ) 550 
search tree( 搜 索 树 )， 见 balanced search tree, binary 
search tree, B-tree, exponential search 
tree, interval tree, optimal binary search 
tree, order-statistic tree, red-black tree, 
splay tree, 2-3 tree, 2-3-4 tree 
secondary clustering( 二 次 群集 ) 272 
secondary hash table( 辅 助 散 列表 ) ，278 
secondary storage( 辅 助 存储 器 ) 
search tree for( 搜 索 树 ) 484-504 
stacks on( 栈 ) 502 pr. 
second-best minimum spanning tree( 次 优 的 最 小 生 
成 树 ) 638 pr. 
secret key( 密 铀 ) 959, 962 
segment( 段 )， 见 directed segment, line segment 
SEGMENTS-INTERSECT，1018 
SELECT，220 
selection( 选 择 )，213 
of activities( 活 动 )，415-422，450 
and comparison sorts( 与 比较 排序 ) 222 
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in expected linear time( 期 望 线性 时 间 )，215-220 
multithreaded( 多 线程 )，805 ex. 
in order-statistic trees( 顺 序 统计 树 )，340-341 
in worst-case linear time( 最 坏 情 况 线性 时 间 )， 
220-224 
selection sort( 选 择 排 序 ) 29 ex. 
selector vertex( 选 择 器 顶点 ) 1093 
self-loop( 自 循环 ) 1168 
self-organizing list( 自 组 织 列 表 ) 476 pr. 478 
semiconnected graph( 半 连接 图 ) 621 ex. 
sentinel( 哨 兵 ) 31, 238-240, 309 
sequence( 序 列 )(( >) 
bitonic( 双 调 ) 682 pr. 
finite( 有 限 )，1166 
infinite( 无 限 ) 1166 
inversion in(ji), 41 pr. , 122 ex., 345 ex. 
probe( 探 测 )，270 
sequential consistency( 串 行 一 致 : 779, 812 
serial algorithm versus parallel algorithm( 串 行 算 法 
与 并 行 算法 ) 772 
serialization( 串 行 化 )，of a multithreaded algorithm( 多 线 
程 算法 ) 774, 776 
series( 级 数 ) 108 pr. ，1146-1148 
strands being logically in( 逻 辑 上 的 链 ) 778 
set(#24)({}), 1158-1163 
cardinality( | | )(#), 1161 
convex(#4), 714 ex. 
difference(— ) (#), 1159 
independent(Z# 5z), 1101 pr. 
intersection( ()) (3), 1159 
member(€ ) (JF), 1158 
not a member(€)(AJRF), 1158 
union(U)(3#), 1159 
set-covering problem (集合 覆盖 问题 )，1117- 
1122, 1139 
weighted( 加 权 的 )，1135 pr. 
set-partition problem( 集 合 划分 问题 ) 1101 ex 
shadow of a point( 点 的 影子 ) 1038 ex. 
shared memory (HFF), 772 
Shell’s sort(Shell 排序 ) 42 
shift( 偏 移 ) in string matching( 字 符 串 匹配 ) 985 
shift instruction( 偏 移 指令 )，24 
short-circuiting operator( 短 路 运算 符 )，22 
SHORTEST-PATH, 1050 
shortest paths( 最 短路 径 )，7，643-707 


all-pairs( 所 有 结 点 对 )，644，684-707 
Bellman-Ford algorithm for(Bellman-Ford 算法 )， 
651-655 
with bitonic paths( 双 调 路 径 )，682 pr. 
and breadth-first search( 与 广度 优先 搜索 )，597- 
600, 644 
convergence property of (收敛 性 ) 650, 672-673 
and difference constraints( 与 差分 约束 ) 664-670 
Dijkstra’s algorithm for(Dijkstra 算法 ) 658-664 
in a directed acyclic graph( 有 向 无 环 图 )，655-658 
in e-dense graphs(e 稠密 图 ) 641 pr. 
in e-dense graphs(e 稠密 图 ) 706 pr. 
estimate of( 估 计 )，648 
Floyd-Warshall algorithm for(Floyd-Warshall 算法 )， 
693-697, 700 ex. , 706 
Gabow’s scaling algorithm for(Gabow 伸缩 算法 )， 
679 pr. 
Johnson’s algorithm for(Johnson 算法 ) 700-706 
as a linear program( 作 为 线性 规划 ) 859-860 
and longest paths( 与 最 长 路 径 ) 1048 
by matrix multiplication( 用 和 矩阵 乘法 )，686-693， 
706-707 
and negative-weight cycles( 与 负 权 重 环 路 ) 645, 
653-654, 692 ex., 700 ex. 
with negative-weight edges( 负 权重 边 ) 645-646 
no-path property of( 无 路 径 性 质 ) ，650，672 
optimal substructure of (最 优 子 结构 )，644-645， 
687, 693-694 
path-relaxation property of (路 径 松 弛 性 质 )， 
650, 673 
predecessor-subgraph property of (前 驱 子 图 性 
质 ) 650, 673 
problem variants( 问 题 变 体 )，644 
and relaxation( 与 松弛 ) ，648-650 
by repeated squaring( 用 重复 平方 )，689-691 
single-destination( 单 目的 地 )，644 
single-pair( 单 对 )，381，644 
single-source( 单 源 )，643-683 
tree of( 树 )，647-648，673-676 
triangle inequality of( 三 角 不 等 式 )，600，671 
in an unweighted graph( 无 权重 图 )，381，597 
upper-bound property of (上 界 性 质 )，650， 
671-672 
in a weighted graph( 加 权 图 )，643 
sibling( 兄 弟 ) 1176 


side of a polygon( 多 边 形 的 边 ) 1020 ex. 
signatutre( 签 名 ) 960 
simple cycle( 简 单 回路 )，1170 
simple graph( 简 单 图 ) 1170 
simple path( 简 单 路 径 ) 1170 
longest( 最 长 的 )，382，1048 
simple polygon( 简 单 多 边 形 )，1020 ex. 
simple uniform hashing( 简 单 均匀 散 列 ) 259 
simplex( 单 纯 形 )，848 
SIMPLEX, 871 
simplex algorithm (单纯 形 算法 )，848，864-879， 
896-897 
single-destination shortest paths( 单 目的 地 最 短路 
径 ) 644 
single-pair shortest path( 单 对 最 短路 径 ) 381, 644 
as a linear program( 作 为 线性 规划 ) , 859-860 
single-source shortest paths( 单 源 最 短路 径 ) 643-683 
Bellman-Ford algorithm for(Bellman-Ford 算法 )， 
651-655 
with bitonic paths( 带 有 双 调 路 径 ) 682 pr. 
and difference constraints( 与 差分 约束 )，664-670 
Dijkstra’s algorithm for(Dijkstra BYE), 658-664 
in a directed acyclic graph(@ [AI FCM A), 655-658 
in e-dense graphs(e 稠密 图 )，706 pr. 
Gabow’s scaling algorithm for(Gabow 伸缩 算法 )， 
679 pr. 
and longest paths( 与 最 长 路 径 ) 1048 
singleton( 单 元 集 )，1161 
singly connected graph( 单 连通 图 )，612 ex. 
singly linked list( 单 链表 ) 236 
参见 linked list 
singular matrix( 奇 异 矩 阵 )，1223 
singular value decomposition( 奇 异 值 分 解 )，842 
sink vertex( 汇 点 ) 593 ex., 709, 712 
size( 规 模 ) 
of an algorithm’s input( 算 法 输入 )，25，926-927， 
1055-1057 
of a binomial tree( 二 项 树 ) 572 pr. 
of a boolean combinational circuit (布尔 组 合 电 
路 ) 1072 
of a clique( 团 )，1086 
of a set( 和 集合 )，1161 
of a subtree in a Fibonacci heap (3E W AB 32 HE A F 
树 ) 524 
of a vertex cover( 顶 点 覆盖 ) 1089, 1108 


索 5| 。 773 


skip list( 跳 表 ) 338 
slack( 松 弛 )，855 
slack form( 松 弛 型 )，846，854-857 
uniqueness of( 唯 一 性 )，876 
slackness( 松 弛 ) 
complementary( 补 )，894 pr. 
parallel( 并 行 )，781 
slack variable( 松 弛 变量 )，855 
slot) 
of a direct-access table( 直 接 寻 址 表 ) 254 
of a hash table( 散 列表 ) ，256 
SLOW-ALL-PAIRS-SHORTEST-PATHS, 689 
smoothed amalysis( 平 滑 分 析 ) 897 
* Socrates, 790 
solution (##) 
to an abstract problem( 抽 象 问题 ) 1054 
basic( ZEA), 866 
to a computational problem( 计 算 问 题 )，6 
to a concrete problem( 上 有 具体 问题 ) 1055 
feasible( 可 行 的 )，665，846，851 
infeasible( 不 可 行 的 )，851 
optimal( 最 优 的 ) 851 
to a system of linear equations( 线 性 方程 组 )，814 
sorted linked list( 有 序 链表 ) 236 
参见 linked list 
sorting ( HE 序 )，5， 16-20, 30-37, 147-212, 
797-805 
bubblesort( 冒 泡 排序 ) 40 pr. 
bucket sort( 桶 排序 ) 200-204 
comparison sort( 比 较 排 序 ) 191 
counting sort( 计 数 排序 ) 194-197 
fuzzy( 模 糊 ) 189 pr. 
heapsort (HEHE), 151-169 
insertion sort( 插 入 排序 )，12，16-20 
k-sorting(k 排序 )，207 pr. 
lexicographic( 字 典 的 ) 304 pr. 
in linear time( 线 性 时 间 ) 194-204, 206 pr. 
lower bounds for( 下 界 ) 191-194, 211, 531 
merge sort( 归 并 排序 )，12，30-37，797-805 
by oblivious compare-exchange algorithms (j# is Lh 
较 交 换算 法 ) 208 pr. 
in place( 原 址 )，17，148，206 pr. 
of points by polar angle( 用 极 角 的 点 )，1020 ex 
probabilistic lower bound for( 概 率 下 界 ) 205 pr. 
quicksort( 快 速 排序 ) ，170-190 
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radix sort( 基 数 排序 ) 197-200 
selection sort( 选 择 排序 ) 29 ex. 
Shell’s sort( 秀 尔 排序 ) 42 
stable( 稳 定 的 )，196 
table of running times( 运 行 时 间 表 ) 149 
topological( 拓 扑 的 ) 8, 612-615, 623 
using a binary search tree( 用 二 又 搜索 树 ) 299 ex 
with variable-length items (可 变 长 度 的 项 )， 
299 pr. 
0-lsorting lemma(0-1 排序 引 理 )，208 pr. 
sorting network( 排 序 网 络 ) 811 
source vertex( 源 顶点 ) 594, 644, 709, 712 
span law( 持 续 时 间 定 律 )，780 
spanning tree( 生 成 树 ) 439, 624 
bottleneck( 瓶 颈 ) 640 pr. 
maximum( 最 大 ) 1137 pr. 
verification of( 验 证 ) 642 
参见 minimum spanning tree 
span (持续 时 间 )，of a multithreaded computation (£ 
线程 计算 )，779 
sparse graph( 稀 疏 图 )，589 
all-pairs shortest paths for( 所 有 结 点 对 的 最 短路 
1%), 700-705 
and Prim’s algorithm(Prim 算法 ) 638 pr. 
sparse-hulled distribution ARA), 1046 pr. 
spawn, in pseudocode( 伪 代码 中 ) 776-777 
spawn edge( 派 生 边 ) 778 
speedup( 加 速 )，780 
of a randomized multithreded algorithm( 随 机 多 线 
程 算法 ) 811 pr. 
spindle( 轴 ) 485 
spine (¥# 4t) 
of a string-matching automaton (字符 串 匹 配 自 动 
BL), 997 fig. 
of a treap(treap), 333 pr. 
splay tree( 伸 展 树 ) 338, 482 
spline( 样 条 ) 840 pr. 
splitting( 分 裂 ) 
of B-tree nodes(B #244), 493-495 
of 2-3-4 trees(2-3-4 $f), 503 pr. 
splitting summations( 分 割 求 和 )，1152-1154 
spurious hit( 假 的 命中 ) 991 
square matrix( 方 阵 ) ，1218 
SQUARE-MATRIX-MULTIPLY, 75, 689 
SQUARE-MATRIX-MULTIPLY-RECURSIVE, 77 


square of a directed graph( 有 向 图 的 平方 )，593 ex. 
square root (平方 根 )，modulo a prime (i RRM), 
982 pr. 
squaring( 平 方 )，repeated( 重 复 ) 
for all-pairs shortest paths( 所 有 结 点 对 的 最 短路 
4%), 689-691 
for raising a number to a power( 求 数 的 乘 适 )，956 
stability( 稳 定性 ) 
numerical( 数 值 ) 813, 815, 842 
of sorting algorithms( 排 序 算法 )，196，200 ex 
stack( 栈 ) ，232-233 
in Graham's scan(Graham 扫描 )，1030 
implemented by queues( 用 队列 实现 )，236 ex. 
linked-list implementation of (链表 实现 ) 240 ex. 
operations analyzed by accounting method( 用 记 账 
方法 分 析 的 操作 )，457-458 
operations analyzed by aggregate analysis( 用 聚合 
方法 分 析 的 操作 ) 452-454 
operations analyzed by potential method( 用 势能 法 
分 析 的 操作 ) ，460-461 
for procedure execution( 过 程 执 行 )，188 pr. 
on secondary storage( 辅 助 存储 ) 502 pr. 
STACK-EMPTY, 233 
standard deviation( 标 准 差 )，1200 
standard encoding(〈)) (标准 编 码 )，1057 
standard form( 标 准 型 )，846，850-854 
star-shaped polygon( 星 形 多 边 形 )，1038 ex. 
start state( 开 始 状 态 ) 995 
start time( 开 始 时 间 )，415 
state of a finite automaton( 有 限 自动 机 的 状态 ) 995 
static graph( 静 态 图 ) 562 n. 
static set of keys( 关 键 字 的 静态 集合 ) ，277 
static threading( 静 态 线程 )，773 
stencil( 模 板 ) ，809 pr. 
stencil calculation( 模 板 计算 ) 809 pr. 
Stirling’s approximation( 斯 特 林 近似 )，57 
storage management (存储 管理 )，151，243-244， 
245 ex. , 261 ex. 
store instruction( 存 储 指令 )，23 
straddle( 横 跨 ) 1017 
strand( 链 ) 777 
final( 结 束 )，779 
independent( 独 立 )，789 
initial( 初 始 )，779 
logically in parallel( 人 逻辑 上 并 联 )，778 


logically in series( 逻 辑 上 串联 ) 778 
Strassen’ s algorithm (Strassen 算 法 )，79-83， 
111-112 
multithreaded (RFE), 795-796 
streaks (F31), 135-139 
strictly decreasing( 严 格 递减 ) 53 
strictly increasing( 严 格 递增 ) 53 
string(¥), 985, 1184 
string matching( 串 匹配 ) 985-1013 
based on repetition factors( 基 于 重复 因子 )，1012 pr. 
by finite automata( 用 有 限 自 动机 ) 995-1002 
with gap characters( 带 分 隔 符 ) 989 ex., 1002 ex. 
Knuth-Morris-Pratt algorithm for(Knuth-Morris-Pratt 
#73), 1002-1013 
naive algorithm for(#p#R BIE), 988-990 
Rabin-Karp algorithm for ( Rabin-Karp 算法 )， 
990-995, 1013 
string-matching automaton (字符 串 匹 配 自动 机 )， 
996-1002, 1002 ex. 
strongly connected component( 强 连通 分 量 )，1171 
decomposition into( 分 解 成 )，615-621，623 
STRONGLY-CONNECTED-COMPONENTS, 617 
strongly connected graph( 强 连通 图 )，1171 
subgraph( 子 图 )，1171 
predecessor( 前 驱 )， 见 predecessor subgraph 
subgraph-isomorphism problem ( 子 图 同 构 问 题 )， 
1100 ex. 
subgroup( F- #¥), 943-946 
subpath( 子 路 径 ) 1170 
subroutine( 子 过 程 ) 
calling( 调 用 ) 21, 23, 25 n. 
executing( 执 行 )，25 n. 
subsequence( 子 序列 )，391 
subset(©Œ) (FÆ), 1159, 1161 
hereditary family of GREH), 437 
independent family of ZH 377%), 437 
SUBSET-SUM, 1097 
subset-sum problem( 子 集 和 问题 ) 
approximation algorithm for( 近 似 算法 )，1128- 
1134, 1139 
NP-completeness of (NP 完全 性 ) 1097-1100 
with unary target( 带 一 元 目标 )，1101 ex. 
substitution method( 替 换 方法 ) 83-88 
and recursion trees( 与 递归 树 ) ，91-92 
substring( 子 串 ) 1184 


R 引 e 775 


subtract instruction( 减 指令 ) 23 
subtraction of matrices( 和 矩阵 的 减法 ) 1221 
subtree( 子 树 ) 1176 
maintaining sizes of( 维 护 规模 ) in order-statistic 
trees( 顺 序 统计 树 ) 343-344 
success( 成 功 )，in a Bernoulli trial( 伯 努 利 试验 
中 )，1201 
successor( 后 继 ) 
in binary search trees( 二 叉 搜 索 树 ) 291-292 
finding ith (GR 44% i 7S), of a node in an order- 
statistic tree( 顺 序 统计 树 的 结 点 )，344 ex 
in linked lists( 链 表 ) 236 
in order-statistic trees( 顺 序 统计 树 )，347 ex 
in proto van Emde Boas structures( 原 型 van Emde 
Boas 结构 )，543-544 
in red-black trees( 红 黑 树 )，311 
in van Emde Boas trees(van Emde Boas 树 )，550- 
551 
SUCCESSOR, 230 
such that(; ) (使 得 ) 1159 
suffix GA) a), 986 
suffix function (JA AXO, 996 
suffix-function inequality GA RARER), 999 
suffix-function recursion lemma( 后 缀 递归 引 理 )，1000 
sum(2)( 和 )，1145 
Cartesian( 笛 卡 儿 ) ，906 ex. 
infinite( 无 限 的 )，1145 
of matrices (ERF), 1220 
of polynomials (£M), 898 
rule of (EN), 1183 
telescoping( 裂 项 相 消 )，1148 
SUM-ARRAYS, 805 pr. 
SUM-ARRAYS’, 805 pr. 
summary 
in a bit vector with a superimposed tree of 
comstant height (HÆ 1E E S BE I BY 12 
向 量 ) 534 
in proto van Emde Boas structurse( 原 型 van Emde 
Boas 结构 )，540 
in van Emde Boas trees(van Emde Boas 树 )，546 
summation(R #1), 1145-1157 
in asymptotic notation iid Ss), 49-50, 1146 
bounding), 1149-1156 
formulas and properties of (公式 和 性质 )， 
1145-1149 


776 = R 引 


linearity of( 线 性 )，1146 
summation lemma( 求 和 引 理 )，908 
superpolynomial time( 超 多 项 式 时 间 )，1048 
supersink( 超 级 汇 点 )，712 
supersource( 超 级 源 点 ) ，712 
surjection( 满 射 )，1167 
SVD, 842 
sweeping (44%), 1021-1029, 1045 pr. 

rotational (fe##) , 1030-1038 
sweep line HIRR), 1022 
sweep-line status( 扫 除 线 状态 ) 1023-1024 
symbol table( 符 号 表 )，253，262，265 
symmetric difference( 对 称 差 )，763 pr. 
symmetric matrix (Xf #K #2 BE), 1220, 1222 ex., 

1226 ex. 
symmetric positive-definite matrix( 对 称 正定 矩阵 )， 
832-835，842 
symmetric relation( 对 称 关系 )，1163 
symmetry of @-notation(@ 记号 的 对 称 性 ) 52 
sync, in pseudocode( 擅 代码 中 ) 776-777 
systems of difference constraints (差分 约束 系统 )， 
664-670 
systems of linear equations( 线 性 方程 组 )，806 pr. ， 
813-827, 840 


TABLE-DELETE, 468 
TABLE-INSERT, 464 
tail( 尾 ) 
of a binomial distribution( 二 项 分 布 )，1208-1215 
of a linked list( 链 表 ) 236 
of a queue( 队 列 ) ，234 
tail recursion( 尾 递归 ) 188 pr. ，419 
target( 目 标 ) 1097 
Tarjan’s off-line least-common-ancestors algorithm 
(Tarjan 的 脱 机 最 小 公共 祖先 算法 ) 584 pr. 
task( 任 务 ) 443 
Task Parallel Library( 任 务 并 行 库 ) 774 
task scheduling( 任 务 调 度 ) 443-446, 448 pr. ，450 
tautology( 重 言 式 )，1066 ex., 1086 ex. 
Taylor series( 泰 勒 级 数 )，306 pr. 
telescoping series( 裂 项 级 数 )，1148 
telescoping sum( 裂 项 相 消 和 )，1148 
testing( 测 试 ) 
of primality( 素 数 ) 965-975, 983 


of pseudoprimality( 伪 素数 ) 966-968 
text( 文 本 ) in string matching( 字 符 串 匹配 ) 906 
then(then 子 句 ) 20 n. 

Theta-notation(theta 记号 ) 44-47, 64 

thread( 线 程 )，773 

Threading Building Blocks( 线 程 构建 块 ) 774 

3-CNF, 1082 

3-CNF-SAT, 1082 

3-CNF satisfiability(3-CNF FJ ŒE), 1082-1085, 1105 

approximation algorithm for (i WAY), 1123- 

1124, 1139 

and 2-CNF satisfiability( 与 2-CNF 可 满足 性 )，1049 
3-COLOR, 1103 pr. 
3-conjunctive normal form(3 合 取 范 式 ) 1082 
tight constraint( 紧 约束 ) 865 
time( 时 间 )， 见 running time 
time domain( 时 间 域 ) 898 
time-memory trade-off (tZ), 365 
timestamp( 时 间 惟 ) 603, 611 ex. 

Toeplitz matrix( 特 普 利 茨 矩 阵 ) 921 pr. 
to, in pseudocode( 伪 代码 中 )，20 
TOP, 1031 
top-down method ( 自 顶 向 下 方法 )，for dynamic 
programming( 动 态 规划 )，365 
top of a stack( 栈 顶 ) 232 
topological sort( 拓 扑 排序 ) 8, 612-615, 623 
in computing single-source shortest paths in a dag 
(计算 有 向 无 环 图 内 单 源 最 短路 径 ) 655 
TOPOLOGICAL-SORT，613 
total order( 全 序 )，1165 
total path length( 总 路 径 长 度 ) 304 pr. 
total preorder( 全 程序 ) 1165 
total relation( 全 关系 )，1165 
tour( 回 路 ) 

bitonic( 双 调 ) 405 pr. 

Euler( 欧 拉 )，623 pr., 1048 

of a graph( 图 )，1096 
track( 磁 道 ) 486 
tractability( 易 处 理 ) 1048 
trailing pointer( 尾 指针 )，295 
transition function (变换 函数 )，995，1001-1002， 

1012 ex. 
transitive closure( 传 递 闭 包 ) ，697-699 
and boolean matrix multiplication (与 布尔 矩阵 乘 
法 ) 832 ex. 


of dynamic graphs( 动 态 图 )，705 pr. , 707 
TRANSITIVE-CLOSURE, 698 
transitive relation f#iBX A), 1163 
transitivity of asymptotic notation( 渐 近 记 号 的 传递 
性 )，51 
TRANSPLANT，296，323 
transpose( 转 置 ) 
conjugate(Ft¥#g), 832 ex. 
of a directed graph( 有 向 图 )，592 ex. 
of a matrix( 和 矩阵 )，1217 
of a matrix( 知 阵 )，multithreaded( 多 线程 )，792 ex 
transpose symmetry of asymptotic notation ( 渐 近 记 
号 的 转 置 对 称 性 )，52 
traveling-salesman problem( 旅 行商 问题 ) 
approximation algorithm for( 近 似 算法 )，1111- 
1117, 1139 
bitonic euclidean( 双 调 欧 几 里 得 )，405 pr. 
bottleneck( 瓶 颈 )，1117 ex. 
NP-completeness of(NP 完全 性 )，1096-1097 
with the triangle inequality ( 带 三 角 不 等 式 )， 
1112-1115 
without the triangle inequality( 不 带 三 角 不 等 式 )， 
1115-1116 
traversal of a tree( 树 的 遍历 )，287，293 ex., 
342, 1114 
treap, 333 pr. , 338 
TREAP-INSERT, 333 pr. 
tree( 树 ) 1173-1180 
AA-trees(AA $f), 338 
AVI; 333 pr. 5 337 
binary(— SX), Jl binary tree 
binomial( 二 项 ) 527 pr. 
bisection of( 二 分 )，1181 pr. 
breadth-first( 广 度 优 先 ) ，594，600 
Brtrees( 也 树 ) 484-504 
decision( 决 策 ) 192-193 
depth-first( 深 度 优 先 ) 603 
diameter of( 直 径 ) 602 ex. 
dynamic( 动 态 的 ) ，482 
free( 释 放 )，1172-1176 
full walk of( 完 全 遍历 ) 1114 
fusion( 聚 合 ) 212, 483 
heap( HE), 151-169 
height-balanced( 高 度 平衡 的 )，333 pr. 
height of( 高 度 )，1177 
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interval( 区 间 )，348-354 
k-neighbor(k 邻居 ) ，338 
minimum spanning (最 小 生成 )， 见 minimum 
spanning tree 
optimal binary search (最 优 二 又 搜索 )，397- 
404, 413 
order-statistic( 顺 序 统计 量 ) 339-345 
parse( 语 法 分 析 ) ，1082 
recursion( 递 归 ) 37, 88-93 
red-black( 红 黑 ) ， 见 red-black tree 
rooted( 有 根 的 ) 246-249, 1176 
scapegoat( 替 罪 羊 ) 338 
search( 搜 索 ) JL search tree 
shortest-paths( 最 短路 径 ) 647-648, 673-676 
spanning (生成 )， 见 minimum spanning tree， 
spanning tree 
splay( 伸 展 ) 338, 482 
treap，333 pr. , 338 
2-35 337, 504 
2-3-4, 489, 503 pr. 
van Emde Boas, 531-560 
walk of GĦ JJJ), 287, 293 ex., 342, 1114 
weight-balanced trees( 带 权 平 衡 树 ) 338 
TREE-DELETE, 298, 299 ex. , 323-324 
tree edge( 树 的 边 ) 601, 603, 609 
TREE-INSERT, 294, 315 
TREE-MAXIMUM, 291 
TREE-MINIMUM, 291 
TREE-PREDECESSOR, 292 
TREE-SEARCH, 290 
TREE-SUCCESSOR, 292 
tree walk( 树 的 遍历 ) 287, 293 ex., 342, 1114 
trial( 试 验 ) ，Bernoulli( 伯 努 利 )，1201 
trial division( 试 除 ) 966 
triangle inequality (=Z APER), 1112 
for shortest paths( 最 短路 径 ) 650, 671 
triangular matrix (三 角 和 矩阵 )，1219，1222 ex., 
1225 ex. 
trichotomy( 三 分 法 )，interval( 区 间 )，348 
trichotomy property of real numbers( 实 数 的 三 分 性 
质 )，52 
tridiagonal linear systems( 三 对 角 线 性 系统 )，840 pr. 
tridiagonal matrix =X} AHF), 1219 
trie ERM), JL radix tree, 304 pr. 
y-fast, 558 pr. 
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TRIM, 1130 
trimming of a list( 列 表 的 削减 ) 1130 
trivial divisor( 平 凡 因子 ) 928 
truth assignment( 真 值 赋 值 ) 1072, 1079 
truth table( 真 值 表 ) 1070 
TSP, 1096 
tuple( 元 组 )，1162 
twiddle factor( 旋 转 因 子 ) 912 
2-CNF-SAT, 1086 ex. 
2-CNF satisfiability(2-CNF 可 满足 性 ) 1086 ex. 
and 3-CNF satisfiability( 与 3-CNF 可 满足 性 )，1049 
two-pass method( 两 趟 方法 ) 571 
2-3-4 heap(2-3-4 堆 ) 529 pr. 
2-3-4 tree(2-3-4 fF), 489 
joining( 连 接 ) 503 pr. 
splitting( 分 裂 ) 503 pr. 
2-3 tree(2-3 $f), 337, 504 


U 


unary( 一 元 的 ) 1056 
unbounded linear program( 无 界线 性 规划 ) 851 
unconditional branch instruction( 无 条 件 分 支 指令 )，23 
uncountable set( 不 可 数 集 )，1161 
underdetermined system of linear equations( 欠 定 线 
性 方程 组 )，814 
underflow( F Xi) 
of a queue( BAF), 234 
of a stack(#%), 233 
undirected graph( 无 向 图 )，1168 
articulation point of (衔接 点 )，621 pr. 
biconnected component of( 双 连通 分 量 ) 621 pr. 
bridge off), 621 pr. 
clique in( 团 ) 1086 
coloring of( 着 色 ) 1103 pr. ，1180 pr. 
computing a minimum spanning tree in( 计 算 最 小 
生成 树 ) 624-642 
converting to( 转 换 成 ) from a multigraph( 从 多 
图 ) 593 ex. 
d-regular(d 正则 )，736 ex. 
grid( 网 格 ) 760 pr. 
hamiltonian( 哈 密 顿 )，1061 
independent set of (独立 集 )，1101 pr. 
matching of (PUBL), 732 
nonhamiltonian( 非 哈密 顿 )，1061 
vertex cover of (顶点 覆盖 ) 1089, 1108 


参见 graph 
undirected version of a directed graph( 有 向 图 的 无 向 
版 本 )，1172 
uniform hashing( 均 匀 散 列 )，271 
uniform probability distribution (均匀 概率 分 布 )， 
1191-1192 
uniform random permutation (均匀 随机 排列 )， 
116，125 
union( 并 ) 
of dynamic sets( 动 态 集合 ) J uniting 
of languages( 语 言 )，1058 
of sets(4#24)(U), 1159 
UNION, 505, 562 
disjoint-set-forest implementation of (不 相交 集合 
森林 实现 )，571 
linked-list implementation of (链表 实现 )，565- 
567，568 ex. 
union by rank( 按 秩 合 并 ) 569 
unique factorization of integers (整数 唯一 因数 分 
解 )，931 
unit( 单 位 )(1) 928 
uniting( 联 合 ) 
of Fibonacci heaps (GEW IRR HE), 511-512 
of heaps (Œ), 506 
of linked lists( 链 表 ) 241 ex. 
of 2-3-4 heaps(2-3-4 HE), 529 pr. 
unit lower-triangular matrix( 单 位 下 三 角 和 矩阵 )，1219 
unit-time task( 单 位 时 间 任 务 )，443 
unit upper-triangular matrix( 单 位 上 三 角 和 矩阵 )，1219 
unit vector( 单 位 向 量 )，1218 
universal collection of hash functions ( 散 列 函数 的 全 
域 )，265 
universal hashing( 全 域 散 列 ) 265-268 
universal sink( 通 用 汇 点 ) 593 ex. 
universe( 全 域 )，1160 
of keys in van Emde Boas trees(van Emde Boas 树 中 
的 关键 字 )，532 
Universe size, 532 
unmatched vertex( 不 匹配 的 顶点 )，732 
unsorted linked list( 无 序 链表 ) ，236 
参见 linked list 
until, in pseudocode( 伪 代码 中 )，20 
unweighted longest simple paths (无 权 最 长 简单 路 
径 )，382 
unweighted shortest paths( 无 权 最 短路 径 )，381 


upper bound( 上 界 ) 47 

upper-bound property( 上 界 性 质 ) 650, 671-672 
upper median( 上 中 位 数 ) 213 

upper square root( 4/”)( 上 平方 根 )，546 
upper-triangular matrix( 上 三 角 和 矩阵 )，1219，1225 ex 


V 


valid shift( 合 法 偏 移 ) 985 
value( 值 ) 
of a flow( 流 )，710 
of a function( RA), 1166 
objective( 目 标 ) 847, 851 
value over replacement player (球员 替换 价值 )， 
411 pr. 
Vandermonde matrix( 范 德 蒙 德 矩阵 )，902，1226 pr. 
van Emde Boas tree(van Emde Boas 树 ) ，531-560 
cluster in(#®), 546 
compared with proto van Emde Boas structures( 与 
原型 van Emde Boas 结构 比较 ) 547 
deletion from( 删 除 ) 554-556 
insertion into( 捅 人 )，552-554 
maximum in( 最 大 )，550 
membership in( 成 员 )，550 
minimum in( 最 小 ) 550 
predecessor in( 前 驱 )，551-552 
with reduced space( 缩 减 空间 ) 557 pr. 
successor in( 后 继 ) 550-551 
summary in, 546 
Var [ ](variance) (77 #), 1199 
variable% Œ) 
basic( SEAS AY), 855 
entering(#A), 867 
leaving ŒF H), 867 
nonbasic( 非 基本 的 )，855 
in pseudocode( 伪 代码 中 )，21 
random( 随 机 )，1196-1201 
slack( 松 弛 )，855 
参见 indicator random variable 
variable-length code( 可 变 长 度 编码 ) 429 
variance(77#), 1199 
of a binomial distribution( 二 项 分 布 )，1205 
of a geometric distribution( 几 何 分 布 )，1203 
VEB-EMPTY-TREE-INSERT，553 
VEB tree(VEB 树 ) ， 见 van Emde Boas tree 
VEB-TREE-DELETE, 554 
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VEB-TREE-INSERT，553 
VEB-TREE-MAXIMUM, 550 
VEB-TREE-MEMBER, 550 
VEB-TREE-MINIMUM, 550 
VEB-TREE-PREDECESSOR, 552 
VEB-TREE-SUCCESSOR, 551 
vector( aj), 1218, 1222-1224 

convolution of (42), 901 

cross product of (MA), 1016 

orthonormal CEZ KJ), 842 

in the plane ¥ HE), 1015 
Venn diagram (REI), 1160 
verification (uF), 1061-1066 

of spanning trees( 生 成 树 ) 642 

verification algorithm( 验 证 算法 ) 1063 
vertex( 顶 点 ) 

articulation point( 衔 接点 )，621 pr. 

attributes of( 属 性 ) ，592 

capacity of( 容 量 ) 714 ex. 

in a graph( 图 )，1168 

intermediate( 中 间 的 )，693 

isolated( 孤 立 的 )，1169 

overflowing( E£), 736 

of a polygon( 多 边 形 的 ) 1020 ex. 
relabeled( 重 贴标签 ) 740 

selector( 选 择 器 ) 1093 
vertex cover( 顶 点 覆盖 )，1089，1108，1124-1127，1139 
VERTEX-COVER，1090 
vertex-cover problem( 顶 点 覆盖 问题 ) 

approximation algorithm for( 近 似 算 法 )，1108- 

1111, 1139 

NP-completeness of (NP 5é42#£), 1089-1091, 1105 
vertex set( 顶 点 集合 ) 1168 
violation( 违 反 )，of an equality constraint( 等 式 约束 )，865 
virtual memory (MANA), 24 
Viterbi algorithm( Viterbi BYE), 408 pr. 
VORP, 411 pr. 


W 


walk of a tree( 树 的 遍历 ) 287, 293 ex., 342, 1114 
weak duality( 弱 对 偶 性 ) 880-881, 886 ex, 895 pr. 
weight( 权 重 ) 

of a cut( 切 割 )，1127 ex. 

of an edge( 边 ) 591 

mean( 平 均 ) 680 pr. 


730 + & 引 


of a path( 路 径 ) 643 
weight-balanced tree( 带 权 平 衡 树 ) 338, 473 pr. 
weighted bipartite matching( 带 权 二 分 匹配 ) 530 
weighted matroid( 带 权 拟 阵 ) 439-442 
weighted median( 带 权 中 位 数 )，225 pr. 
weighted set-covering problem( 带 权 集合 覆盖 问题 ) ， 
1135 pr. 
weighted-union heuristic( 带 权 合 并 启发 式 )，566 
weighted vertex cover ( 带 权 顶点 覆盖 )，1124- 
11275. 1139 
weight function( 权 重 函 数 ) 
for a graph( 图 的 ) 591 
in a weighted matroid( 在 带 权 拟 阵 中 ) 439 
while, in pseudocode( 伪 代码 中 )，20 
white-path theorem( 白 路 径 定 理 )，608 
white vertex( 白 结 点 )，594，603 
widget( 附 件 图 ) 1092 
wire( 线 路 ) 1071 
WITNESS, 969 
witness( H 474), to the compositeness of a number 
(一 个 数 可 分 解 )，968 
work law( 工 作 定律 )，780 
work (工作 ) of a multithreaded computation( 多 线 
程 计 算 )，779 
work -stealing scheduling algorithm (T 4E # Ex i JE 


BIE), 812 
worst-case running time( 最 坏 情况 运行 时 间 )，27，49 


Y 


Yen’s improvement to the Bellman-Ford algorithm 
(Yen 对 Bellman Ford 算法 的 改进 ) 678 pr. 

y-fast trie(y-fast 试验 ) 558 pr. 

Young tableau( Young RRF), 167 pr. 


Z 


Z(set of integers) (整数 集合 ) 1158 

Z, (equivalence classes modulo n) GR n 等 价 类 )，928 

Z% (elements of multiplicative group modulo n) (# n 

乘法 群 的 元 素 )，941 

Z; (nonzero elements of Z? ) (Z 的 非 零 元 素 ) 967 

zero matrix( 零 矩阵 )，1218 

zero of a polynomial modulo a prime( 模 素数 多 项 式 零 
点 )，950 ex 

0-1 integer-programming problem(0-1 整数 规划 问题 )， 
1100 ex., 1125 

0-1 knapsack problem(0-1 背包 问题 )，425，427 ex, 
1137 pr» 1139 

0-1 sorting lemma(0-1 排序 引 理 ) 208 pr. 

zonk( F), 1195 ex. 
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TCP PHR% 协议 (第 2 版 ) 深入 理 | 
作者 ; Kevin R. Fall, W. Richard Stevens 作者 : Randal E. bon 
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中 文 版 ; HOTS AME 











Gs GD 98 DD 92 QOD DE RD 0 RDS 9° DELP 0 DED O° -< QOL 9° -< GCL 00 BD 


尊敬 的 老师 : 
您 好 ! 感谢 您 购买 我 们 出 版 的 


教材 。 





机 械 工业 出 版 社 华章 公司 为 了 进一步 加 强 与 高 校 教师 的 联系 与 沟通 ， 更 好 地 为 高 校 教师 服务 ， 特 
制 此 表 ， 请 您 填 妥 后 发 回 给 我 们 ， 我 们 将 定期 向 您 寄 送 华章 公司 最 新 的 图 书 出 版 信息 ! 感谢 合作 ! 
个 人 资料 (请 用 正楷 完整 填写 ) 
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主讲 课程 现 用 教材 名 教材 满意 度 
课程 : | | 
of O% OF 口 满意 口 一 般 
AB: 学 期 ， 口 春 口 秋 口 不 满意 口 希望 更 换 

课程 : | 
ie oe OF 口 满意 口 一 般 
人 数 ， 学期， DEOR CE 
样 书 申请 | 
已 出 版 车 作 | CRE 
是 否 愿意 从 事 翻 译 /著作 工作 OF OF | 方向 
# 
和 
建 
议 = =e 2 





填 妥 后 请 选择 以 下 任何 一 种 方式 将 此 表 返 回 : 《如 方便 请 赐 名 片 ) 

地 址 : 北京 市 西城 区 百 万 庄 南 街 1 号 ”华章 公司 营销 中 心 。 邮编 ，100037 
电 话 : (010) 68353079 88378995 传真 : (010)68995260 
E-mail:hzedu@hzbook.com marketing@hzbook.com 
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图 书 详情 可 登录 http://www.hzbook.com 网 站 查询 


De -ee oo 


